Bask Health

Software Engineer, AI Quality & Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в продуктовую команду Bask Health для построения инфраструктуры оценки и тестирования AI-приложений: сервисы запуска автоматических оценок, инструменты для датасетов, регрессионные пайплайны и внутренние интерфейсы для разбора сбоев AI.

Задачи

  • Проектировать, разрабатывать и поддерживать инфраструктуру для оценки качества AI
  • Разрабатывать backend-сервисы для запуска и управления автоматическими AI-оценками
  • Создавать переиспользуемые инструменты тестирования LLM-приложений
  • Разрабатывать API для отправки задач оценки и получения результатов
  • Разрабатывать системы управления датасетами, тест-кейсами и ожидаемыми результатами
  • Строить автоматические workflow сравнения промптов, моделей и конфигураций
  • Внедрять регрессионное тестирование AI-функций
  • Интегрировать проверки AI в CI/CD пайплайны
  • Разрабатывать сервисы хранения и организации результатов оценок
  • Создавать инструменты для инспекции ответов AI, сбоев и истории тестов
  • Разрабатывать внутренние дашборды и интерфейсы для просмотра результатов
  • Создавать переиспользуемые библиотеки для упрощения AI-тестирования
  • Поддерживать детерминированные проверки и оценки на основе моделей
  • Реализовывать автоматическое тестирование tool-calling и структурированных выходов моделей
  • Разрабатывать инфраструктуру для оценки RAG-приложений
  • Строить асинхронную обработку больших объёмов оценок
  • Реализовывать планирование задач, ретраи, таймауты и обработку ошибок
  • Разрабатывать мониторинг и логирование инфраструктуры оценок
  • Оптимизировать скорость, надёжность и стоимость выполнения оценок
  • Взаимодействовать с AI-инженерами и ML-инженерами для перевода требований тестирования в инструменты
  • Реализовывать контроль доступа и безопасную обработку данных оценок
  • Обеспечивать соблюдение границ тенантов и требований приватности
  • Расследовать сбои инфраструктуры и устранять проблемы надёжности
  • Улучшать документацию и внутренний тулинг для AI-тестирования
  • Участвовать в код-ревью, техническом планировании и обсуждении архитектуры
  • Вести проекты AI quality engineering от дизайна до деплоя и мониторинга

Требования

  • 3+ года профессионального опыта разработки ПО, желательно backend, platform, infrastructure или developer tooling
  • Опыт разработки и поддержки production backend-сервисов
  • Сильные навыки программирования на TypeScript, JavaScript, Python или аналогичных языках
  • Опыт проектирования и разработки API и интеграций сервисов
  • Знание фреймворков автоматического тестирования и практик качества ПО
  • Понимание CI/CD workflow
  • Опыт создания переиспользуемых компонентов или внутренних инженерных инструментов
  • Знакомство с LLM и современной разработкой AI-приложений
  • Понимание сложностей тестирования недетерминированных AI-систем
  • Опыт работы с реляционными базами данных и структурированными данными
  • Знакомство с асинхронной обработкой и системами фоновых задач
  • Понимание основ распределённых систем и надёжности сервисов
  • Опыт разработки автоматических тестовых пайплайнов
  • Знакомство с облачным деплоем приложений
  • Понимание аутентификации, авторизации и безопасной коммуникации сервисов
  • Опыт внедрения логирования, мониторинга и production-диагностики
  • Умение устранять проблемы backend-сервисов и инфраструктуры
  • Знакомство с управлением конфигурацией и процессами релизов
  • Опыт написания поддерживаемого, хорошо протестированного production-кода
  • Понимание обработки ошибок API, ретраев и восстановления после сбоев
  • Опыт работы с Git и совместными инженерными workflow
  • Умение переводить технические требования в переиспользуемые инженерные системы
  • Сильное аналитическое мышление и навыки решения проблем
  • Умение эффективно взаимодействовать с software-, AI- и ML-инженерами
  • Способность самостоятельно вести инженерные проекты от технического дизайна до деплоя

Условия

  • AI-first инженерная культура с использованием Cursor и Claude Code
  • Продуктовая команда с фокусом на ownership и техническое совершенство
  • Работа над платформой telehealth для прямых продаж потребителям
  • Высокие стандарты надёжности, тестирования и качества ПО

Навыки

  • TypeScript
  • JavaScript
  • Python
  • LLM
  • RAG
  • API
  • CI/CD
  • Git
  • OpenAI
  • Anthropic
  • LangSmith
  • DeepEval
  • Ragas
  • promptfoo
  • Node.js
  • React
  • Next.js
  • tRPC
  • Prisma
  • Drizzle
  • AWS Lambda
  • SQS
  • EventBridge
  • serverless
  • infrastructure-as-code
  • SST
  • vector databases
  • embeddings
  • Cursor
  • Claude Code

Похожие вакансии

Software Engineer III, Security/Privacy, Google Cloud Security and Privacy
GoogleMiddleKirklandОфис
147,000 – 210,000 USD в год
11 нояб.
Systems Application Software Engineer
Bright Silicon TechnologiesMiddlePleasantonОфис
12 нояб.
Sr Software Engineer, Platform
NRG EnergySeniorSeattleОфис
153,000 – 185,000 USD в год
3 нояб.
Senior Software Engineer, Infrastructure, AlloyDB High Availability
GoogleSeniorSunnyvaleОфис
174,000 – 252,000 USD в год
11 нояб.
Senior Software Engineer, Backend (ML Training and Serving)
AffirmSeniorУдалённо
195,000 – 233,000 USD в год
12 нояб.
Principal Software Engineer - Payments
Citizens BankLeadГибридРелокация
147,000 – 192,000 USD в год
12 нояб.
(USA) Staff, Software Engineer
WalmartLeadSunnyvaleУдалённо
143,000 – 286,000 USD в год
11 нояб.
(USA) Staff, Software Engineer
WalmartLeadSunnyvaleУдалённо
143,000 – 286,000 USD в год
11 нояб.
Sr Software Engineer Azure & Microsoft Cloud
Leggett & PlattSeniorLenexaОфис
7 нояб.
Sr. Software Engineer - C#, .NET Core, WebSockets
Motorola SolutionsSeniorAllenОфисРелокация
100,000 – 125,000 USD в год
11 нояб.