Bask Health
Software Engineer, AI Quality & Evaluation
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер в продуктовую команду Bask Health для построения инфраструктуры оценки и тестирования AI-приложений: сервисы запуска автоматических оценок, инструменты для датасетов, регрессионные пайплайны и внутренние интерфейсы для разбора сбоев AI.
Задачи
- Проектировать, разрабатывать и поддерживать инфраструктуру для оценки качества AI
- Разрабатывать backend-сервисы для запуска и управления автоматическими AI-оценками
- Создавать переиспользуемые инструменты тестирования LLM-приложений
- Разрабатывать API для отправки задач оценки и получения результатов
- Разрабатывать системы управления датасетами, тест-кейсами и ожидаемыми результатами
- Строить автоматические workflow сравнения промптов, моделей и конфигураций
- Внедрять регрессионное тестирование AI-функций
- Интегрировать проверки AI в CI/CD пайплайны
- Разрабатывать сервисы хранения и организации результатов оценок
- Создавать инструменты для инспекции ответов AI, сбоев и истории тестов
- Разрабатывать внутренние дашборды и интерфейсы для просмотра результатов
- Создавать переиспользуемые библиотеки для упрощения AI-тестирования
- Поддерживать детерминированные проверки и оценки на основе моделей
- Реализовывать автоматическое тестирование tool-calling и структурированных выходов моделей
- Разрабатывать инфраструктуру для оценки RAG-приложений
- Строить асинхронную обработку больших объёмов оценок
- Реализовывать планирование задач, ретраи, таймауты и обработку ошибок
- Разрабатывать мониторинг и логирование инфраструктуры оценок
- Оптимизировать скорость, надёжность и стоимость выполнения оценок
- Взаимодействовать с AI-инженерами и ML-инженерами для перевода требований тестирования в инструменты
- Реализовывать контроль доступа и безопасную обработку данных оценок
- Обеспечивать соблюдение границ тенантов и требований приватности
- Расследовать сбои инфраструктуры и устранять проблемы надёжности
- Улучшать документацию и внутренний тулинг для AI-тестирования
- Участвовать в код-ревью, техническом планировании и обсуждении архитектуры
- Вести проекты AI quality engineering от дизайна до деплоя и мониторинга
Требования
- 3+ года профессионального опыта разработки ПО, желательно backend, platform, infrastructure или developer tooling
- Опыт разработки и поддержки production backend-сервисов
- Сильные навыки программирования на TypeScript, JavaScript, Python или аналогичных языках
- Опыт проектирования и разработки API и интеграций сервисов
- Знание фреймворков автоматического тестирования и практик качества ПО
- Понимание CI/CD workflow
- Опыт создания переиспользуемых компонентов или внутренних инженерных инструментов
- Знакомство с LLM и современной разработкой AI-приложений
- Понимание сложностей тестирования недетерминированных AI-систем
- Опыт работы с реляционными базами данных и структурированными данными
- Знакомство с асинхронной обработкой и системами фоновых задач
- Понимание основ распределённых систем и надёжности сервисов
- Опыт разработки автоматических тестовых пайплайнов
- Знакомство с облачным деплоем приложений
- Понимание аутентификации, авторизации и безопасной коммуникации сервисов
- Опыт внедрения логирования, мониторинга и production-диагностики
- Умение устранять проблемы backend-сервисов и инфраструктуры
- Знакомство с управлением конфигурацией и процессами релизов
- Опыт написания поддерживаемого, хорошо протестированного production-кода
- Понимание обработки ошибок API, ретраев и восстановления после сбоев
- Опыт работы с Git и совместными инженерными workflow
- Умение переводить технические требования в переиспользуемые инженерные системы
- Сильное аналитическое мышление и навыки решения проблем
- Умение эффективно взаимодействовать с software-, AI- и ML-инженерами
- Способность самостоятельно вести инженерные проекты от технического дизайна до деплоя
Условия
- AI-first инженерная культура с использованием Cursor и Claude Code
- Продуктовая команда с фокусом на ownership и техническое совершенство
- Работа над платформой telehealth для прямых продаж потребителям
- Высокие стандарты надёжности, тестирования и качества ПО
Навыки
- TypeScript
- JavaScript
- Python
- LLM
- RAG
- API
- CI/CD
- Git
- OpenAI
- Anthropic
- LangSmith
- DeepEval
- Ragas
- promptfoo
- Node.js
- React
- Next.js
- tRPC
- Prisma
- Drizzle
- AWS Lambda
- SQS
- EventBridge
- serverless
- infrastructure-as-code
- SST
- vector databases
- embeddings
- Cursor
- Claude Code