Senior Software Test Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Software Test Engineer в Curative — компании, строящей медицинское страхование нового формата. Роль про качество AI-агентов в продакшене: eval-платформы, exploratory-тестирование, доменная экспертиза и работа с бизнес-командами.

Задачи

• Строить и развивать eval-платформу: harnesses, датасеты, грейдеры и CI-интеграцию для измерения поведения агентов (успех задач, корректность tool-use, дрейф, latency, стоимость)
• Проводить ручное exploratory-тестирование сквозных сценариев так, как ими пользуются члены, операционные команды и провайдеры, включая нестандартные пути
• Валидировать, что построено именно то, что нужно: работать со стейкхолдерами, понимать реальный workflow и находить разрыв между запросом и реализацией
• Погружаться в домен бизнеса настолько, чтобы команды привлекали вас за понимание workflow, а не только кода
• Работать с продакшн-сигналами и искать баги: traces, таксономии отказов, дашборды; в инцидентах воспроизводить сбой, находить root cause и исправлять или передавать точный диагноз
• При необходимости принимать продуктовые решения: формулировать требования, предлагать поведение и передавать владельцу
• Расставлять приоритеты в условиях неопределённости: решать, какие агенты несут наибольший риск и какие отказы дороже

Требования

• 5+ лет в software quality, тестировании или разработке с реальным опытом и автоматизации, и серьёзного exploratory-тестирования
• Практическая fluency в LLM-эвалюации: golden datasets, LLM-as-judge, программные грейдеры, регрессионные сьюты для промптов и agent loops
• Опыт работы с AI-агентами и понимание их типовых отказов: silent drift, tool misuse, compounding errors
• Тестировочные инстинкты и подтверждённый трек-рекорд находок багов, которые не находят другие
• Глубина в отладке: логи, traces, запросы, продакшн-форензика; умение исправить баг самостоятельно на Python или TypeScript
• Свободное взаимодействие с бизнес-стейкхолдерами: проводить сессии с нетехническими операционными лидами и выявлять реальные потребности
• Комфорт с неопределённостью и скоростью: эффективность без зрелых процессов, без необходимости в тикете или границе спринта
• Прагматичное суждение о качестве: умение говорить и «риск приемлем, шипим», и «этот — нет»
• Сильные навыки письменной коммуникации: находки меняют поведение людей
• Claude Code, Cursor или аналог уже основной инструмент разработки
• Использование AI для ускорения самой работы над качеством (eval-кейсы, грейдеры, триаж) с пониманием границ AI-суждения
• Ревью каждого AI-сгенерированного дифа, без мержа «на ощущениях»

Условия

• Curative Health Plan: 100% покрытие медицинских премий работодателем для сотрудника и 50% для зависимых по базовому плану
• $0 copays и $0 deductibles при прохождении Baseline Visit
• Профилактическая и первичная помощь, поддержка ментального здоровья, персональная навигация по care, программы хронических состояний, поддержка материнства и планирования семьи, Curative Telehealth 24/7/365, аптечные льготы
• Комплексное покрытие стоматологии и зрения
• Life и disability страхование от работодателя с дополнительными опциями
• Flexible spending accounts
• Щедрая политика PTO плюс 11 оплачиваемых корпоративных праздников в год
• 401K для full-time сотрудников
• Оплачиваемый родительский отпуск до 8–12 недель в зависимости от роли

Навыки

• LLM evaluation
• golden datasets
• LLM-as-judge
• programmatic graders
• regression suites
• AI agents
• Python
• TypeScript
• Claude Code
• Cursor
• LangSmith
• Braintrust
• Arize
• observability
• CI integration
• debugging
• traces
• dashboards