Software Development Engineer in Test

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

SDET в AI-команду SOFICO Intelligence, отвечающий за качество автономной мультиагентной AI-платформы Velona. Задача — строить evaluation-харнесс и автоматизированные проверки для недетерминированных AI-систем и Go-микросервисов.

Задачи

• Проектировать и строить evaluation-харнесс для агентного AI: golden datasets, автоматический скоринг, проверки faithfulness и grounding, детекция регрессий при изменениях промптов, моделей и агентов
• Проверять grounding и faithfulness, чтобы каждый инсайт и каждая цифра трассировались к реальным данным, и строить автоматические проверки против галлюцинаций
• Тестировать мультиагентную оркестрацию end-to-end: циклы tool-calling, пайплайны supervisor-specialist, фоновые задачи и синтез находок в отчёты
• Проводить red-team на prompt injection, jailbreaks и злоупотребление инструментами, доказывать изоляцию данных между тенантами
• Проверять, что guard rails AI выдерживают нагрузку: лимиты итераций, глубина рекурсии агентов, лимиты токенов и стоимости
• Тестировать производительность и масштаб: стриминг в реальном времени, высокая конкурентность, латентность и стоимость под нагрузкой
• Строить автотесты для Go-микросервисов, data/SQL-инструментов и API и встраивать их в CI/CD
• Совместно с AI- и data-инженерами определять quality bar и критерии приёмки, развивать цикл review-and-retry
• Усиливать автоматизированное тестирование по всей платформе SOFICO Intelligence и поднимать стандарты quality engineering

Требования

• Опыт и в разработке ПО, и в обеспечении качества / quality engineering
• Сильные навыки программирования минимум на одном языке (в основном Go и Python)
• Практический опыт с open-source инструментами и фреймворками автоматизации тестирования
• Понимание RESTful API и умение выполнять HTTP-запросы из командной строки или через Postman
• Уверенная работа в командной строке и понимание распределённых конкурентных систем
• Практический опыт тестирования, оценки или разработки с LLM-based или агентными системами: работа с model API, tool-calling, мультиагентными workflow
• Умение оценивать недетерминированный вывод AI по измеримому quality bar: eval-харнессы, скоринг grounding и faithfulness, детекция регрессий, red-team на prompt injection
• Знание концепций LLM, влияющих на качество: prompting, context windows и лимиты токенов, галлюцинации и grounding, источники недетерминизма
• Свободный английский для работы с международными командами

Условия

• Remote-first команда с многолетним опытом распределённой работы
• Конкурентные бенефиты, включая медицинскую страховку (medical, dental, vision) для сотрудников в США
• Гибкая политика PTO
• Поддержка роста: конференции, продвинутое обучение и сертификации

Навыки

• Go
• Python
• JavaScript
• LLM
• agentic systems
• prompt injection
• Playwright
• REST Assured
• PyTest
• JMeter
• PostgreSQL
• Redis
• RabbitMQ
• Databricks
• Docker
• Kubernetes
• REST API
• WebSocket
• Postman
• Jira
• TestRail
• Git
• CI/CD
• SQL