Senior Software Development Engineer in Test (SDET), QA - AI Systems

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

SDET в Nexxa для обеспечения качества AI-агентных систем в тяжёлой промышленности. Сочетание глубокой автоматизации тестирования с ручным и исследовательским тестированием LLM-агентов.

Задачи

• Проектировать и поддерживать тестовые фреймворки, evaluation-харнессы и регрессионные наборы для LLM-агентов
• Строить автоматические пайплайны прогона evals и тестов на каждое изменение модели, промпта или интеграции инструментов, встраивать их в CI/CD как quality gates
• Разрабатывать симуляторы, моки и sandbox-окружения для промышленных систем и tool API
• Реализовывать API, контрактные, интеграционные и end-to-end тесты сервисов и слоёв оркестрации
• Разрабатывать тесты производительности, нагрузки и надёжности агентных workflow, включая failure injection
• Проводить ручное исследовательское тестирование поведения агентов, включая неоднозначные и длинные многошаговые сценарии
• Вручную ревьюить трейсы и выходы агентов для оценки качества рассуждений и безопасности
• Выполнять ручные регрессионные и релизные проверки в staging и customer-like окружениях
• Проводить ручной red-teaming (prompt injection, jailbreaks, tool misuse) и превращать успешные атаки в автотесты
• Поддерживать UAT и пилотные раскатки совместно с Forward Deployed Engineers
• Создавать и вести golden datasets и размеченные тестовые наборы с версионированием и детекцией дрейфа
• Проектировать рубрики и проводить human-in-the-loop оценки
• Определять и инструментировать метрики качества (groundedness, hallucination rate, task success rate, latency/cost, safety violations) и строить дашборды
• Тестировать полный цикл действий агента: планирование, выбор инструмента, выполнение, восстановление после ошибок, финальный вывод
• Триажить сбои и превращать их в воспроизводимые баг-репорты
• Устанавливать quality bars, критерии релиза и процессы sign-off
• Менторить инженеров по стратегиям тестирования вероятностных LLM-систем
• Продвигать тестируемость, observability и tracing в архитектуре агентов

Требования

• 5+ лет опыта SDET, QA-инженера или software engineer с сильным фокусом на тестирование
• Опыт владения стратегией тестирования и автоматизацией для сложных распределённых систем
• Опыт как ручного, так и автоматизированного тестирования, включая исследовательское тестирование и написание качественных баг-репортов
• Сильные навыки программирования (предпочтительно Python)
• Опыт построения тестовых фреймворков и инфраструктуры с нуля
• Практический опыт с CI/CD (GitHub Actions, GitLab CI, Jenkins) и контейнеризированными тестовыми окружениями (Docker, Kubernetes)
• Опыт тестирования API и микросервисов: контрактное, интеграционное и end-to-end тестирование
• Опыт тестирования LLM-продуктов, чат-ботов или AI-агентов
• Практический опыт с eval-фреймворками (promptfoo, DeepEval, RAGAS, LangSmith) или собственными решениями
• Понимание работы LLM-агентов: prompting, tool/function calling, управление контекстом, RAG, память, оркестрация
• Опыт проектирования тестовых данных и размеченных датасетов, включая управление дрейфом
• Знание специфичных для LLM режимов отказа: галлюцинации, prompt injection, context poisoning, tool misuse, goal drift, недетерминизм
• Умение работать в неопределённости и определять критерии корректности задачи без единственно верного ответа
• Сильные навыки письменной коммуникации

Условия

• Конкурентная зарплата и пакет equity
• Инновационная среда и работа над AI-автоматизацией тяжёлой промышленности
• Культура сотрудничества и непрерывного улучшения
• Возможности профессионального роста и развития

Навыки

• Python
• CI/CD
• GitHub Actions
• GitLab CI
• Jenkins
• Docker
• Kubernetes
• API testing
• microservices
• LLM
• promptfoo
• DeepEval
• RAGAS
• LangSmith
• RAG
• prompt injection
• k6
• Locust
• OpenTelemetry
• Grafana
• Datadog
• Arize
• Langfuse
• Weights & Biases
• OPC UA
• MQTT
• Modbus