Senior AI QA Test Automation Engineer – CX Agent

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior IC-инженер по AI QA и тест-автоматизации в команду CX Agent Suite. Отвечает за построение систем оценки AI-агентов и масштабируемых фреймворков автоматизации, задаёт технические стандарты QA.

Задачи

• Быть главным техническим драйвером QA: создавать масштабируемые AI/ML-фреймворки, библиотеки и инструменты для CX Agent Suite и смежных систем
• Проектировать и строить пайплайны оценки AI, проверяющие ответы мультиагентной системы (Intent Detector, FAQ Agent, Missing-Deposits Agent) на точность, релевантность, тон, галлюцинации, безопасность и выполнение задач, развивая или заменяя текущий harness на DeepEval
• Оценивать и прототипировать Strands Agents и аналогичные фреймворки оркестрации агентов, принимать решение о внедрении
• Совместно с QA, Data Science и Engineering встраивать AI-тестирование в существующий GitLab CI/CD пайплайн (dev → test → staging → prod) вместе с сервисами на EKS/AgentCore, разворачиваемыми через Terraform
• Строить устойчивую и адаптивную автоматизацию, реагирующую на изменения в поведении агентов, конфигурации Bedrock Guardrails и логике маршрутизации
• Развивать аналитику качества на данных: root-cause analysis, тренды качества, интеллектуальная приоритизация тестов на основе OpenTelemetry, CloudWatch, X-Ray и офлайн-оценок LangFuse
• Исследовать новые методологии AI-тестирования и менторить инженеров через код-ревью, воркшопы и архитектурные консультации

Требования

• BSc/MSc в Computer Science, AI или смежной области
• 6+ лет практического опыта в QA/Test Automation, сильный опыт проектирования и поддержки фреймворков автоматизации
• 1+ год опыта применения AI/ML в тестировании ПО или улучшении QA-процессов с выводом решений в продакшн
• Сильные навыки Python и опыт работы в Python/AWS-окружении; Java и/или TypeScript — плюс
• Практический опыт с методами оценки LLM: LLM-as-a-judge, human-in-the-loop, RAG, паттерны мультиагентной оркестрации
• Опыт работы с DeepEval или аналогичными фреймворками оценки, знакомство с SDK оркестрации агентов, например Strands Agents
• Знание LLM-инструментов, векторных баз данных и MLOps-пайплайнов
• Опыт интеграции AI-инструментов в корпоративные CI/CD, в частности GitLab, и работы с контейнерными cloud-native окружениями: Docker, Kubernetes/EKS
• Сильные коммуникативные навыки, умение влиять на технические решения и задавать инженерные стандарты

Условия

• Привлекательный компенсационный пакет
• Интеллектуально стимулирующая рабочая среда
• Непрерывное профессиональное развитие и международные возможности обучения
• Процесс найма: знакомство с Talent Acquisition, интервью с командой, финальное интервью
• Все заявки обрабатываются строго конфиденциально

Навыки

• Python
• AWS
• AWS Bedrock
• AgentCore
• DeepEval
• Strands Agents
• LLM evaluation
• LLM-as-a-judge
• RAG
• multi-agent orchestration
• vector databases
• MLOps
• GitLab CI/CD
• Docker
• Kubernetes
• EKS
• Terraform
• OpenTelemetry
• CloudWatch
• X-Ray
• LangFuse
• Java
• TypeScript
• gRPC
• WebSockets
• HTTP/2
• GCP Vertex AI
• Azure AI