Senior QA Automation Engineer - SIP/VOIP

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior QA-инженер для обеспечения качества AI-голосового виртуального агента: тестирование LLM, речи и телефонии, построение системы оценки недетерминированных ответов и автоматизация звонков.

Задачи

• Полностью встроиться в Scrum-команду, участвовать во всех церемониях и вести сопутствующие артефакты
• Отвечать за сквозную стратегию тестирования AI-голосового агента на уровнях LLM, речи и телефонии
• Проектировать тест-сценарии сложного разговорного поведения: многоходовые диалоги, перебивания и barge-in, неоднозначный или неполный ввод, запросы вне области, эскалация/перевод на человека, восстановление после сбоев
• Строить и поддерживать фреймворк оценки недетерминированного вывода с использованием golden datasets, семантических/rubric-based проверок и автоматического обнаружения регрессий при изменениях промптов, модели или retrieval
• Проводить состязательное тестирование агента на галлюцинации, некорректное заземление, обход guardrails, prompt injection и несанкционированное раскрытие данных клиентов
• Готовить и настраивать SIP-устройства, endpoints и сценарии звонков для сквозной автоматизации исходящих вызовов
• Диагностировать сбои по всему стеку, локализуя проблемы до уровня LLM, ASR, TTS, медиапути или маршрутизации вызовов
• Расширять автоматизированное покрытие и интегрировать тест-сьюты в CI/CD как release gates
• Определять и отслеживать ключевые метрики качества: task completion, containment, точность интентов, точность транскрипции, задержка ответа, корректность эскалации
• Поддерживать документированное покрытие тестами в TMS с полной трассируемостью к бизнес-требованиям
• Сообщать о рисках качества и эскалировать их стейкхолдерам с данными и доказательствами

Требования

• 5+ лет в QA, с недавним практическим владением сложным интегрированным продуктом
• Практический опыт тестирования SIP/VOIP-систем: call flows, SIP-сигнализация, работа с медиа, софтфоны или SIP-транкинг, умение разбираться по SIP-трейсам или дампам пакетов
• Демонстрируемая креативность в проектировании тестов (дизайн живых сценариев — ключевая часть интервью)
• Владение Python, достаточное для самостоятельного создания и поддержки фреймворков автоматизации
• Опыт тестирования недетерминированных или вероятностных систем с ясным подходом к проектированию проверок для переменного вывода
• Сильные аналитические навыки: определение метрик качества, обоснование их расчёта и использование данных для решений о релизе
• Практический опыт работы с формальными TMS-инструментами и Jira
• Профессиональное владение английским (устно и письменно) с надёжным пересечением по времени с рабочими часами US Eastern
• Продвинутый разговорный английский обязателен
• Резюме на английском языке
• Рассматриваются только кандидаты из LATAM

Условия

• Удалённая работа
• Оформление B2B ($, gross)
• Стабильная работа с долгосрочной перспективой роста
• Конкурентная зарплата с ежегодным пересмотром
• Хорошее железо
• Интересная и сложная работа с талантливыми людьми
• Непрерывное обучение и карьерный рост
• Компенсация профессионального обучения, семинаров и конференций
• Реферальная программа
• Поддерживаемые компанией занятия английским

Навыки

• Python
• pytest
• Playwright
• JsSIP
• WebRTC
• SIP
• VoIP
• Allure TestOps
• Jira
• Jenkins
• GitHub Actions
• Grafana
• LLM APIs
• ASR
• TTS
• RAG
• prompt engineering