Senior Product Software Engineer - AI Quality Engineering

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior AI Quality Engineer в Wolters Kluwer Tax and Accounting. Отвечает за стратегию качества, системы оценки и надёжность генеративных AI-продуктов: RAG-пайплайны, LLM-оркестрация, агентные сценарии.

Задачи

• Владеть и реализовывать подход к quality engineering для генеративных AI-приложений enterprise-масштаба: RAG-пайплайны, LLM-оркестрация, агентные workflow, API, пайплайны ингестии
• Проектировать и внедрять evaluation-харнессы для измерения точности retrieval, корректности цитирования, релевантности ответов, groundedness, галлюцинаций, безопасности, латентности и стоимости
• Создавать автоматические регрессионные наборы для выявления деградации качества при изменении промптов, эмбеддингов, чанкинга, версий моделей и конфигурации retrieval
• Валидировать архитектуру AI-систем, интеграции сервисов, поведение API, ингестию данных, наблюдаемость, устойчивость и безопасность
• Проводить root-cause analysis сбоев качества AI с использованием логов, трейсов, результатов оценки и обратной связи
• Определять и поддерживать измеримые quality gates для релизов AI и консультировать продуктовые и инженерные команды по рискам и готовности
• Разрабатывать тестовую автоматизацию на Python для API, сервисов, чат-воркфлоу, пайплайнов данных и AI-оценки в CI/CD
• Строить наблюдаемость и дашборды для отслеживания поведения моделей, производительности retrieval и трендов качества
• Участвовать в практиках ответственного AI: проверки bias и fairness, безопасность контента, тестирование prompt injection, приватность данных
• Менторить инженеров в методах оценки AI и стратегиях тестирования недетерминированных систем

Требования

• 5+ лет опыта в quality engineering, SDET, разработке ПО, тестовой автоматизации или reliability engineering
• 2+ года практического опыта тестирования и оценки AI/ML, LLM, RAG или других недетерминированных систем в продакшене
• Сильное владение Python-фреймворками тестирования: Pytest, unittest или аналогами, опыт построения переиспользуемых харнессов и регрессионных наборов
• Опыт валидации REST API, микросервисов, интеграций, пайплайнов ингестии данных и end-to-end веб- или чат-воркфлоу
• Понимание RAG-систем, векторного поиска, эмбеддингов, поведения промптов, оценки моделей, groundedness и типовых сбоев AI
• Опыт определения метрик качества и критериев успеха для вероятностных выходов
• Знание CI/CD, Git-воркфлоу, автоматического регрессионного тестирования и release gates
• Опыт с наблюдаемостью, логированием, трейсингом, дашбордами и метриками для мониторинга продакшена
• Умение декомпозировать сложное поведение AI в тестируемые риски и ясно доносить выводы стейкхолдерам
• Навыки коллаборации в Agile-среде и влияния на инженерные практики качества

Условия

• Компенсация $83,400.00 - $145,650.00 USD
• Доступен бонус
• Медицинская, стоматологическая и офтальмологическая страховка, 401(k), FSA/HSA, льготы на транспорт, оплата обучения, отпуск и больничные, оплачиваемый родительский отпуск
• Возможно присутствие в офисе Wolters Kluwer в рамках процесса найма

Навыки

• Python
• Pytest
• unittest
• REST API
• RAG
• LLM
• vector search
• embeddings
• CI/CD
• Git
• observability
• tracing
• LangSmith
• Langfuse
• TruLens
• Arize/Phoenix
• Azure AI Search
• Pinecone
• Weaviate
• Elasticsearch
• LangChain
• LlamaIndex
• Semantic Kernel
• Azure OpenAI Service
• Azure AI Studio
• Docker
• Kubernetes
• Locust
• k6
• JMeter
• Azure Application Insights
• Grafana
• Prometheus
• Datadog
• OpenTelemetry