Software Engineer L5 - AI Observability & Agent Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду AI Observability платформы Netflix. Строит переиспользуемую инфраструктуру наблюдаемости и оценки ML/GenAI и агентных систем: метрики, трейсы, оценка качества моделей и интеграция вендорных инструментов.

Задачи

• Строить фреймворк и платформенные возможности наблюдаемости для ML и GenAI систем: метрики, логи и распределённые трейсы для онлайн-инференса, батч-скоринга, feature-пайплайнов и оркестрации агентов
• Создавать примитивы для мониторинга производительности моделей (accuracy, калибровка, error rate), качества данных, дрифта и деградации
• Разрабатывать и расширять фреймворки оценки LLM и агентных систем: качество ответов, grounding и галлюцинации, успешность задач, корректность tool-use и траекторий, LLM-as-a-judge и human-in-the-loop
• Проводить оценку build-vs-buy для инструментов наблюдаемости и оценки, владеть SDK, коннекторами и API для интеграции вендорных платформ
• Создавать переиспользуемые библиотеки, SDK и шаблоны, делающие наблюдаемость и оценку дефолтными для новых систем
• Обеспечивать дашборды, алертинг и строительные блоки SLO/SLI с готовыми шаблонами для отслеживания производительности, латентности, стоимости и надёжности моделей

Требования

• Опыт в software, AI/ML или platform engineering с практикой в production observability, мониторинге или оценке ML/LLM
• Подтверждённый опыт проектирования стандартов, библиотек, SDK или фреймворков, которые используют другие команды
• Сильные навыки программирования на Python и хотя бы одном из Java, Go или Scala, опыт создания production-сервисов
• Практический опыт эксплуатации ML-моделей в production (онлайн-сервинг и/или батч), включая дрифт, производительность моделей и качество данных
• Практический опыт с современными observability-стеками (Prometheus/Grafana, Datadog, OpenTelemetry, ELK/OpenSearch, Jaeger/Tempo или аналоги)
• Понимание распределённых систем, микросервисов и хотя бы одной крупной облачной платформы (AWS, GCP или Azure)
• Способность работать кросс-функционально с ML, data, infra и product командами и ясно коммуницировать о поведении систем, качестве и рисках
• Опыт интеграции вендоров и развёртывания в VPC
• AI-Native Engineering Mindset: использование AI-инструментов как части собственного workflow для ускорения дизайна, разработки, тестирования и код-ревью

Условия

• Компенсация состоит только из годовой зарплаты, без бонусов; можно выбирать соотношение зарплаты и опционов
• Диапазон компенсации для роли: $388,000.00 - $619,000.00
• Комплексные бенефиты: медицинские планы, поддержка ментального здоровья, 401(k) с employer match, программа опционов, программы по инвалидности, HSA/FSA, family-forming бенефиты, страхование жизни
• Оплачиваемые отпуска: full-time hourly сотрудники накапливают 35 дней в год; full-time salaried сотрудники сразу получают flexible time off

Навыки

• Python
• Java
• Go
• Scala
• ML
• LLM
• GenAI
• Agentic systems
• Observability
• Prometheus
• Grafana
• Datadog
• OpenTelemetry
• ELK
• OpenSearch
• Jaeger
• Tempo
• Distributed systems
• Microservices
• AWS
• GCP
• Azure
• VPC
• SDK
• LLM-as-a-judge
• Arize
• Braintrust
• LangFuse
• Weights & Biases
• Galileo
• Vertex AI Model Monitoring
• SageMaker Model Monitor