Software Engineer L5 - AI Observability & Agent Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду AI Observability платформы Netflix. Строит переиспользуемую инфраструктуру наблюдаемости и оценки ML/GenAI и агентных систем: метрики, трейсы, дашборды, SDK и интеграции с вендорскими инструментами.

Задачи

• Строить фреймворк и платформенные возможности наблюдаемости для ML и GenAI систем: метрики, логи и распределённые трейсы для онлайн-инференса, батч-скоринга, feature-пайплайнов и оркестрации агентов
• Создавать примитивы для мониторинга качества модели (accuracy, калибровка, error rate), качества данных, дрифта и деградации
• Разрабатывать и расширять фреймворки оценки LLM и агентных систем: качество ответов, grounding и галлюцинации, успешность задач, корректность tool-use и траекторий, LLM-as-a-judge и human-in-the-loop
• Проводить оценку build-vs-buy для инструментов наблюдаемости и оценки, владеть SDK, коннекторами и API для интеграции вендорских платформ
• Создавать переиспользуемые библиотеки, SDK и шаблоны, делающие наблюдаемость и оценку дефолтом для новых систем
• Предоставлять строительные блоки для дашбордов, алертинга и SLO/SLI с готовыми шаблонами для отслеживания производительности, латентности, стоимости и надёжности моделей

Требования

• Опыт в software, AI/ML или platform engineering с практикой в production observability, мониторинге или оценке ML/LLM
• Подтверждённый опыт проектирования стандартов, библиотек, SDK или фреймворков, которые используют другие команды
• Сильные навыки программирования на Python и хотя бы одном из Java, Go или Scala, опыт создания production-сервисов
• Практический опыт эксплуатации ML-моделей в production (онлайн-сервинг и/или батч), включая дрифт, производительность модели и качество данных
• Практический опыт с современными observability-стеками (Prometheus/Grafana, Datadog, OpenTelemetry, ELK/OpenSearch, Jaeger/Tempo или аналоги)
• Понимание распределённых систем, микросервисов и хотя бы одной крупной облачной платформы (AWS, GCP или Azure)
• Умение работать кросс-функционально с ML, data, infra и product командами и ясно коммуницировать о поведении, качестве и рисках системы
• Опыт интеграции вендоров и VPC-деплоя
• AI-Native Engineering Mindset: использование AI-инструментов как части собственного workflow для ускорения дизайна, разработки, тестирования и код-ревью

Условия

• Компенсация состоит только из годовой зарплаты, без бонусов
• Ежегодный выбор соотношения зарплаты и опционов
• Диапазон для роли: $388,000.00 - $619,000.00
• Комплексные бенефиты: медицинские планы, поддержка ментального здоровья, 401(k) с employer match, программа опционов, программы по инвалидности, HSA/FSA, family-forming benefits, страхование жизни
• Оплачиваемые отпуска: 35 дней в год для почасовых сотрудников; гибкий неограниченный отпуск для salaried-сотрудников

Навыки

• Python
• Java
• Go
• Scala
• Prometheus
• Grafana
• Datadog
• OpenTelemetry
• ELK
• OpenSearch
• Jaeger
• Tempo
• AWS
• GCP
• Azure
• LLM
• ML
• GenAI
• LLM-as-a-judge
• VPC
• Arize
• Braintrust
• LangFuse
• Weights & Biases
• Galileo
• Vertex AI Model Monitoring
• SageMaker Model Monitor