Netflix
Software Engineer 5, AI Observability
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior-инженер в команду AI Observability Netflix. Строит переиспользуемую платформу и фреймворки для наблюдаемости ML/GenAI-систем: метрики, трейсы, оценка качества моделей и LLM/агентных систем.
Задачи
- Строить фреймворк и возможности платформы наблюдаемости для ML и GenAI-систем: метрики, логи, распределённые трейсы для онлайн-инференса, батч-скоринга, feature-пайплайнов и оркестрации агентов
- Создавать примитивы для мониторинга производительности моделей (accuracy, калибровка, error rate), качества данных, дрифта и деградации
- Разрабатывать и расширять фреймворки оценки LLM и агентных систем: качество ответов, grounding и галлюцинации, успешность задач, корректность tool-use и траекторий, LLM-as-a-judge и human-in-the-loop
- Проводить build-vs-buy оценку инструментов наблюдаемости и оценки, владеть SDK, коннекторами и API для интеграции вендорских платформ
- Создавать переиспользуемые библиотеки, SDK и шаблоны для подхода observability-by-default
- Предоставлять строительные блоки для дашбордов, алертинга и SLO/SLI с готовыми шаблонами
Требования
- Опыт в software, AI/ML или platform engineering с практикой в production observability, мониторинге или оценке ML/LLM
- Опыт проектирования стандартов, библиотек, SDK или фреймворков, которые используют другие команды
- Сильные навыки программирования на Python и хотя бы одном из Java, Go или Scala, опыт создания production-сервисов
- Практический опыт эксплуатации ML-моделей в production (онлайн-сервинг и/или батч), включая дрифт, производительность моделей и качество данных
- Опыт работы с современными стеками наблюдаемости (Prometheus/Grafana, Datadog, OpenTelemetry, ELK/OpenSearch, Jaeger/Tempo или аналоги)
- Понимание распределённых систем, микросервисов и хотя бы одной крупной облачной платформы (AWS, GCP или Azure)
- Умение работать кросс-функционально с ML, data, infra и product командами
- Опыт вендорской интеграции и VPC-деплоя
- AI-Native Engineering Mindset: использование AI-инструментов как части рабочего процесса
Условия
- Годовая зарплата без бонусов, диапазон $500,000.00 - $860,000.00 в зависимости от локации
- Выбор соотношения зарплаты и сток-опционов каждый год
- Комплексные бенefits: медицинские планы, поддержка ментального здоровья, 401(k) с employer match, сток-опционная программа, программы по инвалидности, HSA/FSA, family-forming benefits, страхование жизни
- Оплачиваемые отпуска и flexible time off для salaried-сотрудников
Навыки
- Python
- Java
- Go
- Scala
- Prometheus
- Grafana
- Datadog
- OpenTelemetry
- ELK
- OpenSearch
- Jaeger
- Tempo
- AWS
- GCP
- Azure
- LLM
- ML
- GenAI
- VPC
- Arize
- Braintrust
- LangFuse
- Weights & Biases
- Galileo
- Vertex AI Model Monitoring
- SageMaker Model Monitor