Netflix

Software Engineer 5, AI Observability

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду AI Observability Netflix. Строит переиспользуемую платформу и фреймворки для наблюдаемости ML/GenAI-систем: метрики, трейсы, оценка качества моделей и LLM/агентных систем.

Задачи

  • Строить фреймворк и возможности платформы наблюдаемости для ML и GenAI-систем: метрики, логи, распределённые трейсы для онлайн-инференса, батч-скоринга, feature-пайплайнов и оркестрации агентов
  • Создавать примитивы для мониторинга производительности моделей (accuracy, калибровка, error rate), качества данных, дрифта и деградации
  • Разрабатывать и расширять фреймворки оценки LLM и агентных систем: качество ответов, grounding и галлюцинации, успешность задач, корректность tool-use и траекторий, LLM-as-a-judge и human-in-the-loop
  • Проводить build-vs-buy оценку инструментов наблюдаемости и оценки, владеть SDK, коннекторами и API для интеграции вендорских платформ
  • Создавать переиспользуемые библиотеки, SDK и шаблоны для подхода observability-by-default
  • Предоставлять строительные блоки для дашбордов, алертинга и SLO/SLI с готовыми шаблонами

Требования

  • Опыт в software, AI/ML или platform engineering с практикой в production observability, мониторинге или оценке ML/LLM
  • Опыт проектирования стандартов, библиотек, SDK или фреймворков, которые используют другие команды
  • Сильные навыки программирования на Python и хотя бы одном из Java, Go или Scala, опыт создания production-сервисов
  • Практический опыт эксплуатации ML-моделей в production (онлайн-сервинг и/или батч), включая дрифт, производительность моделей и качество данных
  • Опыт работы с современными стеками наблюдаемости (Prometheus/Grafana, Datadog, OpenTelemetry, ELK/OpenSearch, Jaeger/Tempo или аналоги)
  • Понимание распределённых систем, микросервисов и хотя бы одной крупной облачной платформы (AWS, GCP или Azure)
  • Умение работать кросс-функционально с ML, data, infra и product командами
  • Опыт вендорской интеграции и VPC-деплоя
  • AI-Native Engineering Mindset: использование AI-инструментов как части рабочего процесса

Условия

  • Годовая зарплата без бонусов, диапазон $500,000.00 - $860,000.00 в зависимости от локации
  • Выбор соотношения зарплаты и сток-опционов каждый год
  • Комплексные бенefits: медицинские планы, поддержка ментального здоровья, 401(k) с employer match, сток-опционная программа, программы по инвалидности, HSA/FSA, family-forming benefits, страхование жизни
  • Оплачиваемые отпуска и flexible time off для salaried-сотрудников

Навыки

  • Python
  • Java
  • Go
  • Scala
  • Prometheus
  • Grafana
  • Datadog
  • OpenTelemetry
  • ELK
  • OpenSearch
  • Jaeger
  • Tempo
  • AWS
  • GCP
  • Azure
  • LLM
  • ML
  • GenAI
  • VPC
  • Arize
  • Braintrust
  • LangFuse
  • Weights & Biases
  • Galileo
  • Vertex AI Model Monitoring
  • SageMaker Model Monitor

Похожие вакансии

AI Software Developer, Mid
Booz Allen HamiltonMiddleSan DiegoОфис
77,600 – 176,000 USD в год
20 нояб.
Senior Software Engineer / Full Stack / Data / Agentic Systems
CACI International IncSeniorAnnapolis JunctionОфис
113,200 – 237,800 USD в год
20 нояб.
Senior Software Engineer / Full Stack / Data / Agentic Systems
CACI InternationalSeniorAnnapolis JunctionОфис
113,200 – 237,800 USD в год
20 нояб.
Senior Software Engineer – AI & Business Applications
Landscape FormsSeniorУдалённо
20 нояб.
Staff Software Engineer, AI/ML GenAI, Google Workspace
GoogleLeadNew YorkОфис
207,000 – 300,000 USD в год
20 нояб.
Lead Software Engineer- AI Engineer (AI Tool & Framework Development)
JPMorganChaseLeadJersey CityОфис
156,750 – 215,000 USD в год
20 нояб.
Sr Consultant, Software Engineer – Platform Engineering
Nationwide Mutual InsuranceSeniorColumbusГибрид
149,000 – 262,000 USD в год
20 нояб.
Staff Software Engineer- Agentic AI - Federal
ServiceNowLeadГибрид
176,100 – 308,200 USD в год
19 нояб.
Senior Software Engineer, Development Engineering Workflows, Core OS
AppleSeniorSan DiegoОфис
19 нояб.
Principal Software Engineer, Early Clinical Development
RocheLeadSouth San FranciscoОфисРелокация
185,200 – 343,900 USD в год
20 нояб.