Software Engineer II, AI Performance

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Reliability Insights: строит пайплайны данных и отчётности, оценивающие реальную производительность и бизнес-эффект AI-инструментов и observability-систем Disney. Связывает backend-разработку с аналитикой телеметрии, взаимодействий AI-агентов и операционных логов.

Задачи

• Проектировать, создавать и поддерживать автоматизированные пайплайны обратной связи, фиксирующие операционные результаты (подтверждённые инциденты, ложные срабатывания, отклонённые алерты) и связывающие их с предсказаниями AI-моделей и действиями агентов
• Разрабатывать программные фреймворки оценки для отслеживания precision, recall и дрейфа моделей, настраивать автоматические пороговые алерты для своевременной настройки моделей и предотвращения alert fatigue
• Строить сквозные пайплайны данных, связывающие выходы AI с жизненным циклом инцидентов, и количественно оценивать бизнес-эффект через метрики Service to Incident correlation, notification success rates и Mean Time to Mitigation (MTTM)
• Проектировать и разворачивать масштабируемые API, слои метрик и единые дашборды здоровья моделей, представляющие AI ROI, операционное здоровье и производительность руководству и техническим стейкхолдерам
• Создавать механизмы сбора структурированной обратной связи от конечных пользователей для постоянного возврата сигналов реального использования в циклы улучшения моделей

Требования

• 3+ года релевантного опыта в backend и data pipeline engineering, включая создание масштабируемых API (например, FastAPI, Flask) и платформ генерации метрик и инсайтов
• Сильный опыт в data platform engineering и распределённой обработке данных (например, PySpark, SQL, Pandas, Databricks, Snowflake) для обработки и анализа телеметрии
• Практическое понимание концепций оценки моделей: precision, recall, model drift и систем ground-truth labeling
• Практический опыт с современными практиками разработки: контроль версий (GitHub), контейнеризация (Docker), cloud-native деплой (AWS/EKS)
• Владение AI-ассистированными инструментами разработки (например, Cursor, Claude Code) для ускорения инженерной работы
• Сильные аналитические навыки для перевода сложной телеметрии и операционных логов в значимые метрики надёжности и бизнес-инсайты
• Отличные навыки кросс-функциональной коллаборации и коммуникации, опыт партнёрства с операционными командами (SRE, DevOps) для превращения сырых данных в actionable insights
• Bachelor’s degree in Computer Science, Engineering или эквивалентный опыт

Условия

• Диапазон оплаты для позиции в New York, NY: $123,000–$165,000 в год
• Итоговая базовая оплата зависит от внутренней справедливости, географического региона, знаний, навыков и опыта кандидата
• Возможны бонус и/или долгосрочные incentive units в составе компенсационного пакета
• Полный набор медицинских, финансовых и других льгот в зависимости от уровня и позиции
• Full time

Навыки

• FastAPI
• Flask
• PySpark
• SQL
• Pandas
• Databricks
• Snowflake
• GitHub
• Docker
• AWS
• EKS
• Cursor
• Claude Code
• Datadog
• Grafana
• Conviva
• GPT-4
• Claude