AI Software Evaluation Engineer, Siri AI Quality

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по оценке AI-качества Siri в Apple. Отвечает за end-to-end датасет предрелизной оценки Siri и синтетические персоны, автоматизацию eval-операций и анализ покрытия.

Задачи

• Исследовать причины регрессий тестовых сценариев и повторяющихся проблем, превращать данные о сбоях и багах в root-cause выводы и рекомендации для product, engineering и партнёрских команд
• Анализировать покрытие по app intents, фичам и продуктовым областям, закрывать пробелы совместно с владельцами доменов, отчитываться о качестве датасета, трендах проблем и покрытии
• Проектировать агентные workflow для генерации, валидации, триажа и отбора новых оценочных сценариев с минимальным ручным трудом
• Расширять инструменты автоматического скрининга, триажа и автофикса на новые домены и платформы устройств
• Работать с командами engineering, product, evaluator, persona и data-platform для определения стандартов качества и поставки систем оценки

Требования

• 5+ лет индустриального опыта в software engineering, quality engineering, data engineering или ML engineering
• 2+ года практического опыта построения LLM-приложений или агентов, включая tool use, многошаговые workflow и prompt engineering
• Опыт проектирования и проведения оценки AI/LLM: построение оценочных датасетов, определение метрик и рубрик, LLM-as-judge или автоматические оценщики, анализ сбоев
• Сильные навыки аналитики данных, включая SQL и Python, опыт превращения больших датасетов в понятные инсайты и дашборды
• Сильные навыки программирования на Python и опыт с автоматизацией и CI/CD
• Сильные коммуникативные навыки и умение влиять на кросс-функциональных партнёров

Навыки

• Python
• SQL
• LLM
• LLM-as-judge
• prompt engineering
• CI/CD
• MCP
• JSON
• Tableau
• Snowflake
• BI