AIML - Sr Software Engineer - AI, Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в организацию Evaluation компании Apple, которая измеряет качество Apple Intelligence, Siri и генеративных функций. Роль предполагает владение ключевой частью платформы оценки: LLM-as-judge автогрейдеры, инструменты валидации и масштабируемые системы прогонов.

Задачи

• Владеть ключевой системой оценки end-to-end для нескольких фич: архитектура, roadmap, надёжность и developer experience
• Проектировать стратегии тестирования и валидации, которые ловят реальные сбои раньше партнёров
• Строить и поддерживать интеграции с платформами аннотации, вычислений, отчётности и бенчмаркинга
• Работать с командами, создающими LLM-судей на платформе, превращая их повторяющиеся потребности в продукт
• Задавать стандарт использования AI-агентов для кодинга без потери качества
• Ориентироваться на внутренних пользователей и качество продукта, чётко коммуницировать с кросс-функциональными партнёрами

Требования

• Степень BS/MS/PhD в Computer Science, Machine Learning или смежной области
• 8+ лет опыта в software engineering, включая владение production-системами, которыми пользуются другие команды
• Исключительные навыки Python и сильное понимание системного дизайна, API-дизайна, тестирования и валидации, отладки и мониторинга
• Опыт поставки production-кода с помощью AI-агентов для кодинга при сохранении высокого качества

Навыки

• Python
• LLM-as-judge
• LLM
• agentic systems
• API design
• system design
• testing
• monitoring
• AI coding agents