Software Engineer, Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду AIML Evaluation в Apple: разработка систем и фреймворков оценки качества Apple Intelligence и AI/ML-моделей, бенчмарки и метрики для продуктов.

Задачи

• Разрабатывать и развивать систему и фреймворк оценки качества Apple Intelligence
• Проектировать и реализовывать бенчмарки, метрики и тест-сьюты для оценки возможностей моделей (reasoning, knowledge, code, agentic workflows)
• Разрабатывать методы оценки, отражающие поведение моделей в реальных продуктах, и валидировать, что метрики предсказывают пользовательское качество
• Исследовать и применять современные техники оценки: scoring-фреймворки, model-based judging, устойчивые к контаминации бенчмарки
• Создавать переиспользуемые инструменты, библиотеки скореров и аналитические фреймворки
• Проводить эксперименты по сравнению возможностей моделей и gap-анализ для приоритизации развития моделей
• Настраивать инфраструктуру оценки, усиливать операционный контроль, аудируемость и масштабировать процессы
• Взаимодействовать с product-менеджерами, backend-инженерами, data scientist'ами и командами обучения моделей и данных

Требования

• 3+ года профессионального опыта разработки и эксплуатации production-систем
• Умение решать сложные задачи, критически мыслить и предлагать инновационные решения
• Свободное владение AI-ассистентами для разработки (coding agents, code review assistants)
• Опыт проектирования и масштабирования распределённых систем (load balancing, active-active, capacity planning)
• Опыт frontend-разработки (React и современные JavaScript-фреймворки)
• Опыт проектирования RESTful API, работы с SQL и NoSQL базами данных
• Степень BS/MS в Computer Science, Computer Engineering или эквивалент

Навыки

• React
• JavaScript
• RESTful API
• SQL
• NoSQL
• distributed systems
• AI-assisted development tools