Evaluations Team Lead

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Руководитель команды оценки AI-моделей в компании-партнёре (базируется в Германии). Отвечает за построение платформы оценки, методологию бенчмарков и статистическую валидацию, совмещая техническую работу с управлением небольшой командой.

Задачи

• Строить и поддерживать общую платформу оценки для research, engineering и Applied AI команд
• Разрабатывать и улучшать наборы бенчмарков, курируемые датасеты и сравнения моделей
• Устанавливать стандарты оценки: статистические метрики, стратегии валидации, разбиение данных, предотвращение утечек, калибровка, оценка неопределённости
• Проектировать воспроизводимые пайплайны оценки с версионированием входных данных и артефактов, встраивать автоматические регрессионные проверки
• Сравнивать модели с конкурентными подходами по честным и единообразным протоколам
• Оценивать качество предсказаний, задержку инференса и экономическую эффективность
• Поддерживать proof-of-concept оценки для клиентов инструментами и методологическим руководством
• Превращать результаты оценки в приоритеты исследований и рекомендации по релизам
• Нанимать, вести и развивать небольшую команду специалистов по оценке
• Оставаться hands-on в Python-разработке, дизайне экспериментов и статистическом анализе

Требования

• Опыт владения оценкой табличных ML-систем в продакшене или в принятии решений с высоким влиянием
• Сильная статистическая экспертиза: выбор метрик и схем валидации, оценка неопределённости, сравнение моделей
• Практический опыт выявления и предотвращения утечек данных
• Уверенное владение Python и SQL, знание scikit-learn, gradient-boosted decision trees
• Опыт проектирования честных и воспроизводимых сравнений моделей, включая гиперпараметрическую оптимизацию и измерение задержки инференса
• Опыт управления людьми: найм, менторство, развитие команды, управление эффективностью
• Отличные навыки письменной и устной коммуникации
• Аналитический склад ума и умение оспаривать необоснованные выводы
• Плюс: опыт оценки табличных foundation-моделей или AutoML-систем
• Плюс: опыт с реляционными и многотабличными данными, Snowflake или Databricks
• Плюс: знание автоматизированных или агентных ML-процессов

Условия

• Конкурентная компенсация: зарплата и опционы
• Полное медицинское страхование для сотрудников и иждивенцев
• Оплачиваемый родительский отпуск
• Помощь с релокацией в офисы компании
• Возможность удалённой работы в подходящих локациях Европы и Израиля
• Возможность построить новую функцию оценки с нуля
• Миссионерская, коллаборативная культура с низким эго
• Работа над передовыми AI-исследованиями

Навыки

• Python
• SQL
• scikit-learn
• gradient-boosted decision trees
• AutoML
• Snowflake
• Databricks
• статистический анализ
• бенчмаркинг ML-моделей