Applied Research Engineer, Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер прикладных исследований в лабораторию Black Forest Labs (FLUX, Stable Diffusion). Задача — строить и развивать систему оценки генеративных моделей изображений, видео и других модальностей, чтобы команда понимала, стало ли новое поколение модели действительно лучше.

Задачи

• Строить и поддерживать стек оценки, через который проходит каждый чекпоинт модели: автоматический бенчмаркинг, пайплайны LLM-as-judge, человеческая оценка через панели
• Проектировать полноту оценки по таксономии: следование промпту, точность редактирования, эстетика, рендеринг текста, консистентность персонажей, безопасность
• Оценивать саму систему оценки: согласованность человеческих и автоматических оценок, стабильность результатов во времени
• Непрерывно сравнивать FLUX с фронтирными моделями и интерпретировать различия
• Находить недостатки качества вывода, не улавливаемые агрегированными метриками
• Совместно с RL- и finetuning-исследователями задавать целевые метрики и проверять, что новый чекпоинт улучшил слабое место без регрессий
• Определять, какие сигналы собирать через API и MCP, совместно с research, data engineering и legal
• Поддерживать актуальность метрик, отслеживая их gaming и переобучение

Требования

• Продвинутая степень (MS/PhD) в релевантной области или эквивалентный практический опыт
• Практический опыт оценки генеративных моделей, в том числе diffusion или flow-matching моделей изображений и видео
• Очень сильные навыки Python и software engineering, надёжные и читаемые пайплайны
• Рабочее знание PyTorch и современной ML-инфраструктуры
• Сильное понимание статистики и её ограничений: размеры выборок, inter-annotator agreement, доверительные интервалы
• Практический опыт построения и эксплуатации LLM-as-judge систем и понимание их ограничений
• Знание современных практик бенчмаркинга, стандартных датасетов и бенчмарков
• Готовность смотреть на реальные выходы системы, а не только на агрегированные оценки

Условия

• Базовая зарплата €150K–€220K в зависимости от опыта плюс equity
• Гибридный формат: офис во Фрайбурге минимум 2 дня в неделю (или полная неделя раз в две недели)
• Компенсация разумных расходов на поездки
• Распределённая команда с реальными офисами
• Ценности: Obsessed, Low Ego, Bold, Kind

Навыки

• Python
• PyTorch
• LLM-as-judge
• RLHF
• DPO
• reward models
• preference data
• diffusion models
• flow-matching
• benchmarking
• statistics
• MCP
• RL
• finetuning