Founding ML Engineer, Post-Training

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Founding ML Engineer уровня senior/principal в Aghanim — владение модель-слоем продукта Newton end-to-end: сбор данных, оценка, пост-тренинг, сервинг и раскатка. Цель — перевести продукт с проприетарных API на собственные модели, сохранив качество и снизив стоимость и задержки.

Задачи

• Строить production-пайплайны данных с версионированием инструкций, вызовов инструментов, выходов, затрат и результатов, включая анонимизацию, удаление данных партнёров и экспертные правки
• Разрабатывать бенчмарки, регрессионные тесты и оценщики на основе кода и LLM-judge на реальных прогонах Newton для измерения точности, использования инструментов, качества ответов, стоимости и задержки
• Сравнивать frontier- и open-weight-модели, маршрутизировать задачи и определять, где лучше работают промптинг, дистилляция или пост-тренинг
• Обучать и адаптировать модели через дистилляцию, SFT, LoRA/QLoRA и DPO на принятых траекториях и экспертной обратной связи, применять RL там, где простые подходы не справляются
• Деплоить модели за существующим интерфейсом Newton, валидировать через shadow-прогоны и управлять раскаткой по бенчмаркам качества и экономике сервинга

Требования

• Практический опыт пост-тренинга LLM и вывода их в production с использованием SFT, LoRA/QLoRA, DPO и дистилляции
• Опыт построения систем оценки на production-данных: офлайн-бенчмарки, регрессионные и поведенческие тесты, оценщики на коде и LLM-judge
• Понимание агентных систем: вызов инструментов, многошаговые траектории, структурированные выходы и влияние смены базовой модели
• Практический опыт сервинга моделей через vLLM или аналоги, квантизация и деплой на GPU с учётом задержки, cold-start и стоимости
• Сильный production Python и SQL, достаточный TypeScript для самостоятельной правки продуктового кода и инструментации
• Умение понимать поведение продукта и ожидания пользователей, переводить их в измеримые требования к качеству и решать, когда обучение оправдано
• Опыт самостоятельного владения технической областью, расстановки приоритетов и работы в незнакомой кодовой базе и её дизайн-документах
• Регулярное использование AI-агентов для кодинга с ясным подходом к проверке их результатов

Условия

• Команда мирового уровня с экспертами из разных стран
• Высокий рост и влияние: идеи превращаются в продукты за дни
• Автономия и ownership
• Современные инструменты и технологии, AI и автоматизация в повседневной работе
• Equity — участие в росте и долгосрочном успехе компании

Навыки

• Python
• TypeScript
• SQL
• Langfuse
• TRL
• Unsloth
• Axolotl
• vLLM
• serverless GPUs
• GCP
• Modal
• Qwen
• Gemma
• DeepSeek
• GLM
• SFT
• LoRA
• QLoRA
• DPO
• distillation
• RL
• GRPO
• Vertex AI
• Cloud Run GPU
• BigQuery
• Braintrust