ML Engineering Lead (LLM Ops)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Руководитель ML-инженерии, отвечающий за операционный жизненный цикл LLM, GenAI и RAG-систем: деплой, мониторинг, оценку и итерации. Строит production-платформу для клинических ML и GenAI-процессов на данных сенсоров и устройств в рамках регулируемой QMS медицинского изделия.

Задачи

• Выстроить observability MLflow Tracing: промпты, вызовы инструментов, retrieval, latency и стоимость — в production LLM и агентных пайплайнах
• Построить набор оценки с встроенными и кастомными LLM-судьями и скорерами, с циклом обратной связи от людей через review-приложения
• Вывести в production как минимум один RAG или агентный пайплайн с версионированием промптов и приложений через MLflow Prompt Registry и Unity Catalog, обеспечив безопасный rollout, A/B-тестирование и откат
• Разработать документированный фреймворк стоимости, latency и GPU-мощностей для выбора стратегии сервинга: сторонний API, Databricks External Models или self-hosted
• Плотно интегрировать LLM Ops с существующей командой MLOps, чтобы это было естественным расширением платформы, а не отдельным треком, сохраняя надёжность клинических процессов

Требования

• Прочные основы MLOps по всему жизненному циклу: трекинг экспериментов, обучение и мониторинг, подтверждённые самостоятельным владением сложной production-работой
• Свободное владение Python и ключевыми ML-концепциями, опыт поставки end-to-end production ML-систем и инициатив по платформизации
• Практический опыт создания LLM или GenAI-приложений: prompt engineering, RAG, агенты или chains, с использованием фреймворков вроде LangChain, LangGraph или аналогичных оркестраторов
• Рабочее знание PyTorch, распределённых систем и ML-оркестрации
• Концептуальное понимание компромиссов LLM-специфичного MLOps: fine-tuning против prompting против RAG, векторные базы данных, embedding-модели и циклы обратной связи для недетерминированных результатов
• Искренняя, доказуемая мотивация работать именно с LLM, GenAI и RAG, а не с generic MLOps, и способность ориентироваться в сложных системах на стыке медицины, регулирования, firmware и hardware

Навыки

• Python
• MLflow
• RAG
• LangChain
• LangGraph
• PyTorch
• Databricks
• Unity Catalog
• Kubernetes
• Terraform
• LLM-as-judge
• vector databases
• embedding models
• prompt engineering
• MLOps