Lead ML Engineer - LLM Inference & NLP

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Ведущий ML-инженер в международную продуктовую компанию SDG. Отвечает за ускорение и масштабирование инференса LLM в продакшене, техническое лидерство NLP- и CV-команд, обучение и дообучение моделей.

Задачи

• Ускорять и масштабировать инференс LLM в продакшене: SGLang, KV- и prefix-кэширование, батчинг, квантизация, speculative decoding
• Запускать распределённый инференс очень больших моделей (до 1T+ параметров) на multi-GPU и multi-node конфигурациях
• Бенчмаркать новые GPU-серверы и оборудование, вводить их в продакшен и адаптировать код сервинга
• Технически руководить NLP- и CV-командами: ревью экспериментов, задание направления, раннее вмешательство при отклонениях
• Обучать и дообучать языковые модели, улучшать agent harnesses и чат-алгоритм
• Отслеживать передовые исследования и open-source в области инференса и post-training, превращать их в ML-роадмап
• Тесно сотрудничать с командами валидации, контента и подготовки датасетов для дизайна экспериментов и оценки качества моделей

Требования

• Глубокий практический опыт оптимизации инференса LLM в продакшене с SGLang, vLLM или TensorRT-LLM
• Опыт распределённого инференса или обучения больших моделей: MoE, tensor/expert/pipeline parallelism, multi-node GPU-кластеры
• Сильное понимание того, что делает инференс быстрым: KV cache, attention kernels, батчинг, квантизация, GPU-профилирование
• Опыт обучения и дообучения LLM, включая post-training (RLHF, DPO или аналоги)
• Подтверждённое техническое лидерство: ревью, менторинг, технические решения при сохранении собственного кодинга
• Владение PyTorch, transformers и смежными библиотеками
• Опыт в AI-стартапах или AI-компаниях (Character AI, OpenAI и подобные — сильный плюс)
• Опыт backend-разработки (Python, Go, C#) и знание масштабируемых систем развёртывания — значительное преимущество
• Продвинутый английский или русский

Условия

• Удалённая работа на полную ставку
• Отпуск 28 календарных дней в год
• 7 wellness-дней в год
• Бонусы до $5000 за рекомендацию успешных кандидатов
• 50% оплаты профессионального обучения, международных конференций и встреч
• Корпоративная скидка на уроки английского
• Компенсация расходов на здоровье до $1000 gross в год при отсутствии корпоративной медстраховки
• Организация рабочего места: оборудованное место в офисах или коворкингах, компенсация до $1000 gross раз в 3 года
• Внутренняя геймифицированная система благодарностей с обменом бонусов на мерч, тимбилдинги, массаж и др.

Навыки

• SGLang
• vLLM
• TensorRT-LLM
• MoE
• tensor parallelism
• expert parallelism
• pipeline parallelism
• KV cache
• attention kernels
• batching
• quantization
• GPU profiling
• RLHF
• DPO
• PyTorch
• transformers
• Python
• Go
• C#
• CUDA
• Triton
• multimodal LLMs
• NLP
• Computer Vision