Staff Machine Learning Engineer, LLM Inference Optimization

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер ML в Nebius Token Factory, отвечающий за путь от модели до быстрого и экономичного инференс-эндпоинта. Работа на стыке внутренностей моделей, инференс-движков, архитектуры сервинга, бенчмаркинга и продакшн-деплоя.

Задачи

• Владеть платформенным направлением оптимизации: квантизация, спекулятивное декодирование, оптимизация KV-кэша, выбор движка, long-context serving
• Создавать переиспользуемые фреймворки оценки, бенчмаркинга и раскатки для разных семейств моделей
• Давать техническое направление MLE, Applied Scientists, GPU kernel-инженерам и инфраструктурным инженерам
• Оптимизировать LLM и VLM эндпоинты по латентности, пропускной способности, памяти, утилизации GPU, качеству и стоимости за токен
• Деплоить, настраивать, бенчмаркать и расширять инференс-движки (vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo)
• Строить и выводить в продакшн пайплайны сжатия моделей: квантизация, QAT, дистилляция, low-bit serving, восстановление точности
• Внедрять спекулятивное декодирование, draft-модели, оптимизацию KV-кэша, prefix caching, chunked prefill, continuous batching, disaggregated prefill/decode
• Строить воспроизводимые бенчмарк-харнессы для TTFT, TPOT, tokens per second per GPU, p95/p99 латентности, памяти GPU и стоимости за токен
• Диагностировать узкие места совместно с GPU kernel и платформенными инженерами
• Писать дизайн-документы, отчёты о производительности, планы раскатки и технические объяснения для клиентов

Требования

• Сильные навыки инженерии на Python и PyTorch
• Практический опыт деплоя или оптимизации LLM, VLM или высоконагруженных transformer-инференс-систем
• Практическое знание хотя бы одного современного инференс-стека: vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или аналогов
• Понимание узких мест transformer-инференса: KV cache, attention, пропускная способность памяти, батчинг, параллелизм, long-context serving
• Умение количественно рассуждать о компромиссах латентности, пропускной способности, качества, утилизации и стоимости
• Сильные коммуникативные навыки и умение работать с research, kernel, инфраструктурными, продуктовыми и клиентскими командами

Условия

• Конкурентная компенсация
• Возможности карьерного роста и обучения
• Гибкость и самостоятельность
• Коллаборативная и инновационная культура
• Работа над значимыми AI-проектами
• Международная среда и сильные команды

Навыки

• Python
• PyTorch
• vLLM
• SGLang
• TensorRT-LLM
• Triton Inference Server
• NVIDIA Dynamo
• Ray Serve
• KServe
• KV cache
• quantization
• speculative decoding
• distillation
• CUDA
• Triton
• FP8
• INT8
• INT4
• AWQ
• GPTQ
• SmoothQuant
• EAGLE
• Medusa
• FlashInfer
• LMCache