Software Engineer, Model Serving System

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду, которая строит и оптимизирует систему обслуживания больших языковых моделей (LLM) Microsoft AI на Azure. Задача — доводить модели до продакшена: интеграция, оптимизация инференса, бенчмарки и наблюдаемость.

Задачи

• Интегрировать, оптимизировать и разворачивать модели в продакшн-средах обслуживания совместно с командами движков
• Реализовывать и оценивать продакшн-фичи обслуживания (например, водяные знаки/провенанс контента), минимизируя влияние на задержку
• Профилировать и оптимизировать под продакшн-SLO (TTFT, TPOT, пропускная способность, QPS) на современных GPU и распределённой топологии
• Взаимодействовать с платформенными, API- и исследовательскими командами, чтобы ускорить путь модели от релиза до продакшена
• Поддерживать обслуживание адаптированных моделей, включая сценарии multi-LoRA, с контролем памяти и кэширования
• Строить инструменты для упаковки и валидации дообученных моделей для продакшн-деплоя
• Повышать надёжность и воспроизводимость деплой-процессов
• Проектировать и запускать бенчмарки на реальных паттернах использования
• Делать продакшн-эндпоинты измеримыми, находить узкие места в процессах оценки и ускорять их
• Строить дашборды и телеметрию для отслеживания утилизации, задержек, эффективности кэша и соблюдения SLA
• Превращать результаты измерений в конкретные оптимизации с измеримым эффектом

Требования

• Степень бакалавра по Computer Science или смежной технической специальности и 5+ лет опыта в технической инженерии с программированием на Python, C++ или аналогичных языках, либо эквивалентный опыт
• Опыт работы с системами инференса/обслуживания LLM (vLLM, SGLang, TensorRT-LLM или собственные движки инференса)
• Сильные навыки системной отладки и анализа производительности на GPU-кластерах
• Понимание концепций распределённого обслуживания/инференса (TP/PP/DP, KV cache, speculative decoding)

Условия

• Базовая зарплата для уровня IC4: $119 800 – $234 700 в год (в районе SF Bay Area и NYC — $160 200 – $261 000)
• Базовая зарплата для уровня IC5: $142 800 – $274 800 в год (в районе SF Bay Area и NYC — $188 000 – $304 200)
• Возможны бенефиты и дополнительная компенсация
• Microsoft — работодатель равных возможностей

Навыки

• Python
• C++
• vLLM
• SGLang
• TensorRT-LLM
• GPU
• KV cache
• speculative decoding
• Azure ML
• Azure Foundry
• Kubernetes
• Grafana
• Prometheus
• Kusto
• LLM