Software Engineer, AI Infra and Model Foundry

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду AI Infrastructure and Model Foundry в Microsoft AI. Задача — строить высокопроизводительные распределённые системы для обучения, сервинга и инференса фронтирных моделей.

Задачи

• Задавать техническое направление и вести многоквартальные инициативы по инфраструктуре фронтирных моделей — от экспериментов и обучения до оценки, деплоя и инференса
• Разрабатывать высокопроизводительные системы сервинга моделей с низкой задержкой и эффективным использованием GPU и других ускорителей
• Создавать переиспользуемые платформенные возможности: онбординг моделей, версионирование, упаковка, rollout, маршрутизация, автоскейлинг, мониторинг и откат
• Улучшать производительность инференса и эффективность флота через батчинг, prefix и KV-кэширование, планирование, параллелизм, квантизацию, компиляцию и оптимизацию памяти
• Создавать надёжные интерфейсы и рабочие процессы для быстрого и безопасного вывода моделей из экспериментов в продакшен
• Определять SLO и строить системы наблюдаемости, бенчмаркинга, управления мощностями и обнаружения регрессий
• Диагностировать и устранять узкие места в распределённых системах, сетях, хранилищах, рантаймах и ускорителях
• Руководить реакцией на сложные продакшен-инциденты и проводить root-cause анализ
• Работать с исследователями и RL-инженерами над крупномасштабными экспериментами, rollout, оценкой и генерацией данных
• Менторить инженеров и повышать качество архитектурных и дизайн-ревью

Требования

• Степень бакалавра по Computer Science или смежной технической специальности и 6+ лет опыта в разработке на C, C++, C#, Java, JavaScript, Python, Rust или Go, либо эквивалентный опыт
• Опыт проектирования, построения и эксплуатации распределённых систем или высоконагруженной продакшен-инфраструктуры, включая ML-инфраструктуру, сервинг моделей, распределённые вычисления или облачные платформы
• Опыт ведения технически амбициозных многотимных инфраструктурных инициатив от архитектуры до продакшена
• Сильные системные знания: конкурентность, сети, хранилища, управление ресурсами, надёжность, анализ производительности
• Опыт сервинга больших языковых и генеративных моделей в продакшене
• Опыт с контейнерами, планировщиками, оркестрацией и крупномасштабной облачной инфраструктурой
• Опыт построения платформ обучения, пост-обучения, оценки или управления экспериментами
• Знание техник сервинга моделей: continuous batching, prefix/KV caching, disaggregated prefill и decode, speculative decoding, параллелизм, квантизация, компиляция моделей
• Опыт эксплуатации отказоустойчивых GPU-сервисов с высокими требованиями к задержке, пропускной способности и стоимости
• Опыт hardware-software co-design и повышения утилизации ускорителей
• Развитые навыки письменной и устной коммуникации, умение объяснять системные компромиссы

Условия

• Базовая зарплата в США: $142 800 – $274 800 в год (в районе Сан-Франциско и Нью-Йорка — $188 000 – $304 200)
• Возможны бенефиты и дополнительная компенсация
• Вакансия открыта минимум 5 дней, заявки принимаются до заполнения позиции
• Microsoft — работодатель равных возможностей

Навыки

• C
• C++
• C#
• Java
• JavaScript
• Python
• Rust
• Go
• GPU
• Kubernetes
• containers
• distributed systems
• LLM serving
• KV caching
• quantization
• model compilation
• observability
• autoscaling