Sr. Software Development Engineer, Inference Team - AWS Neuron

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду Machine Learning Inference Applications, отвечающий за высокопроизводительный инференс моделей на AWS Inferentia и Trainium. Ведёт разработку и оптимизацию open-source inference-фреймворков (vLLM, SGLang) на AWS Neuron.

Задачи

• Руководить разработкой ключевых serving-технологий в open-source фреймворках (vLLM, SGLang) для эффективного крупномасштабного инференса на AWS Neuron
• Кастомизировать и оптимизировать open-source inference-фреймворки на AWS Neuron, включая логику планирования и исполнения моделей
• Применять современные техники kernel-разработки, параллельных вычислений, распределённого KV-кэша и speculative decoding
• Влиять на технический roadmap команды, оценивая новые исследования в области инференса и превращая их в production-ready фичи
• Обеспечивать end-to-end производительность моделей совместно с командами model development, compiler, runtime и performance engineering
• Задавать технические стандарты через design leadership и менторство

Требования

• 5+ лет профессионального опыта разработки ПО (не стажировки)
• 5+ лет программирования минимум на одном языке программирования
• 5+ лет опыта ведущего проектирования или архитектуры (паттерны проектирования, надёжность и масштабирование) новых и существующих систем
• 5+ лет опыта полного жизненного цикла разработки ПО, включая стандарты кодирования, code review, контроль версий, сборку, тестирование и эксплуатацию
• Опыт ментора, tech lead или руководства инженерной командой
• Понимание основ ML-моделей, их архитектуры, жизненного цикла обучения и инференса, а также опыт оптимизации производительности моделей

Условия

• Базовая зарплата 168 100 – 227 400 USD в год
• Пакет включает sign-on выплаты и restricted stock units (RSU)
• Комплексные бенефиты: медицинская, стоматологическая и vision-страховка, Basic Life & AD&D, EAP, поддержка психического здоровья, Flexible Spending Accounts, компенсация усыновления и суррогатного материнства
• 401(k) с matching, оплачиваемый отпуск и parental leave
• Культура инклюзивности и поддержка сотрудников с инвалидностью
• Менторство, тщательные code review и возможности карьерного роста

Навыки

• vLLM
• SGLang
• AWS Neuron
• AWS Inferentia
• AWS Trainium
• LLM serving
• Kernel development
• CUDA
• Triton
• PyTorch
• JAX
• Distributed KV cache
• Speculative decoding
• Parallel computation
• Machine Learning
• Inference optimization