Software Engineer-AI/ML, Inference Team - AWS Neuron

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Machine Learning Inference Applications для AWS Neuron — стека для ускорителей Inferentia и Trainium. Задача — развивать serving-технологии в open-source фреймворках и ускорять инференс больших моделей на чипах Neuron.

Задачи

• Разрабатывать ключевые serving-фичи в open-source фреймворках инференса (vLLM, SGLang): continuous batching, paged attention, квантизация, распределённый инференс на Neuron
• Расширять набор поддерживаемых моделей и строить инструменты и автоматизацию для быстрого вывода новых моделей в продакшн
• Сокращать время включения новых моделей, улучшать тестирование, бенчмаркинг и релизные процессы
• Совместно с командами model development, performance, compiler и runtime обеспечивать сквозную производительность моделей
• Применять сильные инженерные практики: код-ревью, тестирование, операционное совершенство

Требования

• 3+ года профессионального опыта разработки ПО (не стажировки)
• 3+ года опыта проектирования и архитектуры новых и существующих систем (паттерны, надёжность, масштабирование)
• 2+ года опыта разработки крупномасштабных многоуровневых многопоточных распределённых приложений на C#, C++, Java или Perl
• Степень бакалавра в Computer Science, Engineering, Mathematics или смежной области
• Знание основ Machine Learning и LLM: архитектура трансформеров, жизненный цикл обучения/инференса, методы оптимизации

Условия

• Медицинская страховка (medical, dental, vision, рецепты, страхование жизни, EAP, поддержка психического здоровья)
• 401(k) с matching
• Оплачиваемый отпуск и отпуск по уходу за ребёнком
• Sign-on выплаты и RSU
• Менторство и поддержка карьерного роста

Навыки

• C++
• C#
• Java
• Perl
• Machine Learning
• LLM
• vLLM
• SGLang
• TensorRT
• CUDA
• Triton
• AWS Neuron
• Inferentia
• Trainium
• GPU
• TPU