Software Development Engineer II, SageMaker AI Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик в команду SageMaker AI Inference в Amazon. Задача — оптимизация производительности инференса LLM: настройка ядер, снижение задержек и повышение пропускной способности production-нагрузок.

Задачи

• Проектировать и реализовывать оптимизации на уровне ядер и улучшения inference-пайплайна для снижения задержек и роста пропускной способности LLM
• Профилировать, бенчмаркать и настраивать производительность инференса моделей на разных аппаратных и программных стеках
• Писать поддерживаемый код, участвовать в code review и менторить младших инженеров
• Сотрудничать с applied scientists, ML-инженерами и инфраструктурными командами для перевода требований моделей в production-решения
• Оценивать новые инструменты, фреймворки и техники генеративного AI для оптимизации инференса

Требования

• 3+ года профессионального опыта разработки ПО (не стажировки)
• 2+ года опыта проектирования или архитектуры новых и существующих систем
• 1+ год опыта разработки крупномасштабных многоуровневых многопоточных распределённых приложений на C#, C++, Java или Perl
• 1+ год опыта объектно-ориентированного проектирования
• Степень бакалавра в Computer Science, инженерии, математике или смежной области
• Опыт программирования хотя бы на одном языке
• Желательно: опыт с CUDA-ядрами или ML/low-level ядрами
• Желательно: знание основ Machine Learning и LLM, включая архитектуру, жизненный цикл обучения/инференса и оптимизацию исполнения моделей

Условия

• Медицинская страховка (medical, dental, vision, рецепты, Basic Life & AD&D, дополнительное страхование жизни)
• EAP, поддержка психического здоровья, медицинская консультационная линия
• Flexible Spending Accounts
• Компенсация усыновления и суррогатного материнства
• 401(k) с matching
• Оплачиваемый отпуск и отпуск по уходу за ребёнком
• Sign-on payments и RSU

Навыки

• C#
• C++
• Java
• Perl
• CUDA
• Machine Learning
• LLM
• Object Oriented Design