Software Engineer II - AI/ML, Neuron Inference, Neuron Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Neuron Inference (Annapurna Labs, AWS) для разработки и оптимизации инференса ML-моделей на ускорителях AWS Trainium. Работа на стыке ML, высокопроизводительных вычислений и распределённых архитектур.

Задачи

• Проектировать, разрабатывать и оптимизировать ML-модели и фреймворки для деплоя на кастомных ML-ускорителях
• Участвовать во всех этапах жизненного цикла ML-системы: проектирование распределённой архитектуры, реализация, профилирование, оптимизации под железо, тестирование и продакшн-деплой
• Строить инфраструктуру для систематического анализа и онбординга множества моделей с разными архитектурами
• Разрабатывать высокопроизводительные NKI-ядра и фичи для ML-операций
• Анализировать и оптимизировать производительность на нескольких поколениях железа Neuron
• Проводить профилирование и устранять узкие места
• Реализовывать оптимизации: fusion, sharding, tiling, scheduling
• Проводить юнит- и end-to-end тестирование моделей с CI/CD через пайплайны
• Работать напрямую с клиентами по enablement и оптимизации их моделей
• Сотрудничать с командами компилятора, рантайма, фреймворков и железа

Требования

• 3+ года профессионального опыта разработки ПО (не стажировки)
• Степень бакалавра или эквивалент в Computer Science, Engineering, Mathematics или смежной области
• Знание Python и/или C++
• Опыт полного цикла разработки ПО: стандарты кодирования, код-ревью, контроль версий, сборка, тестирование, эксплуатация
• Опыт с Machine Learning и основами LLM: архитектура, жизненный цикл обучения/инференса, оптимизация исполнения моделей
• Знание архитектуры ML-моделей и инференса
• Опыт с CUDA-ядрами или ML/low-level ядрами
• Знание синтаксиса и tile-level семантики, аналогичной Triton
• Опыт с vLLM, SGLang, TensorRT или похожими платформами в продакшене
• Опыт с PyTorch, JIT-компиляцией и AOT tracing

Условия

• Медицинская страховка (medical, dental, vision, prescription), Basic Life & AD&D, Supplemental life plans
• EAP, поддержка ментального здоровья, Medical Advice Line
• Flexible Spending Accounts
• Компенсация adoption и surrogacy
• 401(k) matching
• Оплачиваемый отпуск и parental leave
• Sign-on payments и RSU
• Небольшие agile-команды, культура экспериментов и обучения

Навыки

• Python
• C++
• PyTorch
• CUDA
• Triton
• vLLM
• SGLang
• TensorRT
• JIT compilation
• AOT tracing
• NKI
• LLM
• Machine Learning
• distributed inference