Software Engineer II - AI/ML, Neuron Inference, Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Neuron Inference (Annapurna Labs, AWS) для оптимизации инференса ML-моделей и GenAI-нагрузок на ускорителях AWS Trainium. Работа на стыке ML, высокопроизводительных вычислений и распределённых архитектур.

Задачи

• Проектировать, разрабатывать и оптимизировать ML-модели и фреймворки для деплоя на кастомных ML-ускорителях
• Участвовать во всех этапах жизненного цикла ML-системы: проектирование распределённой архитектуры, реализация, профилирование, оптимизации под железо, тестирование и продакшн-деплой
• Строить инфраструктуру для систематического анализа и онбординга множества моделей с разными архитектурами
• Разрабатывать NKI-ядра и высокопроизводительные ядра для ML-операций
• Анализировать и оптимизировать производительность на уровне системы для нескольких поколений Neuron-железа
• Проводить детальный анализ производительности с помощью профилировщиков и устранять узкие места
• Реализовывать оптимизации: fusion, sharding, tiling, scheduling
• Проводить тестирование, включая юнит- и end-to-end тесты моделей с CI/CD через пайплайны
• Работать напрямую с клиентами по включению и оптимизации их ML-моделей на ускорителях AWS
• Сотрудничать с командами компилятора, рантайма, фреймворков и железа

Требования

• 3+ года профессионального опыта разработки ПО (не стажировки)
• Степень бакалавра или эквивалент в Computer Science, Engineering, Mathematics или смежной области
• Знание Python и/или C++
• 3+ года опыта проектирования или архитектуры новых и существующих систем (паттерны, надёжность, масштабирование)
• 1+ год опыта разработки крупномасштабных многопоточных, встроенных или распределённых приложений на C#, C++, Java или Perl
• Опыт отладки, профилирования и внедрения лучших практик разработки в крупных системах
• Сильное понимание производительности систем, управления памятью и принципов параллельных вычислений

Условия

• Полный соцпакет: медстрахование (medical, dental, vision), 401(k) matching, оплачиваемый отпуск, родительский отпуск
• Sign-on payments и RSU
• Небольшие agile-команды, культура экспериментов и обучения
• Возможность менторства и карьерного роста

Навыки

• Python
• C++
• C#
• Java
• Perl
• PyTorch
• CUDA
• Triton
• FlashInfer
• vLLM
• SGLang
• TensorRT
• JIT compilation
• AOT tracing
• NKI
• LLM
• distributed inference
• profiling