Sr. Software Engineer- AI/ML, Amazon Neuron Training

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду Distributed Training (Annapurna Labs, AWS) для развития AWS Neuron — SDK для ускорения обучения глубоких моделей и GenAI на Trainium. Роль на стыке ML, высокопроизводительных вычислений и распределённых систем.

Задачи

• Развивать поддержку распределённого обучения и post-training в PyTorch и JAX для ускорителей Trainium
• Работать совместно с командами компилятора и runtime Neuron над масштабным обучением, post-training и RL-нагрузками на новых инстансах Trainium
• Отвечать за стратегии параллелизма: data, tensor, pipeline, expert и context parallelism
• Применять форматы пониженной точности там, где это даёт измеримый выигрыш
• Профилировать end-to-end и определять узкое место (compute, memory, collectives, host overhead), доводить исправления до нужного слоя
• Формулировать требования к фреймворкам на основе выявленных разрывов в производительности
• Контрибьютить в open source фреймворки, на которых обучаются клиенты

Требования

• 5+ лет профессионального опыта разработки ПО (не стажировки)
• 5+ лет программирования хотя бы на одном языке
• 5+ лет опыта ведущего проектирования или архитектуры новых и существующих систем (паттерны, надёжность, масштабирование)
• Опыт менторства, tech lead или руководства инженерной командой
• Степень бакалавра и выше по computer science или эквивалент
• Понимание основ LLM/трансформеров: механизмы attention, autoregressive decoding, поведение V-cache, виды параллелизма
• Опыт в machine learning, data mining, information retrieval, статистике или NLP

Условия

• Гибкий график работы и поддержка work-life balance
• Инклюзивная культура, employee-led affinity groups, обучающие мероприятия (CORE, AmazeCon)
• Комплексный пакет бенефитов: медицинская страховка (medical, dental, vision, prescription, life & AD&D, EAP, Mental Health Support), 401(k) matching, оплачиваемый отпуск, parental leave
• Компенсация включает sign-on payments и restricted stock units (RSUs)

Навыки

• PyTorch
• JAX
• LLM
• Transformer
• RLHF
• PPO
• GRPO
• DPO
• SFT
• Distributed Training
• Data Parallelism
• Tensor Parallelism
• Pipeline Parallelism
• Expert Parallelism
• Context Parallelism
• Performance Engineering
• Profiling
• GPU
• TPU
• Neuron
• Computer Architecture
• Open Source