Software Development Engineer – AI/ML Networking Disaggregated Inference, Annapurna Labs , Elastic Collectives

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Annapurna Labs (AWS) для работы над сетевой инфраструктурой disaggregated inference: разделение LLM-сервинга на пулы prefill и decode и передача KV-кэша между ними на пределе возможностей железа. Нужен сильный системный разработчик на C/C++ с интересом к низкоуровневой производительности.

Задачи

• Разрабатывать и оптимизировать низкоуровневое ПО для передачи KV-кэша и активаций между ускорителями, серверами и гетерогенной памятью по высокоскоростной сети AWS
• Профилировать реальные нагрузки, находить узкие места и приближать компоненты к пределу производительности железа
• Работать по всему стеку — от сетевого транспорта до фреймворков инференса
• Поставлять фичи в крупнейшие кластеры и для крупнейших клиентов, обслуживающих самые большие AI-модели в продакшене

Требования

• 3+ года профессионального опыта разработки ПО (не стажировки)
• 2+ года опыта проектирования или архитектуры новых и существующих систем (паттерны, надёжность, масштабирование)
• Опыт программирования хотя бы на одном языке
• Опыт с C/C++
• Уверенное владение Linux, памятью и написанием быстрого кода
• Желательно: опыт высокоскоростных сетей, HPC-интерконнектов или GPU/ускорителей (RDMA, InfiniBand, libfabric, UCX, NCCL, MPI)
• Желательно: опыт в embedded-системах
• Желательно: 3+ года полного цикла разработки ПО (стандарты кодирования, код-ревью, контроль версий, сборка, тестирование, эксплуатация)
• Желательно: степень бакалавра по computer science или эквивалент

Условия

• Гибкий график работы и уважение к work-life balance
• Международная команда, менторство от senior и principal инженеров
• Возможности карьерного роста и обучения
• Полный соцпакет: медстрахование (medical, dental, vision), 401(k) matching, оплачиваемый отпуск, parental leave
• Sign-on payments и RSU
• Базовая зарплата 165 200 – 223 600 USD в год

Навыки

• C
• C++
• Linux
• RDMA
• InfiniBand
• libfabric
• UCX
• NCCL
• MPI
• HPC
• GPU
• AI/ML