Senior Deep Learning Software Engineer, Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду инференса NVIDIA: разработка и оптимизация GPU-ускоренного ПО и open-source фреймворков для эффективного обслуживания и инференса крупных моделей (LLM, мультимодальные, генеративные).

Задачи

• Оптимизация, анализ и тюнинг производительности DL-моделей в доменах LLM, мультимодальных и генеративных моделей
• Масштабирование производительности DL-моделей на разных архитектурах и типах ускорителей NVIDIA
• Разработка фич и кода для библиотек инференса NVIDIA: vLLM, SGLang, FlashInfer и LLM-решений
• Работа с кросс-функциональными командами над фреймворками, библиотеками NVIDIA и инновационными решениями по оптимизации инференса

Требования

• Магистратура, PhD или эквивалентный опыт в смежной области (Computer Engineering, Computer Science, EECS, AI)
• 5+ лет релевантного опыта разработки ПО
• Отличные навыки программирования на C/C++ и проектирования ПО
• Знание Python приветствуется
• Опыт обучения, деплоя или оптимизации инференса DL-моделей в продакшене — плюс
• Опыт performance-моделирования, профилирования, отладки и оптимизации кода или знание архитектуры CPU и GPU — плюс
• Опыт GPU-программирования (CUDA, OAI Triton или CUTLASS) — плюс
• Опыт мульти-GPU коммуникаций (NCCL, NVSHMEM) — плюс

Условия

• Конкурентная зарплата: 152 000–241 500 USD для Level 3 и 184 000–287 500 USD для Level 4
• Полный соцпакет и equity
• Гибридный формат работы
• Работа в одной из самых востребованных технологических компаний

Навыки

• C
• C++
• Python
• CUDA
• CUTLASS
• OAI Triton
• NCCL
• NVSHMEM
• vLLM
• SGLang
• FlashInfer
• PyTorch
• GPU programming
• LLM
• Generative AI