Senior Deep Learning Software Engineer, Inference and Model Optimization

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Algorithmic Model Optimization в NVIDIA. Оптимизация генеративных моделей (LLM, diffusion) для максимальной эффективности инференса и разработка платформы TRT Model Optimizer.

Задачи

• Обучать, разрабатывать и разворачивать современные генеративные модели (LLM, diffusion) на AI-стеке NVIDIA
• Использовать и развивать экосистему torch 2.0 (TorchDynamo, torch.export, torch.compile) для извлечения стандартизированного графа моделей
• Разрабатывать высокопроизводительные техники оптимизации инференса: автоматический шардинг моделей (tensor/sequence parallelism), эффективные attention-ядра с kv-caching
• Сотрудничать с командами NVIDIA для использования производительных реализаций ядер в решении автоматического деплоя
• Анализировать и профилировать производительность GPU-ядер для поиска возможностей оптимизации
• Непрерывно улучшать производительность инференса решений TRT, TRT-LLM, TRT Model Optimizer
• Участвовать в проектировании модульной и масштабируемой программной платформы

Требования

• Магистратура, PhD или эквивалентный опыт в Computer Science, AI, прикладной математике или смежной области
• 8+ лет релевантного опыта работы или исследований в Deep Learning
• Отличные навыки проектирования ПО, включая отладку, анализ производительности и проектирование тестов
• Уверенное владение Python, PyTorch и связанными ML-инструментами (например, HuggingFace)
• Сильные знания алгоритмов и основ программирования
• Хорошие навыки письменной и устной коммуникации, умение работать самостоятельно и в команде

Условия

• Конкурентная зарплата
• Equity и пакет бенefits
• Базовая зарплата 184 000–287 500 USD для Level 4 и 224 000–356 500 USD для Level 5
• Инклюзивная среда и равные возможности

Навыки

• Python
• PyTorch
• HuggingFace
• CUDA
• TensorRT
• TRT-LLM
• Triton
• TorchDynamo
• torch.export
• torch.compile
• JAX
• CUTLASS
• LLM
• diffusion models
• quantization
• pruning
• neural architecture search
• tensor parallelism
• sequence parallelism
• kv-caching