Staff Software Engineer, Inference Performance Optimization, GenAI, DeepMind

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по оптимизации производительности инференса GenAI-моделей в DeepMind. Задача — ускорять и удешевлять крупномасштабный AI-инференс за счёт профилирования, бенчмаркинга и системных улучшений всего стека.

Задачи

• Анализировать и оптимизировать нагрузки AI-инференса на уровнях приложения, модели и распределённой инфраструктуры для роста throughput-per-GPU и снижения задержек
• Проектировать и внедрять техники оптимизации инференса
• Расследовать и устранять сложные узкие места производительности инференса по всему стеку
• Моделировать влияние системных переменных (размер батча, цели по утилизации) на задержку и стоимость и превращать выводы в сигналы для продакшн-систем
• Разрабатывать инструменты и метрики (например, compute/FLOPs funnels) для отслеживания расхода вычислений по флоту

Требования

• Степень бакалавра в Computer Science, Computer Engineering, Electrical Engineering, Applied Mathematics или смежной технической области либо эквивалентный практический опыт
• 8 лет опыта разработки ПО
• Опыт работы с Python и C++, включая навигацию, отладку и модификацию serving-кодбейзов
• Понимание ограничений исполнения AI-моделей, компромиссов throughput-latency, ограничений пропускной способности памяти и современных serving-архитектур
• Желательно: опыт в реальных средах LLM-инференса или вклад в open-source фреймворки инференса (vLLM, TensorRT-LLM, SGLang, Dynamo)
• Желательно: опыт профилирования нагрузок стандартными ML-профайлерами (например, PyTorch profiler) и внутренними инструментами анализа трейсов
• Желательно: опыт observability и надёжности крупных распределённых систем
• Желательно: знание концепций производительности GPU/TPU/акселераторов (пропускная способность памяти, квантизация, коллективные коммуникации, ядра)

Условия

• Зарплата в США: $207000 - $300000 (USD)
• Целевой бонус 20%
• Equity
• Benefits

Навыки

• Python
• C++
• LLM inference
• vLLM
• TensorRT-LLM
• SGLang
• Dynamo
• PyTorch profiler
• GPU
• TPU
• quantization
• distributed systems