Senior Software Engineer, Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в организацию HPE Private Cloud AI для разработки и развития runtime инференса LLM в платформе HPE AI Essentials, работающей на инфраструктуре заказчика, включая air-gapped и суверенные среды. Ключевая задача — обеспечение низкой tail latency и высокой утилизации GPU на оборудовании разных поколений и конфигураций.

Задачи

• Проектировать, реализовывать и сопровождать ключевые компоненты LLM-сервинга: интеграцию движков, continuous batching, управление и переиспользование KV cache, квантованное исполнение
• Совместно с командами inference-инженерии улучшать time-to-first-token, inter-token latency, пропускную способность на GPU и P95/P99 tail latency
• Создавать и эксплуатировать возможности распределённого исполнения: disaggregated prefill/decode, tensor и pipeline parallelism, выгрузку KV cache между GPU-памятью, памятью хоста и RDMA-хранилищем
• Оценивать новые runtime, схемы квантования, speculative decoding и serving mixture-of-experts, давать обоснованные рекомендации по внедрению
• Участвовать в разработке слоя оркестрации runtime: admission моделей, планирование и партиционирование GPU, cache-aware маршрутизация запросов, автоскейлинг
• Разбирать и решать проблемы клиентов end-to-end, находить первопричины и улучшать системы и процессы для предотвращения повторения
• Проводить содержательные ревью кода и дизайна, менторить участников команды и подавать пример инженерных практик

Требования

• Опыт работы с LLM inference-движками: vLLM, SGLang, TensorRT-LLM, TGI или NVIDIA NIM, включая модификацию внутренностей движка
• Глубокое понимание внутренностей инференса: continuous batching, paged attention, переиспользование KV cache и prefix caching, chunked prefill, квантование, speculative decoding
• Практические знания tensor и pipeline parallelism, коллективных операций NCCL, иерархии GPU-памяти и характеристик interconnect
• Продвинутое владение архитектурой Kubernetes: операторы, custom resources, контроллеры, планирование
• Сильное владение Go и Python, умение читать, отлаживать и профилировать C++/CUDA с помощью инструментов вроде Nsight
• Опыт отладки и профилирования многоуровневых рабочих нагрузок, таких как RAG и Agents
• Отличные аналитические способности, навыки отладки и решения проблем
• Минимум 8 лет опыта в software engineering, из них 1–2+ года непосредственно над LLM inference runtime или production model serving
• Степень в Computer Science или смежной области

Условия

• Гибридный формат: в среднем 2 дня в неделю в офисе HPE
• Основная локация — Spring, Texas, но возможны другие офисы HPE в США; рассматривается удалённая работа
• Комплексные льготы для сотрудников и их близких: физическое, финансовое и эмоциональное благополучие
• Программы личного и профессионального развития
• Инклюзивная культура и гибкость в управлении работой и личными потребностями
• Базовая зарплата: 144 000–273 000 USD в год в Колорадо; 137 000–315 000 USD в год в Северной Каролине и Техасе; возможны переменные вознаграждения

Навыки

• LLM inference
• vLLM
• SGLang
• TensorRT-LLM
• TGI
• NVIDIA NIM
• continuous batching
• paged attention
• KV cache
• prefix caching
• chunked prefill
• quantization
• speculative decoding
• tensor parallelism
• pipeline parallelism
• NCCL
• GPU memory hierarchy
• Kubernetes
• operators
• custom resources
• controllers
• scheduling
• Go
• Python
• C++
• CUDA
• Nsight
• RAG
• Agents
• RDMA
• GPUDirect Storage
• InfiniBand
• RoCE
• MIG
• fractional GPU allocation
• multi-tenant GPU isolation
• air-gapped environments