Python Inference Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Edge Cloud & AI компании Gcore. Развитие inference-платформы: интеграция фреймворков вывода моделей, оптимизация latency, throughput и использования GPU, вывод новых языковых и мультимодальных моделей в продакшн.

Задачи

• Разрабатывать и улучшать inference-слой платформы Gcore Inference
• Интегрировать и эксплуатировать inference-фреймворки: vLLM, SGLang, NVIDIA Dynamo, TensorRT-LLM
• Выводить в продакшн новые языковые и мультимодальные модели
• Улучшать latency, throughput, потребление памяти, утилизацию GPU и экономическую эффективность инференса
• Отлаживать проблемы производительности и надёжности в коде моделей, inference-фреймворках, исполнении на GPU, сети и Kubernetes
• Работать с платформенными, инфраструктурными, продуктовыми и клиентскими командами, превращая улучшения инференса в надёжные продуктовые фичи
• Вносить вклад в open-source проекты инференса
• Профилировать и оптимизировать latency, throughput, память и утилизацию GPU

Требования

• 5+ лет опыта написания надёжного, хорошо покрытого тестами продакшн-кода
• Сильные навыки Python и опыт проектирования продакшн-систем
• Практический опыт с PyTorch и деплоем ML-моделей
• Опыт работы с Linux, Docker и Kubernetes
• Опыт хотя бы в одной из областей: распределённые системы, GPU-вычисления, ML-рантаймы, оптимизация моделей или планирование кластеров
• Умение отлаживать сложные проблемы на стыке софта, инфраструктуры и железа
• Сильное чувство developer experience: думать о том, как системы используются, а не только как они работают
• Искренний интерес к inference-инженерии (прямой опыт с inference-движками не обязателен)
• Хорошие коммуникативные навыки и умение работать в команде

Условия

• Конкурентная компенсация
• Гибкий график и гибридный или удалённый формат в зависимости от роли
• Возможность работать из любой точки мира до 45 дней в году
• ДМС для сотрудника и семьи*
• Дополнительные оплачиваемые дни отпуска и больничные*
• Поддержка в важные жизненные моменты и праздники
• Курсы иностранных языков
• Современные офисы со снеками, напитками и развлечениями*
• Командные виды спорта и корпоративные мероприятия*
• * Часть бенефитов может зависеть от локации

Навыки

• Python
• PyTorch
• vLLM
• SGLang
• NVIDIA Dynamo
• TensorRT-LLM
• Linux
• Docker
• Kubernetes
• GPU
• CUDA
• Triton
• TensorRT
• quantization
• continuous batching
• speculative decoding
• prefix caching
• chunked prefill
• LoRA serving
• distributed inference
• multi-GPU
• autoscaling