Software Engineer- Inference Performance

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по производительности инференса в Baseten. Работа над ускорением и оптимизацией LLM-инференса на всём стеке — от рантайма и планировщика до маршрутизации и GPU-ядер.

Задачи

• Внедрять и выводить в прод передовые техники инференса: квантизация, speculative decoding, переиспользование KV-cache, chunked prefill, LoRA, guided generation, кастомные алгоритмы планирования и маршрутизации
• Профилировать и оптимизировать инференс end-to-end: от накладных расходов на запуск ядер и раскладки памяти до планирования запросов и cache-aware routing
• Превращать производительность в экономию: повышать tokens per GPU-hour и утилизацию, давать понятные трейдоффы latency/throughput/cost
• Быстро поднимать и настраивать новые архитектуры моделей на новом железе
• Строить бенчмарк-фреймворки для измерения реальной производительности
• Контрибьютить в open-source inference-движки (vLLM, SGLang, TensorRT-LLM) и работать с командами моделей, инфраструктуры и клиентскими командами

Требования

• Степень бакалавра, магистра или Ph.D. в Computer Science, инженерии, математике или смежной области
• Опыт с одним или несколькими языками общего назначения, например Python или C++
• Знакомство с техниками оптимизации LLM (квантизация, speculative decoding, continuous batching)
• Уверенное знание ML-библиотек, особенно PyTorch, TensorRT или TensorRT-LLM
• Продемонстрированный интерес и опыт работы с LLM
• Глубокое понимание архитектуры GPU

Условия

• Конкурентная компенсация, включая значимую долю equity
• 100% покрытие медицинской, стоматологической и офтальмологической страховки для сотрудника и иждивенцев (только США)
• Гибкая политика PTO, включая общий зимний перерыв
• Оплачиваемый отпуск по уходу за ребёнком
• Стипендия на фертильность и создание семьи через Carrot
• 401(k) через компанию (только США)
• Доступ к разнообразным ML-стартапам для обучения и нетворкинга

Навыки

• Python
• C++
• PyTorch
• TensorRT
• TensorRT-LLM
• vLLM
• SGLang
• CUDA
• Triton
• CUTLASS
• квантизация
• speculative decoding
• KV-cache
• GPU