Software Engineer- Inference Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Inference Platform компании Baseten. Задача — строить распределённый рантайм и инфраструктуру для крупномасштабного инференса LLM: маршрутизация, автоскейлинг, оркестрация в Kubernetes и надёжность продакшена.

Задачи

• Строить инфраструктуру и системы оркестрации для развёртывания и работы распределённого инференса LLM: маршрутизация, автоскейлинг, планирование, управление рантаймом
• Проектировать, создавать и эксплуатировать Model APIs с поддержкой structured outputs, tool/function calling и мультимодального сервинга
• Реализовывать платформенные основы: версионирование API, валидацию, учёт использования, квоты и аутентификацию
• Настраивать наблюдаемость (метрики, трейсы, логи) и строить воспроизводимые бенчмарки по скорости, надёжности и качеству
• Отлаживать и укреплять сложные продакшен-системы на стыке Kubernetes, распределённых рантаймов, сетей и GPU-нагрузок
• Совместно с инженерами Inference Performance делать новые оптимизации доступными и простыми в настройке для клиентов
• Вести проекты от архитектуры до деплоя, мониторинга и итераций по фидбеку, балансируя производительность, надёжность и простоту

Требования

• Степень бакалавра, магистра или Ph.D. в Computer Science, инженерии или смежной области либо эквивалентный практический опыт
• 3+ года разработки и эксплуатации распределённых систем, backend-инфраструктуры или крупномасштабных API с фокусом на надёжность, задержки и масштаб
• Подтверждённый опыт владения низколатентными надёжными backend-сервисами: rate limiting, auth, квоты, метеринг, миграции
• Инфраструктурная интуиция и чувство производительности: профилирование, трейсинг, планирование мощностей, управление SLO
• Умение отлаживать проблемы производительности и надёжности на разных уровнях стека — от приложения до рантайма и инфраструктуры
• Сильное чувство developer experience — понимание того, как системы используются, а не только как работают
• Готовность изучать новые языки, фреймворки и системы, интерес к inference engineering
• Отличные навыки письменной коммуникации и коллаборации, включая написание понятных design docs

Условия

• Конкурентная компенсация, включая значимый equity
• 100% покрытие медицинской, стоматологической и оптической страховки для сотрудника и иждивенцев (только США)
• Гибкая политика PTO, включая общий зимний перерыв (офисы закрыты с сочельника до Нового года)
• Оплачиваемый отпуск по уходу за ребёнком
• Стипендия на фертильность и создание семьи через Carrot
• 401(k) при поддержке компании (только США)
• Доступ к разнообразным ML-стартапам — возможности для обучения и нетворкинга

Навыки

• Kubernetes
• Distributed Systems
• LLM Inference
• vLLM
• SGLang
• TensorRT-LLM
• TGI
• Dynamo
• GPU
• API
• Observability
• CI/CD
• Autoscaling
• Service Mesh
• API Gateway