Software Engineer, Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Inference, которая строит системы для быстрой, надёжной и экономичной работы фундаментальных моделей в AI-агентах Sierra. Роль системная: распределённая инфраструктура на стыке с AI, без необходимости быть ML-исследователем.

Задачи

• Работать с frontier-лабораториями и провайдерами инференса для обеспечения мощностей и инфраструктуры
• Проектировать архитектуру инференса: маршрутизация трафика между моделями, инфраструктурой и провайдерами, включая новые слои serving и proxy
• Разрабатывать системы маршрутизации, failover, управления мощностями и квотами для низкой задержки и высокой надёжности
• Запускать и эксплуатировать self-hosted инференс на GPU: контейнеры, inference-движки, управление вычислительными мощностями
• Оптимизировать производительность инференса совместно с Applied Research (speculative decoding, оптимизация serving-движков)
• Работать с гибридным стеком инференса: собственная инфраструктура и сторонние платформы
• Тюнить движки и инфраструктуру провайдеров под нагрузки Sierra
• Поддерживать инфраструктуру для post-training совместно с командами Models и Agent Runtime

Требования

• Глубокое системное мышление и сильные основы распределённых систем
• Опыт проектирования, построения и эксплуатации крупномасштабных production-систем
• Сильное чувство компромиссов между задержкой, надёжностью, мощностями и стоимостью
• Опыт владения сложной инфраструктурой от архитектуры до production-эксплуатации
• Интерес применять системную экспертизу к AI-инфраструктуре и быстро учиться

Условия

• Неограниченный оплачиваемый отпуск
• Медицинская, стоматологическая и офтальмологическая страховка для сотрудника и семьи
• Страхование жизни и пособия по инвалидности
• Пенсионный план в зависимости от страны трудоустройства
• Родительский отпуск
• Льготы по фертильности и планированию семьи через Carrot
• Обеды, снеки и кофе в офисе
• Дискреционный стипенд на льготы
• Участие в equity-планах

Навыки

• Distributed Systems
• GPU
• vLLM
• SGLang
• MLOps
• LLM serving
• Inference
• Kubernetes