Baseten
Software Engineer - Inference Product
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Backend-инженер в команду Inference Platform компании Baseten. Разработка API-слоя для Model APIs: аутентификация, rate limiting, маршрутизация, метеринг и биллинг на высоконагруженных распределённых системах.
Задачи
- Разрабатывать и эксплуатировать API-слой Model APIs: обработка запросов, аутентификация, rate limiting и маршрутизация с высокой доступностью и низкой задержкой
- Отвечать за инфраструктуру метеринга и биллинга: точный учёт каждого запроса в реальном времени и поддержка новых моделей ценообразования
- Строить системы rate limiting и управления ёмкостью, балансирующие пропускную способность клиентов и загрузку GPU-парка
- Выпускать новые продукты на уровне API: маршрутизация между моделями и функции, упрощающие работу с Model APIs
- Превращать возможности платформы в продуктовый опыт: видимость использования, self-serve контроли, предсказуемое поведение API
- Оснащать edge-слой наблюдаемостью и алертингом для раннего обнаружения проблем
- Работать с командами Model APIs, inference и product для быстрого и безопасного вывода новых возможностей
- Вести проекты end-to-end: от дизайна до деплоя, on-call и итераций по фидбеку клиентов
Требования
- Степень бакалавра, магистра или PhD в Computer Science, инженерии или смежной области либо эквивалентный практический опыт
- 3+ года разработки и эксплуатации распределённых систем, backend-инфраструктуры или крупномасштабных API с фокусом на надёжность, задержку и масштаб
- Подтверждённый опыт владения низколатентными надёжными backend-сервисами: rate limiting, auth, квоты, метеринг, миграции
- Инфраструктурное чутьё и понимание производительности: профилирование, трейсинг, планирование ёмкости, управление SLO
- Опыт отладки проблем производительности и надёжности на разных уровнях стека — от приложения до runtime и инфраструктуры
- Сильное чувство developer experience: понимание того, как системы используются, а не только как работают
- Готовность изучать новые языки, фреймворки и системы, интерес к inference engineering; опыт ML/LLM не обязателен
- Отличные навыки письменной коммуникации и коллаборации, включая написание понятных design docs
Условия
- Конкурентная компенсация, включая значимый equity
- 100% покрытие медицинской, стоматологической и оптической страховки для сотрудника и иждивенцев (только США)
- Гибкая политика PTO, включая общий зимний перерыв (офисы закрыты с сочельника до Нового года)
- Оплачиваемый отпуск по уходу за ребёнком
- Стипендия на фертильность и создание семьи через Carrot
- Компанией организованный 401(k) (только США)
- Знакомство с разнообразными ML-стартапами и широкие возможности для обучения и нетворкинга
Навыки
- Kubernetes
- API gateways
- service mesh
- distributed scheduling
- autoscaling
- service orchestration
- observability
- CI/CD
- release automation
- rate limiting
- authentication
- metering
- billing
- profiling
- tracing
- SLO management