Baseten

Software Engineer - Inference Product

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Backend-инженер в команду Inference Platform компании Baseten. Разработка API-слоя для Model APIs: аутентификация, rate limiting, маршрутизация, метеринг и биллинг на высоконагруженных распределённых системах.

Задачи

  • Разрабатывать и эксплуатировать API-слой Model APIs: обработка запросов, аутентификация, rate limiting и маршрутизация с высокой доступностью и низкой задержкой
  • Отвечать за инфраструктуру метеринга и биллинга: точный учёт каждого запроса в реальном времени и поддержка новых моделей ценообразования
  • Строить системы rate limiting и управления ёмкостью, балансирующие пропускную способность клиентов и загрузку GPU-парка
  • Выпускать новые продукты на уровне API: маршрутизация между моделями и функции, упрощающие работу с Model APIs
  • Превращать возможности платформы в продуктовый опыт: видимость использования, self-serve контроли, предсказуемое поведение API
  • Оснащать edge-слой наблюдаемостью и алертингом для раннего обнаружения проблем
  • Работать с командами Model APIs, inference и product для быстрого и безопасного вывода новых возможностей
  • Вести проекты end-to-end: от дизайна до деплоя, on-call и итераций по фидбеку клиентов

Требования

  • Степень бакалавра, магистра или PhD в Computer Science, инженерии или смежной области либо эквивалентный практический опыт
  • 3+ года разработки и эксплуатации распределённых систем, backend-инфраструктуры или крупномасштабных API с фокусом на надёжность, задержку и масштаб
  • Подтверждённый опыт владения низколатентными надёжными backend-сервисами: rate limiting, auth, квоты, метеринг, миграции
  • Инфраструктурное чутьё и понимание производительности: профилирование, трейсинг, планирование ёмкости, управление SLO
  • Опыт отладки проблем производительности и надёжности на разных уровнях стека — от приложения до runtime и инфраструктуры
  • Сильное чувство developer experience: понимание того, как системы используются, а не только как работают
  • Готовность изучать новые языки, фреймворки и системы, интерес к inference engineering; опыт ML/LLM не обязателен
  • Отличные навыки письменной коммуникации и коллаборации, включая написание понятных design docs

Условия

  • Конкурентная компенсация, включая значимый equity
  • 100% покрытие медицинской, стоматологической и оптической страховки для сотрудника и иждивенцев (только США)
  • Гибкая политика PTO, включая общий зимний перерыв (офисы закрыты с сочельника до Нового года)
  • Оплачиваемый отпуск по уходу за ребёнком
  • Стипендия на фертильность и создание семьи через Carrot
  • Компанией организованный 401(k) (только США)
  • Знакомство с разнообразными ML-стартапами и широкие возможности для обучения и нетворкинга

Навыки

  • Kubernetes
  • API gateways
  • service mesh
  • distributed scheduling
  • autoscaling
  • service orchestration
  • observability
  • CI/CD
  • release automation
  • rate limiting
  • authentication
  • metering
  • billing
  • profiling
  • tracing
  • SLO management

Похожие вакансии

Software Engineer 2 (DA)
WyetechMiddleAnnapolisОфис
58 – 123 USD в час
19 нояб.
Software Developer II
National VisionMiddleAlpharettaГибрид
19 нояб.
Member of Technical Staff, Software Engineer, Product & Infrastructure
NoeriSeniorPalo AltoОфис
200,000 – 350,000 USD в год
3 нояб.
Founding AI / Backend Engineer
CleraSeniorNew YorkУдалённоРелокация
180,000 USD в год
19 нояб.
Remote Backend Engineer (Python/FastAPI)
TuringMiddleSan FranciscoУдалённо
200 – 300 USD в час
19 нояб.
Remote Backend Engineer (Python/FastAPI)
TuringMiddleNew YorkУдалённо
200 – 300 USD в час
19 нояб.
Software Engineer L2
Jovian ConceptsSeniorAnnapolis JunctionОфис
19 нояб.
Software Engineer / Principal Software Engineer
Northrop GrummanMiddleMelbourneОфисРелокация
81,500 – 152,500 USD в год
19 нояб.
Software Developer 3 AEM
Crown EquipmentSeniorTroyОфис
19 нояб.
Software Engineer 2
RealmOneSeniorColumbiaОфис
19 нояб.