Berri AI

Staff Backend Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Staff backend-инженер в LiteLLM — open-source AI Gateway. Нужно владеть ключевыми компонентами прокси (роутинг, авторизация, кэширование, трекинг расходов, guardrails, observability) и обеспечивать их корректность и скорость при 1B+ запросов в месяц.

Задачи

  • Владеть ключевыми компонентами LiteLLM proxy end-to-end: дизайн, продакшн, инциденты
  • Находить и устранять целые классы багов: race conditions, устаревшее состояние кэша между репликами, молча проглатываемые ошибки
  • Обеспечивать логирование, трассировку и явные падения проверок guardrails и политик
  • Строить guardrails внутри gateway для блокировки атак на LLM API, MCP-серверы и агентов
  • Поддерживать точность интеграций observability (Datadog, Splunk, Prometheus, OpenTelemetry) при 1B+ запросов в месяц с минимальными накладными расходами
  • Помогать переносить performance-critical участки с Python на Rust без изменения поведения
  • Поднимать планку команды в code review, тестировании и отладке

Требования

  • 5+ лет разработки backend-систем в продакшне с реальной ответственностью за критичные сервисы
  • Сильный Python и опыт с async или высоконагруженными сервисами (asyncio, FastAPI или аналоги)
  • Опыт повышения надёжности продакшн-систем через код: рефакторинги, реархитектура, миграции, устранение корневых причин
  • Отличные навыки отладки в сервисах, базах данных (Postgres, Redis) и распределённых системах
  • Высокий уровень ownership и ответственность за влияние на клиентов
  • BS/MS по Computer Science или эквивалентный опыт

Условия

  • $250-$350k base + equity, health, dental и vision
  • Работа в офисе в Сан-Франциско
  • Небольшая команда около 20 человек, прибыльная и быстрорастущая компания, поддержанная Kleiner Perkins
  • Код работает в критическом пути крупнейших компаний мира

Навыки

  • Python
  • asyncio
  • FastAPI
  • Postgres
  • Redis
  • Rust
  • Go
  • C++
  • Datadog
  • Splunk
  • Prometheus
  • OpenTelemetry
  • LLM APIs
  • API gateways

Похожие вакансии

Backend Software Engineer – TS/SCI
EsriMiddleViennaОфисРелокация
97,240 – 162,240 USD в год
20 нояб.
Software Engineer - .NET
ExperianSeniorSchaumburgГибрид
99,173 – 132,231 USD в год
20 нояб.
Software Engineer, Data Platform
Fusion HealthMiddleWoodbridge TownshipОфис
99,000 – 136,500 USD в год
20 нояб.
Principal, Software Engineer
WalmartLeadBentonvilleУдалённо
110,000 – 220,000 USD в год
19 нояб.
Principal Software Engineer
VertexLeadУдалённо
159,600 – 207,500 USD в год
19 нояб.
Staff Software Engineer
PayPalLeadSan JoseГибрид
176,500 – 262,350 USD в год
19 нояб.
Principal Software Engineer – Search and AI Platform Innovation
RELXLeadPhiladelphiaОфис
114,400 – 192,300 USD в год
20 нояб.
Lead Software Engineer - Marketplace
Lowe'sLeadCharlotteГибрид
20 нояб.
Principal Software Engineer
C SpireLeadRidgelandУдалённо
20 нояб.
Staff Software Engineer
ServiceNowLeadГибрид
166,500 – 291,400 USD в год
20 нояб.