Berri AI
Staff Backend Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Staff backend-инженер в LiteLLM — open-source AI Gateway. Нужно владеть ключевыми компонентами прокси (роутинг, авторизация, кэширование, трекинг расходов, guardrails, observability) и обеспечивать их корректность и скорость при 1B+ запросов в месяц.
Задачи
- Владеть ключевыми компонентами LiteLLM proxy end-to-end: дизайн, продакшн, инциденты
- Находить и устранять целые классы багов: race conditions, устаревшее состояние кэша между репликами, молча проглатываемые ошибки
- Обеспечивать логирование, трассировку и явные падения проверок guardrails и политик
- Строить guardrails внутри gateway для блокировки атак на LLM API, MCP-серверы и агентов
- Поддерживать точность интеграций observability (Datadog, Splunk, Prometheus, OpenTelemetry) при 1B+ запросов в месяц с минимальными накладными расходами
- Помогать переносить performance-critical участки с Python на Rust без изменения поведения
- Поднимать планку команды в code review, тестировании и отладке
Требования
- 5+ лет разработки backend-систем в продакшне с реальной ответственностью за критичные сервисы
- Сильный Python и опыт с async или высоконагруженными сервисами (asyncio, FastAPI или аналоги)
- Опыт повышения надёжности продакшн-систем через код: рефакторинги, реархитектура, миграции, устранение корневых причин
- Отличные навыки отладки в сервисах, базах данных (Postgres, Redis) и распределённых системах
- Высокий уровень ownership и ответственность за влияние на клиентов
- BS/MS по Computer Science или эквивалентный опыт
Условия
- $250-$350k base + equity, health, dental и vision
- Работа в офисе в Сан-Франциско
- Небольшая команда около 20 человек, прибыльная и быстрорастущая компания, поддержанная Kleiner Perkins
- Код работает в критическом пути крупнейших компаний мира
Навыки
- Python
- asyncio
- FastAPI
- Postgres
- Redis
- Rust
- Go
- C++
- Datadog
- Splunk
- Prometheus
- OpenTelemetry
- LLM APIs
- API gateways