Staff + Sr. Software Engineer, Cloud Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Backend-инженер в команду Cloud Inference, которая масштабирует и оптимизирует Claude на AWS, GCP и Azure. Роль про проектирование сервисов и абстракций для инференса, управление мощностями и надёжный запуск новых моделей на всех облачных платформах.

Задачи

• Проектировать, разрабатывать и сопровождать backend-сервисы и инфраструктуру, обслуживающую Claude на нескольких облачных провайдерах с учётом различий в железе, сетях, API и операционных моделях
• Работать кросс-функционально с командами inference, product API, systems и security, а также с партнёрами-провайдерами для развёртывания полного стека на новых облачных платформах и решения операционных проблем
• Строить и развивать системы CI/CD-автоматизации, включая пайплайны валидации и деплоя, для надёжного релиза новых версий моделей миллионам пользователей без регрессий
• Проектировать интерфейсы и инструментальные абстракции между облачными провайдерами для экономичного управления инференсом и снижения сложности на каждую платформу
• Участвовать в планировании мощностей, автоскейлинге и стратегиях маршрутизации нагрузки, направляя запросы к наиболее экономичным ускорителям и регионам
• Анализировать observability-данные по провайдерам, выявлять узкие места производительности, аномалии стоимости и регрессии и устранять их на основе реальных продакшн-нагрузок

Требования

• Значительный опыт разработки ПО с сильным бэкграундом в высокопроизводительных крупномасштабных распределённых системах, обслуживающих миллионы пользователей
• Опыт создания или эксплуатации сервисов хотя бы на одной крупной облачной платформе (AWS, GCP или Azure), знакомство с Kubernetes, Infrastructure as Code или оркестрацией контейнеров
• Интерес к LLM serving; предварительный опыт в inference или ML не обязателен
• Умение эффективно работать кросс-функционально с внутренними командами и внешними партнёрами
• Опыт взаимодействия с внешними партнёрами для согласования целей и достижения результата
• Быстрая обучаемость: способность быстро осваивать новые технологии, аппаратные платформы и экосистемы провайдеров
• Высокая автономность и готовность брать ответственность за задачи end-to-end, включая работу за пределами формальной зоны ответственности

Условия

• Гибридный формат: ожидается присутствие в одном из офисов не менее 25% времени, для некоторых ролей — больше
• Спонсорство визы: компания спонсирует визы и держит иммиграционного юриста
• Конкурентная компенсация и бенефиты, опциональный equity donation matching, щедрый отпуск и родительский отпуск, гибкий график
• Годовой диапазон компенсации: $320,000—$485,000 USD
• Минимальное образование: бакалавриат или эквивалентная комбинация образования, обучения и опыта

Навыки

• Python
• Rust
• Kubernetes
• Infrastructure as Code
• CI/CD
• AWS
• GCP
• Azure
• distributed systems
• autoscaling
• capacity planning
• observability