Staff + Sr. Software Engineer, Cloud Inference Launch Engineering

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Cloud Inference, отвечающую за запуск и валидацию инференса Claude на облачных платформах AWS, GCP и Azure. Роль на критическом пути запуска новых моделей: CI/CD, производительность, надёжность и устранение расхождений между first-party и CSP.

Задачи

• Участвовать в запуске frontier-моделей: поднимать инференс для новых архитектур и выводить их на облачные платформы синхронно с first-party платформой
• Совместно с core inference командой выводить новые фичи инференса (structured sampling, prompt caching и др.) на облачные платформы, отвечая за платформенную интеграцию
• Находить и устранять причины расхождений в поведении инференса между first-party и CSP: config drift, observability, паттерны деплоя, сложные кросс-платформенные баги
• Проектировать, строить и владеть CI/CD инфраструктурой для inference server и load balancer на облачных платформах: shadow traffic, бенчмарки производительности и проверки корректности
• Сокращать время от мержа до продакшена за счёт ускорения, параллелизации и удешевления валидации на том же пуле ускорителей
• Анализировать observability-данные по провайдерам для выявления узких мест производительности, аномалий стоимости и регрессий

Требования

• Сильный интерес к LLM serving; опыт в инференсе или ML не обязателен
• Значительный опыт разработки в высокопроизводительных крупномасштабных распределённых системах, обслуживающих миллионы пользователей
• Опыт построения автоматизации или тестовой инфраструктуры, измеримо улучшившей скорость релизов или надёжность
• Опыт построения или эксплуатации сервисов хотя бы на одной крупной облачной платформе (AWS, GCP или Azure), знакомство с Kubernetes, Infrastructure as Code или оркестрацией контейнеров
• Умение работать кросс-функционально с внутренними командами и внешними партнёрами
• Быстрая обучаемость: способность быстро осваивать новые технологии, аппаратные платформы и экосистемы провайдеров
• Высокая автономность и владение задачами end-to-end, включая работу за пределами формальной зоны ответственности

Условия

• Гибридный формат: ожидается присутствие в офисе минимум 25% времени
• Спонсорство визы: компания оказывает поддержку и держит иммиграционного юриста
• Конкурентная компенсация и бенефиты, опциональный equity donation matching
• Щедрый отпуск и родительский отпуск, гибкий график
• Офис в Сан-Франциско для совместной работы

Навыки

• LLM serving
• distributed systems
• CI/CD
• Kubernetes
• Infrastructure as Code
• container orchestration
• AWS
• GCP
• Azure
• Python
• Rust
• load balancing
• observability
• performance optimization
• batching
• caching