Staff + Sr. Software Engineer, Scaling

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Inference, отвечающую за масштабирование и обслуживание распределённых систем, через которые Claude доступен миллионам пользователей. Задача — максимизировать эффективность вычислений и обеспечивать инфраструктуру для исследований новых моделей.

Задачи

• Проектировать, разрабатывать и поддерживать распределённые системы, обслуживающие Claude для миллионов пользователей
• Создавать отказоустойчивые и гибкие системы, адаптирующиеся к событиям в реальном времени
• Разрабатывать интеллектуальную маршрутизацию запросов, балансировку нагрузки и управление трафиком между тысячами ускорителей и несколькими облачными провайдерами
• Максимизировать эффективность вычислений и оптимизировать затраты за счёт автоскейлинга и оркестрации production-, research- и экспериментальных нагрузок
• Строить и эксплуатировать production-grade пайплайны деплоя для выпуска новых моделей
• Обеспечивать высокопроизводительную inference-инфраструктуру для разработки моделей следующего поколения
• Интегрировать новые платформы AI-ускорителей и поддерживать inference для новых архитектур моделей

Требования

• Значительный опыт разработки ПО, особенно распределённых систем
• Ориентация на результат, гибкость и нацеленность на impact
• Готовность брать на себя задачи за пределами формальной зоны ответственности
• Желание глубже разбираться в ML-системах и инфраструктуре
• Комфорт в среде, где техническое совершенство напрямую влияет на бизнес и исследования
• Забота о социальных последствиях своей работы
• Степень бакалавра или эквивалентный опыт
• Опыт работы с высокопроизводительными крупномасштабными распределёнными системами
• Опыт внедрения и эксплуатации ML-систем в масштабе
• Опыт с балансировкой нагрузки, маршрутизацией запросов или управлением трафиком
• Знакомство с оптимизацией LLM inference, батчингом и стратегиями кэширования
• Опыт с Kubernetes и облачной инфраструктурой (AWS, GCP, Azure)
• Владение Python или Rust

Условия

• Гибридный формат: ожидается присутствие в офисе минимум 25% времени
• Спонсорство визы с привлечением иммиграционного юриста
• Конкурентная компенсация и бенефиты
• Опциональный equity donation matching
• Щедрый отпуск и родительский отпуск
• Гибкий график работы
• Офис в Сан-Франциско

Навыки

• Distributed Systems
• Load Balancing
• Request Routing
• Traffic Management
• Autoscaling
• Orchestration
• Kubernetes
• AWS
• GCP
• Azure
• Python
• Rust
• LLM Inference
• Batching
• Caching
• Machine Learning Systems
• AI Accelerators
• Observability