Staff+ Software Engineer, ML Sampling Path

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Safeguards ML Sampling Path, которая строит и эксплуатирует продакшн-сервисы систем безопасности Claude на пути генерации токенов. Задача — удерживать p99-латентность и надёжность при росте трафика и обеспечивать безопасные релизы в критичную систему.

Задачи

• Проектировать, разрабатывать и эксплуатировать backend-системы, обрабатывающие каждый токен на пути генерации запросов Claude, включая streaming-контракт с API и inference-движками
• Отвечать за латентность и надёжность end-to-end: определять и поддерживать SLO и error budgets по добавленной латентности, time-to-first-token и доступности, вести incident response и postmortem
• Быстро и безопасно выкатывать изменения в hot path: канареечные и постепенные релизы, гейтинг по error budget и латентности, быстрые откаты
• Оптимизировать производительность на токен: бороться с tail latency и удерживать стоимость при росте трафика, моделей и проверок на запрос
• Задавать техническое направление sampling path: вести design review, принимать trade-off решения по латентности, надёжности и стоимости совместно с inference и research командами, менторить инженеров
• Повышать операционную планку для всей организации Safeguards

Требования

• Опыт проектирования, разработки и эксплуатации высоконагруженных систем (high QPS) глобального масштаба с ответственностью за продакшн: incident response, аварии, postmortem-мероприятия
• Сильная база в распределённых системах: репликация, trade-off консистентности, режимы отказов, управление SLO под нагрузкой
• Умение проектировать системы с graceful degradation: планировать медленные зависимости, обрывы стрима, частично выкаченные деплои
• Опыт успешного проведения масштабных изменений в mission critical системах (миграции БД, изменения интерфейсов, переписывания)
• 8+ лет опыта в промышленной разработке ПО
• Знакомство с LLM inference-системами и трансформерными моделями (плюс, не обязательно)
• Bachelor’s degree или эквивалентный набор образования, обучения и/или опыта

Условия

• Гибридный формат: ожидается присутствие в одном из офисов минимум 25% времени
• Спонсорство визы: компания помогает с получением визы и держит иммиграционного юриста
• Конкурентная компенсация и бенефиты, опциональный equity donation matching
• Щедрый отпуск и parental leave, гибкий график работы
• Офис в Сан-Франциско для совместной работы

Навыки

• Distributed Systems
• SLO
• Error Budgets
• Incident Response
• High QPS
• Latency Optimization
• Streaming
• LLM Inference
• Transformers
• Backend