Software Engineer, Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду inference-инфраструктуры Thinking Machines. Отвечает за надёжность, масштабирование и эффективность систем, обслуживающих модели в проде, включая multi-tenant платформу Tinker.

Задачи

• Эксплуатировать и масштабировать продакшн-системы inference, обслуживающие живой трафик, включая multi-tenant платформу Tinker
• Отвечать за процесс выкатки новых моделей, версий и оптимизаций inference с безопасным инкрементальным деплоем
• Развивать observability, алертинг и планирование мощностей для быстрого обнаружения и устранения инцидентов
• Совместно с командами inference и research внедрять новые техники обслуживания без потери надёжности
• Руководить incident response по продакшн-инцидентам inference, проводить root cause analysis и внедрять устойчивые исправления
• Проектировать graceful degradation, failover и резервирование для устойчивости обслуживания при росте нагрузки
• Управлять компромиссами между мощностями и стоимостью инфраструктуры при росте трафика и размеров моделей

Требования

• Опыт эксплуатации крупномасштабных latency-sensitive продакшн-систем
• Владение Python и Go или другим системным языком
• Опыт с observability, мониторингом и incident response для продакшн-сервисов
• Глубокое понимание распределённых систем и их отказов при масштабе
• Желательно: опыт продакшн-inference для LLM или крупных ML-систем
• Желательно: опыт с системами деплоя и выкатки (canary, blue/green, feature flags)
• Желательно: опыт планирования мощностей и оптимизации затрат на GPU/TPU
• Желательно: знакомство с техниками inference (batching, caching, quantization) и их операционными последствиями
• Желательно: готовность к on-call и руководству incident response
• Желательно: готовность работать с высокой автономией в быстро меняющейся среде раннего этапа

Условия

• Офис в San Francisco, CA
• Годовая зарплата $300,000 - $400,000 USD
• Виза-спонсорство
• Медицинская, стоматологическая и оптическая страховка
• Неограниченный PTO
• Оплачиваемый отпуск по уходу за ребёнком
• Поддержка релокации при необходимости

Навыки

• Python
• Go
• distributed systems
• observability
• monitoring
• incident response
• capacity planning
• GPU
• TPU
• batching
• caching
• quantization
• canary deployments
• blue/green deploys
• feature flags