Staff Software Engineer, Model Infrastructure

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Ведущий инженер в команду Model Infrastructure платформы Harvey. Отвечает за проектирование и развитие систем, обеспечивающих все AI-запросы: маршрутизацию моделей, отказоустойчивость, наблюдаемость и эффективность инференса.

Задачи

• Проектировать и реализовывать платформу Model Infrastructure
• Строить системы высокой доступности и низкой задержки для AI-инференса
• Развивать Unified Model Controller (UMC) и Model Selector для автоматического обнаружения деградации моделей и маршрутизации трафика по надёжности, задержке, качеству, комплаенсу и стоимости
• Разрабатывать системы провижининга моделей, управления мощностями, failover и traffic engineering между несколькими AI-провайдерами
• Интегрировать новых провайдеров моделей, поддерживать их API и SDK
• Улучшать наблюдаемость: health-дашборды, алертинг, аналитика использования токенов, отчётность по стоимости, сквозная телеметрия
• Поддерживать запуск моделей и эксперименты совместно с Product Engineering, мониторить продакшн AI-нагрузки
• Повышать эффективность инфраструктуры через планирование мощностей и оптимизацию утилизации
• Совместно с AI Research строить фундамент для оценки, обучения и деплоя моделей
• Вести кросс-функциональные технические инициативы и менторить инженеров

Требования

• 7+ лет опыта разработки крупномасштабных распределённых систем
• Опыт проектирования и эксплуатации высокодоступных продакшн-сервисов
• Сильные навыки программирования на Go, Java, Python, Rust или C++
• Глубокое понимание распределённых систем, облачной инфраструктуры, сетей и наблюдаемости
• Опыт ведения технических проектов в нескольких инженерных командах
• Умение сочетать долгосрочную архитектуру с прагматичной реализацией
• Сильные коммуникативные навыки и навыки коллаборации
• Желание строить фундаментальные платформы для других команд

Условия

• Компенсация $231,000 - $340,000 USD
• Равные возможности трудоустройства
• Размер компенсации зависит от локации

Навыки

• Go
• Java
• Python
• Rust
• C++
• Distributed Systems
• Cloud Infrastructure
• Networking
• Observability
• Kubernetes
• Service Mesh
• Kafka
• Spark
• Flink
• Airflow
• Iceberg
• LLM serving
• Model routing
• Inference gateways
• OpenAI
• Anthropic
• Azure OpenAI
• Fireworks
• Baseten
• GPU infrastructure