Software Engineer, Model API Infra

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Model API Infra: владение production API и агентной платформой для моделей MAI, обеспечение паритета между обучением и продакшеном, автоматизация деплоя моделей и наблюдаемость.

Задачи

• Проектировать, реализовывать и эксплуатировать масштабируемые API-сервисы для текстовых, мультимодальных и новых моделей MAI с гарантиями совместимости, версионирования, надёжности и производительности
• Строить API и системы, обеспечивающие согласованное поведение моделей, инструментов и harness между обучением, оценкой и продакшеном
• Работать совместно с командами Foundry, Copilot, inference, research, eval и product для обеспечения единых интерфейсов и быстрой итерации моделей
• Строить телеметрию бизнес-, API- и модельных систем для кросс-системного дебага, автоматических расследований и аналитики
• Строить замкнутый цикл автоматизации деплоя и валидации моделей
• Интегрировать функциональные, safety-, quality- и performance-оценки в решения о деплое и отлаживать регрессии eval по всему стеку
• Проектировать и строить автоскейлинг пулов моделей на основе latency SLO, утилизации, характеристик моделей и ограничений ёмкости

Требования

• Bachelor's Degree в Computer Science или смежной технической области и 5+ лет опыта технической инженерии с программированием на Python, C++ или аналогичных языках, либо эквивалентный опыт
• Опыт проектирования, построения и эксплуатации крупномасштабных production распределённых систем, облачных сервисов или API для разработчиков
• Сильные навыки системного дизайна и отладки, включая расследование сбоев на границах сервисов
• Опыт автоматизации деплоя, оркестрации (например, Kubernetes) и работы с облачными платформами

Условия

• Базовая зарплата для Software Engineering IC4 по США: $119,800 - $234,700 в год (в Bay Area и NYC metropolitan area: $160,200 - $261,000)
• Базовая зарплата для Software Engineering IC5 по США: $142,800 - $274,800 в год (в Bay Area и NYC metropolitan area: $188,000 - $304,200)
• Возможны бенефиты и дополнительная компенсация
• Вакансия открыта минимум 5 дней, заявки принимаются до заполнения позиции

Навыки

• Python
• C++
• Kubernetes
• Cloud platforms
• Distributed systems
• API design
• LLM serving
• Autoscaling
• Observability