SWE, AI Infrastructure

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик, который строит и развивает платформу для ML-команды: данные, вычисления, обучение и релиз моделей на роботов. Главная метрика роли — скорость итераций ML-инженеров.

Задачи

• Владеть платформой данных: хранение, версионирование и lineage больших мультимодальных датасетов
• Строить сборку и раздачу датасетов, включая интерфейсы для среза, фильтрации и загрузки обучающих данных
• Отвечать за ML-вычисления on-premise и в облаке: провижининг кластеров, здоровье GPU-нод, драйверы, сеть и хранилище
• Управлять планированием и квотами вычислений для команды, поддерживать высокую утилизацию
• Обеспечивать надёжность кластера: мониторинг, восстановление после сбоев, разбор причин падения многодневных запусков
• Отвечать за оркестрацию обучения: планирование задач, многонодовые запуски, чекпоинты и восстановление
• Строить трекинг и сравнение экспериментов для воспроизводимости результатов
• Владеть реестром моделей и путём релиза на роботов: версионирование, rollout и rollback
• Отвечать за CI и тестовую инфраструктуру ML-стека
• Работать с ML-инженерами как с внутренними заказчиками и отвечать за скорость их итераций

Требования

• Сильный software engineering с глубиной в распределённых системах и инфраструктуре данных; Python плюс Go, Rust или C++
• Опыт построения ML-платформ, которыми инженеры пользовались ежедневно
• Практический опыт эксплуатации GPU-кластеров: провижининг, драйверы, interconnect, диагностика отказов железа и сети под нагрузкой
• Опыт работы с крупномасштабной инфраструктурой данных: объектное хранилище, колоночные форматы, пайплайны на терабайты и больше
• Знакомство с планировщиками кластеров: Kubernetes, Slurm, Ray или аналогами
• Подтверждённый опыт сокращения времени от идеи до результата
• Прагматизм в выборе между разработкой и готовыми решениями

Условия

• Конкурентная базовая зарплата + опционы

Навыки

• Python
• Go
• Rust
• C++
• Kubernetes
• Slurm
• Ray
• GPU
• объектное хранилище
• колоночные форматы
• CI
• ML-платформа
• распределённые системы