Senior Software Engineer, GPU Cluster Infrastructure

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инфраструктурный инженер в команду Foundations некоммерческого института FAR.AI. Отвечает за эксплуатацию GPU-кластера на Kubernetes, планирование batch-нагрузок, распределённое хранилище и безопасность платформы для масштабных исследований в области AI safety.

Задачи

• Эксплуатировать Kubernetes GPU-флот: жизненный цикл нод, обновления, раскатка драйверов и образов, поэтапные изменения с безопасным откатом, планирование ёмкости
• Отвечать за batch-планирование и мультитенантность: очереди, квоты, приоритеты, preemption, gang scheduling, fair share между исследовательскими командами
• Проектировать и обслуживать хранилище под флотом: высокопроизводительные shared-файловые системы для датасетов и чекпоинтов, объектные тиры, квоты, бэкапы
• Обеспечивать отказоустойчивость многонодовых обучений: здоровье нод и автоматический draining, отладка NCCL и fabric-проблем, поиск stragglers и сбойных GPU, паттерны чекпоинтов и рестартов
• Укреплять безопасность платформы: identity и access, network policy, секреты, изоляция нагрузок и sandboxing для AI-агентов на кластере
• Вводить новые мощности: приёмочное тестирование провайдеров по fabric, NCCL и пропускной способности хранилища, контроль SLA, интеграция новых кластеров через infrastructure as code
• Работать напрямую с исследовательскими командами над их инфраструктурными проблемами и превращать повторяющиеся в платформенные решения
• Участвовать в on-call ротации, вести runbooks и postmortems

Требования

• 3+ года в системной или инфраструктурной инженерии на production Linux, опыт эксплуатации GPU, HPC или крупномасштабных batch-платформ, владение хотя бы одной системой от проектирования до эксплуатации
• Опыт production Kubernetes для GPU-нагрузок с batch-слоем сверху (Slurm, Kueue, Volcano или аналоги), включая квоты, приоритеты, preemption и здоровье нод
• Опыт владения infrastructure as code и observability для production-флота: провижининг через Terraform или Ansible, деплой через Helm и ArgoCD, мониторинг через Prometheus или аналоги
• Сильное программирование хотя бы на одном языке,常用的 в инфраструктуре: Python, Go, Rust или C++, автоматизация и сервисы поддерживаются как общий код
• Умение ясно писать для инженеров, исследователей и провайдеров: дизайн-документы, отчёты об инцидентах, эскалации

Условия

• Медицинская страховка — 94% премии оплачивает организация, с первого месяца работы
• Пенсионный план 401(k) с match до 2%
• 25 дней оплачиваемого отпуска в год, начисление еженедельно, до 10 дней оплачиваемого больничного в год
• Оплачиваемые отпуска: по утрате близкого, семейные, медицинские и по беременности
• Стипендия и оборудование для работы из дома
• Питание в офисе (только Berkeley): обеды и ужины в рабочие дни
• Формат: возможна удалённая работа или офис (Berkeley, CA или Singapore), визовая поддержка для офисных сотрудников, найм удалённо в большинстве стран
• Полная занятость, 40 часов в неделю
• Формального on-call пока нет, команда распределена по часовым поясам и покрывает инциденты в рабочие часы; в будущем ротация ожидается
• Льготы доступны только full-time сотрудникам, находящимся в США

Навыки

• Kubernetes
• GPU
• Slurm
• Kueue
• Volcano
• Terraform
• Ansible
• Helm
• ArgoCD
• Prometheus
• Python
• Go
• Rust
• C++
• Linux
• NCCL
• PyTorch
• InfiniBand
• RoCE
• VAST
• Weka
• Lustre
• Ceph
• gVisor
• Kata
• Firecracker
• RBAC
• DCGM
• GPU Operator