Technical Lead - GPU Infrastructure (100% Remote - Worldwide)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Технический лидер платформы Cosmic AC (GPU compute и managed inference) в Tether Data. Отвечает за архитектуру и поставку стека на bare-metal GPU: Slurm-слой для исследовательских команд и собственный Kubernetes control plane для inference, а также руководит распределённой командой из ~12 инженеров.

Задачи

• Владеть архитектурой платформы end-to-end: архитектурные предложения, high-level и low-level дизайны, проведение их через ревью и поддержание в актуальном состоянии
• Руководить и линейно управлять распределённой командой (backend на Node.js, frontend на React, DevOps, QA, документация): инженерные стандарты, код- и дизайн-ревью, релизные гейты, one-to-one, вклад в рост и оценку эффективности
• Проектировать, строить и эксплуатировать managed Slurm-сервис для исследователей: controller и accounting, партиции и login-ноды, онбординг и приёмка нод, базовый уровень драйверов и CUDA и их обновления, детекция зависших задач и проблем со здоровьем нод, drain и автохилинг, видимость хранилища, идентификация и изоляция
• Владеть bootstrap и жизненным циклом Kubernetes-кластера на bare metal партнёра, NVIDIA GPU Operator и Network Operator, VM-based изоляцией GPU (KubeVirt и VFIO), day-2 операциями: обновления, бэкап и восстановление, замена нод
• Отвечать за serving-архитектуру managed inference: multi-GPU и multi-node параллелизм, автоскейлинг, маршрутизация запросов и надёжность эндпоинтов; capacity с поддержкой confidential compute для чувствительных нагрузок
• Обеспечивать observability и операции: метрики, логирование, алертинг и SLO по control plane, GPU-парку и прикладным уровням; incident response и post-incident review; модель on-call, посильная небольшой команде
• Быть основным техническим интерфейсом с инфраструктурными партнёрами и вендорами: превращать требования в письменные спецификации и приёмочные тесты, доводить эскалации до закрытия, давать технический вклад в планирование мощностей и закупку железа
• Работать напрямую с research-, model-training- и продуктовыми командами, переводить их нагрузки в требования к платформе и распределять capacity при дефиците
• Закрыть найм в команду платформы и задать техническую планку для присоединяющихся инженеров

Требования

• 8+ лет практической инженерии, из них минимум 3 года руководства командами, которые строят и эксплуатируют инфраструктурные платформы, используемые другими командами; степень бакалавра/магистра по CS или инженерии либо эквивалентный практический опыт
• Практический опыт Slurm в масштабе: slurmctld и slurmdbd для реальных пользователей — партиции, QoS и приоритеты, accounting, prolog и epilog, скрипты проверки здоровья нод, обновления с запущенными задачами; желательно опыт эксплуатации HPC- или GPU-тренировочного кластера для исследователей
• Эксплуатация GPU-парка на bare metal: жизненный цикл драйверов NVIDIA и CUDA, поведение Fabric Manager и NVSwitch на SXM-системах, health и утилизация на базе DCGM, MIG, burn-in и приёмка нод
• Высокопроизводительные интерконнекты: конфигурация InfiniBand-фабрики и подсетей, RDMA, SR-IOV, диагностика проблем производительности multi-node NCCL
• Глубокое знание Linux: модули ядра и драйверы, PCIe passthrough и vfio-pci, cgroups и namespaces, тюнинг производительности для вычислительно тяжёлых нагрузок
• Продакшн-эксплуатация Kubernetes, а не только деплой: control plane, обновления, CNI и CSI, операторы и кастомные контроллеры, проектирование multi-tenancy
• HPC-хранилища и перемещение данных: shared-файловые системы (VAST, Lustre, NFS), node-local NVMe-кэширование, распространение больших весов моделей и датасетов по множеству нод
• Observability и операции: Prometheus, Grafana и Loki или аналоги, SLO, incident response и post-incident review
• Рабочая беглость в JavaScript и Node.js, достаточная для авторитетного ревью control plane, CLI и worker-сервисов и принятия архитектурных решений по ним (не требование feature-разработки)
• Опыт выпущенной платформы с реальными пользователями: multi-tenant IaaS или PaaS либо сервис research computing — изоляция ресурсов, квоты, метеринг использования, пользовательские API и CLI
• Лидерство с сохранением участия в коде: управление людьми в разных часовых поясах, кросс-трековое ревью, письменные архитектурные решения с зафиксированными альтернативами, умение аргументированно отказать партнёру или руководителю
• Отличный письменный и устный английский: большая часть работы с партнёрами и руководством идёт в письменном виде
• Локация: полностью удалённо, между UTC и UTC+5:30, чтобы рабочий день пересекался с Европой и Индией; occasional поездки к партнёрам и на командные мероприятия

Условия

• 100% удалённая работа, по всему миру
• Команда распределена по Европе и Индии
• Подчинение Senior Technical Product Manager для Cosmic AC
• Фиксированное окно поставки в первые шесть месяцев
• Возможны occasional поездки к партнёрам и на командные мероприятия
• Отклик только через официальные каналы: https://tether.recruitee.com/

Навыки

• Slurm
• slurmctld
• slurmdbd
• Kubernetes
• NVIDIA GPU Operator
• NVIDIA Network Operator
• CUDA
• NVIDIA drivers
• Fabric Manager
• NVSwitch
• DCGM
• MIG
• InfiniBand
• RDMA
• SR-IOV
• NCCL
• Linux
• PCIe passthrough
• vfio-pci
• cgroups
• namespaces
• KubeVirt
• VFIO
• VAST
• Lustre
• NFS
• NVMe
• Prometheus
• Grafana
• Loki
• JavaScript
• Node.js
• React
• vLLM
• SGLang
• TensorRT-LLM
• Kata Containers
• QEMU
• KVM
• Firecracker
• Intel TDX
• AMD SEV-SNP
• Cluster API
• kubeadm
• Cilium
• GitOps
• Kueue
• Volcano
• Kubeflow Trainer
• Soperator
• Slinky