Senior Cloud Infrastructure and Reliability Solutions Architect

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Day 2 Site Reliability Engineer в команду EMEA NVIDIA Cloud Partner Operations. Задача — обеспечивать стабильность и максимальный goodput GPU-флотов партнёров после ввода в эксплуатацию: детекция и устранение сбоев, превентивное обслуживание, проактивные раскатки прошивок.

Задачи

• Владеть стабильностью и надёжностью Day 2 продакшена на масштабе флота у партнёров EMEA NCP: определять, измерять и улучшать MTBI и job goodput на кластерах с тысячами GPU, держать error budget.
• Строить и эксплуатировать цикл от детекции сбоев до их устранения: сигнатуры отказов GPU, нод, фабрики и хранилища, автоматический триаж, drain, cordon, reset и возврат ноды в строй.
• Проводить превентивное обслуживание и проактивные раскатки прошивок и field-notice по флотам партнёров (например, CPLD и прошивки коммутаторов), включая оценку рисков, поэтапный rollout, планирование окон обслуживания и верификацию.
• Владеть инструментами наблюдаемости и надёжности для GPU-флотов: Prometheus/Grafana/Loki, диагностика DCGM и XID, агенты здоровья нод GPUd и NVSentinel, интегрировать их в собственный стек партнёра.
• Руководить incident response и post-incident review совместно с NVEX, TAM и операционными командами партнёров: root-cause analysis эскалаций, доведение корректирующих действий до закрытия, превращение повторяющихся инцидентов в автоматизацию, health check или runbook.
• Отвечать за жизненный цикл и надёжность нод Kubernetes на гетерогенных open-source стеках — upstream Kubernetes, KubeVirt, Slurm и GPU-aware планировщики: политики здоровья нод, оркестрация апгрейдов и перезагрузок, безопасный drain GPU-нод.

Требования

• Степень BS/MS/PhD в Computer Science, Electrical/Computer Engineering, Physics, Mathematics или смежной области либо эквивалентный опыт.
• 8+ лет в SRE, production engineering или эксплуатации крупномасштабной инфраструктуры.
• Практика reliability engineering: владение надёжностью продакшена на масштабе — определение SLO и error budget, on-call и incident command, blameless post-incident review, измеримое улучшение доступности или MTBI.
• Эксплуатация GPU и HPC-флотов: практический опыт работы с HPC/AI-кластерами и инфраструктурой NVIDIA GPU — жизненный цикл драйверов и CUDA toolkit, управление прошивками, профилирование нагрузок, траблшутинг CPU, GPU и высокоскоростных интерконнектов.
• Kubernetes на масштабе: глубокий опыт эксплуатации Kubernetes в GPU-ускоренных и HPC-средах — жизненный цикл нод, апгрейды и draining, поведение планировщика, batch-планировщики вроде Slurm, смешанные bare-metal/виртуализированные (KubeVirt) мультитенантные среды.
• Наблюдаемость и автоматизация: владение Python и Bash, Infrastructure-as-Code и configuration management (Ansible, Terraform), GitOps-управление жизненным циклом и апгрейдами флота, стеки наблюдаемости (Prometheus, Grafana, Loki) для мониторинга, алертинга и отказоустойчивых систем.
• Фундаментальные знания Linux, хранилищ и сетей: глубокое знание Linux (RedHat, Ubuntu), тюнинг и безопасность на уровне ОС, основы сетей ЦОД, параллельные/корпоративные хранилища (Lustre, GPFS, ZFS, XFS) в части влияния на стабильность кластера.

Навыки

• Python
• Bash
• Ansible
• Terraform
• GitOps
• Kubernetes
• KubeVirt
• Slurm
• Prometheus
• Grafana
• Loki
• DCGM
• XID
• GPUd
• NVSentinel
• CUDA
• Linux
• RedHat
• Ubuntu
• Lustre
• GPFS
• ZFS
• XFS
• InfiniBand
• RoCE
• Cumulus Linux
• SONiC
• Spectrum-X
• DPU
• DOCA
• NVLink
• NVSwitch
• NVIDIA Base Command Manager
• RDMA