Senior Cloud Infrastructure and Reliability Solutions Architect

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Day 2 Site Reliability Engineer в команду EMEA NVIDIA Cloud Partner Operations. Задача — обеспечивать стабильность и максимальный goodput GPU-флотов партнёров после ввода в эксплуатацию: детекция и устранение сбоев, превентивное обслуживание, проактивные раскатки прошивок.

Задачи

• Владеть стабильностью и надёжностью production на уровне флота у партнёров EMEA NCP: определять, измерять и улучшать MTBI и goodput задач на кластерах с тысячами GPU, держать error budget.
• Строить и эксплуатировать цикл от детекции сбоя до устранения: сигнатуры отказов GPU, нод, фабрики и хранилища, автоматический триаж, drain, cordon, reset и возврат ноды в строй.
• Проводить превентивное обслуживание и проактивные кампании по раскатке прошивок и field-notice на флотах партнёров (например, CPLD и прошивки коммутаторов), включая оценку рисков, поэтапную раскатку, планирование окон обслуживания и верификацию в масштабе.
• Отвечать за observability и инструменты надёжности для GPU-флотов: Prometheus/Grafana/Loki, диагностика DCGM и XID, агенты здоровья нод GPUd и NVSentinel, интегрировать их в собственный стек партнёра.
• Руководить incident response и post-incident review совместно с NVEX, TAM и операционными командами партнёров: root-cause analysis эскалаций, доведение корректирующих действий до закрытия, превращение повторяющихся инцидентов в автоматизацию, health check или runbook.
• Отвечать за жизненный цикл и надёжность нод Kubernetes на гетерогенных open-source стеках — upstream Kubernetes, KubeVirt, Slurm и GPU-aware планировщики: политики здоровья нод, оркестрация апгрейдов и перезагрузок, безопасный drain GPU-нод.

Требования

• Степень BS/MS/PhD в Computer Science, Electrical/Computer Engineering, физике, математике или смежных областях либо эквивалентный опыт.
• 8+ лет в SRE, production engineering или эксплуатации крупномасштабной инфраструктуры.
• Практика reliability engineering: владение надёжностью production в масштабе — определение SLO и error budget, on-call и incident command, blameless post-incident review, измеримое улучшение доступности или MTBI.
• Эксплуатация GPU и HPC-флотов: практический опыт работы с HPC/AI-кластерами и инфраструктурой с NVIDIA GPU — жизненный цикл драйверов и CUDA toolkit, управление прошивками, профилирование нагрузок, траблшутинг CPU, GPU и высокоскоростных интерконнектов.
• Kubernetes в масштабе: глубокий опыт эксплуатации Kubernetes в GPU-ускоренных и HPC-средах — жизненный цикл нод, апгрейды и drain, поведение планировщика, batch-планировщики вроде Slurm, смешанные bare-metal/виртуализированные (KubeVirt) мультитенантные среды.
• Observability и автоматизация: владение Python и Bash, Infrastructure-as-Code и configuration management (Ansible, Terraform), GitOps-управление жизненным циклом и апгрейдами флота, стеки observability (Prometheus, Grafana, Loki) для мониторинга, алертинга и отказоустойчивых систем.
• Фундаментальные знания Linux, хранилищ и сетей: глубокое знание Linux (RedHat, Ubuntu), тюнинг и безопасность на уровне ОС, основы сетей ЦОД, параллельные/enterprise-хранилища (Lustre, GPFS, ZFS, XFS) в части влияния на стабильность кластера.

Навыки

• Python
• Bash
• Ansible
• Terraform
• GitOps
• Kubernetes
• KubeVirt
• Slurm
• Prometheus
• Grafana
• Loki
• DCGM
• XID
• GPUd
• NVSentinel
• Linux
• RedHat
• Ubuntu
• Lustre
• GPFS
• ZFS
• XFS
• CUDA
• NVIDIA GPU
• InfiniBand
• RoCE
• Cumulus Linux
• SONiC
• Spectrum-X
• DPU
• DOCA
• NVLink
• NVSwitch
• NVIDIA Base Command Manager