NVIDIA
Senior Systems Software Engineer - HPC and AI Storage
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер системного ПО в команду Applied Systems Engineering для развития и интеграции систем хранения в крупномасштабных HPC- и AI-кластерах NVIDIA. Работа включает разработку, диагностику производительности и надёжности I/O-стека, бенчмарки и вывод исправлений в open-source.
Задачи
- Проектировать и интегрировать системы хранения для крупномасштабных HPC- и AI-кластеров, включая Lustre, NFS и их взаимодействие с вычислительными узлами, сетями и оборудованием хранения
- Анализировать проблемы производительности и надёжности по всему I/O-стеку: поведение приложений на клиентах файловых систем, пути ядра Linux, сетевые протоколы, серверы и устройства хранения
- Разрабатывать исправления и оптимизации производительности совместно с командами NVIDIA, партнёрами по хранению и мейнтейнерами open-source, доводить изменения через ревью, тестирование и внедрение
- Характеризовать реальный I/O приложений (доступ к обучающим данным, checkpoint/restart, метаданные, конкурентные нагрузки) и превращать выводы в улучшения ПО и конфигурации систем
- Создавать воспроизводимые бенчмарки, диагностические инструменты и регрессионные тесты для измерения эффективности, задержек, производительности метаданных и масштабируемости
- Руководить квалификацией и вводом систем хранения в эксплуатацию: проверка функциональности, целостности данных, восстановления после сбоев и устойчивой производительности на уровне кластера
- Определять и реализовывать политики размещения, кэширования и жизненного цикла данных на основе требований нагрузок, ёмкости и операционных данных
Требования
- Глубокий инженерный опыт с Lustre, NFS или аналогичными системами разделяемого хранения, включая отладку на уровне реализации хотя бы в одном стеке и интеграцию хранения в кластеры Linux
- Сильное знание C и навыки отладки в Linux, опыт чтения, изменения и диагностики kernel- или user-space ПО для хранения
- Понимание поведения файловых и распределённых систем: операции с метаданными, кэширование и консистентность, блокировки, конкурентность, клиент-серверное взаимодействие и восстановление
- Опыт анализа паттернов доступа приложений и настройки файловой системы или стека хранения для повышения производительности
- Способность вести сложную проблему производительности или корректности от первых симптомов через воспроизведение, root-cause анализ, реализацию и валидацию
- Владение Python и shell-скриптами для создания поддерживаемых диагностических инструментов, автоматизации тестов и анализа
- Способность самостоятельно вести технические направления, влиять на проектные решения в командах и ясно доносить выводы и компромиссы
- Степень BS или MS в Computer Science, инженерии, математике, физике или эквивалентный практический опыт, 12+ лет релевантного опыта
Условия
- Базовая зарплата определяется по локации, опыту и другим объективным факторам
- Диапазоны базовой зарплаты: Польша — 375 000–650 000 PLN (уровень 5) и 483 750–838 500 PLN (уровень 6); Франция — 114 000–197 600 EUR (уровень 5) и 150 000–260 000 EUR (уровень 6); Германия — 141 900–245 960 EUR (уровень 5) и 165 825–287 430 EUR (уровень 6)
Навыки
- Lustre
- NFS
- Linux
- C
- Python
- shell scripting
- файловые системы
- распределённые системы
- I/O stack
- Linux kernel
- бенчмарки
- RDMA
- GPUDirect Storage
- объектное хранилище