Etteplan
Senior MLOps Engineer – GPU Infrastructure, Kubernetes & Python (M/F/NB)
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior MLOps-инженер в команду платформы клиента, разрабатывающего AI-технологию реконструкции речи. Отвечает за тренировочную платформу на GPU (on-premise и облако), инструменты для исследователей AI и дежурства on-call совместно с DevOps-инженером.
Задачи
- Готовить и поддерживать среды обучения AI на GPU-серверах on-premise и в облаке
- Управлять планированием GPU и общими вычислительными ресурсами (Kubernetes, Slurm или аналоги)
- Строить и поддерживать пайплайны и хранилища для больших аудиоданных с версионированием, контролем доступа и соответствием GDPR
- Создавать внутренние инструменты для команды AI: трекинг экспериментов, запуск обучений, пайплайны оценки и бенчмарков, экспорт и упаковка моделей для целевых устройств
- Выполнять роль основного дежурного инженера (on-call) по проблемам с AI-инструментами и тренировочной инфраструктурой
- Обеспечивать воспроизводимость, безопасность и экономическую эффективность тренировочных сред
- Участвовать в общей ротации дежурств, включая продакшн-сервисы и AI-инструменты, и в обработке инцидентов по общим runbook'ам
- Регулярно работать в домене второй роли, чтобы ни одно направление не зависело от одного человека
- Поддерживать единообразие infrastructure as code, CI/CD, управления секретами и контроля доступа в обоих доменах
- Писать и поддерживать runbook'и, архитектурные заметки и постмортемы
- Поддерживать работы по безопасности и комплаенсу, включая GDPR и обработку голосовых данных
Требования
- Не менее 5 лет опыта в DevOps, SRE, MLOps или инженерии ML-платформ
- Опыт построения и поддержки GPU-инфраструктуры для обучения ML-моделей: драйверы NVIDIA, CUDA, GPU-контейнеры, обучение на нескольких GPU или узлах
- Знание ML-инструментов: PyTorch, распределённое обучение, MLflow, Weights & Biases или DVC
- Опыт создания внутренних инструментов и процессов для исследователей или data scientist'ов
- Хорошее знание администрирования Linux и основ сетей
- Знание infrastructure as code (Terraform, OpenTofu, Pulumi или аналоги) и управления конфигурацией (Ansible или аналоги)
- Знание контейнеров и оркестрации: Docker и Kubernetes
- Знание CI/CD-пайплайнов (GitHub Actions, GitLab CI или аналоги)
- Очень хорошее знание Python и shell-скриптов; знание Go или другого компилируемого языка — плюс
- Знание мониторинга, логирования и алертинга (Prometheus, Grafana, Loki, OpenTelemetry или аналоги)
- Практический опыт с хотя бы одним крупным облаком (AWS, GCP или Azure)
- Опыт ведения ротации дежурств: реагирование на инциденты, постмортемы и снижение шума алертов
- Желание осваивать и поддерживать домен второй роли и делить дежурства
- Свободное владение английским языком в устной и письменной форме
Условия
- Работа с инфраструктурой on-premise и в облаке
- Малая взаимозаменяемая команда платформы
- Общая ротация дежурств и runbook'и с DevOps-инженером
- Процесс отбора: CV на английском с финансовыми ожиданиями, формой сотрудничества и доступностью, затем удалённое интервью около 1.5 часа, фидбек в течение 2 недель
Навыки
- Kubernetes
- Slurm
- CUDA
- PyTorch
- MLflow
- Weights & Biases
- DVC
- Terraform
- OpenTofu
- Pulumi
- Ansible
- Python
- Go
- Shell
- Docker
- GitHub Actions
- GitLab CI
- Prometheus
- Grafana
- Loki
- OpenTelemetry
- AWS
- GCP
- Azure
- Linux
- NVIDIA
- ONNX
- TFLite
- GDPR