OctaiPipe
ML Systems Engineer - Transferable Intelligence Team
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
ML Systems Engineer в команду Transferable Intelligence. Отвечает за системную инженерию ML-систем на edge-устройствах дата-центров: развёртывание моделей, координацию нагрузок, обучение и мониторинг по всему парку устройств.
Задачи
- Координировать нагрузки на устройстве: планирование, приоритизация, бюджеты ресурсов и изоляция между RL-инференсом, fine-tuning, LLM-объяснителем и аналитикой
- Обеспечивать корректность жизненного цикла моделей по всему парку: версионирование, атомарные замены моделей, сверка состояния портала и устройств
- Строить процессы деплоя на центральном портале: упаковка, поэтапный rollout, shadow-mode, guardrails, автоматический fallback и откат
- Помогать строить и масштабировать staging-среду и системы обучения: распределённое и федеративное обучение, оркестрация, checkpointing, восстановление
- Профилировать и оптимизировать производительность на гетерогенном железе, включая эффективный LLM-инференс
- Разрабатывать мониторинг, алертинг и observability на Grafana и Elastic Stack
- Строить телеметрию и data pipelines для аналитики, causal inference и root cause analysis
- Отлаживать сбои по всему стеку и разблокировать учёных
- Повышать инженерную планку через code review, документацию, runbooks и post-mortems
Требования
- Сильные основы software engineering и отличный Python
- Опыт построения и эксплуатации end-to-end ML-систем в продакшене: от data pipelines до обучения, serving и мониторинга
- Опыт распределённых систем с заботой о корректности: консистентность состояния, версионирование, сверка в ненадёжных сетях
- Опыт координации нескольких нагрузок на общем железе: бюджеты ресурсов, планирование, изоляция
- Опыт оптимизации инференса моделей: профилирование, квантизация, компиляция
- Глубокое знание ML-стека обучения (PyTorch или аналог), включая распределённое обучение и checkpoint/recovery
- Опыт мониторинга и observability с Grafana и Elastic Stack
- Навык отладки сложных сбоев по всему стеку
- Прагматичность, hands-on подход, готовность работать автономно и в коллаборации
Условия
- Работа над реальным влиянием на устойчивое развитие в глобальном масштабе
- Участие в ответственном применении AI к критической инфраструктуре
- Хорошо финансируемая быстрорастущая scale-up компания
- Коллаборация с экспертами в AI, инфраструктуре и операциях
- Возможность влиять на продукт, снижающий энергопотребление и выбросы углерода
Навыки
- Python
- PyTorch
- Grafana
- Elastic Stack
- LLM inference
- Distributed training
- Reinforcement learning
- Ray
- RLlib
- vLLM
- llama.cpp
- ONNX Runtime
- TensorRT
- Kafka
- MQTT
- Federated learning