Senior Big Data Infrastructure Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер, который возьмёт на себя big data инфраструктуру международного контура и станет её техническим лидером: эксплуатация и развитие HDFS, S3-совместимого хранилища (Apache Ozone), Iceberg и сопутствующих сервисов.

Задачи

• Владеть big data инфраструктурой международного контура и быть её техническим лидером
• Разворачивать, обновлять и эксплуатировать ключевые сервисы платформы: HDFS, S3-совместимое объектное хранилище (Apache Ozone), Iceberg и другие
• Участвовать в пилоте инфраструктуры: переход от небольшого числа очень больших датасетов к тысячам небольших таблиц
• Внедрять квоты на вычисления и хранение для бизнес-юнитов
• Мигрировать с дефолтного Iceberg-каталога на более функциональный (Lakekeeper или Gravitino)
• Перестраивать мониторинг и алертинг
• Плотно взаимодействовать с инженером, который ведёт такой же стек в параллельном контуре, обмениваться подходами и подменять друг друга

Требования

• 5+ лет опыта проектирования, развёртывания и эксплуатации big data платформ
• Практический опыт с HDFS / Hadoop: развёртывание, обновление версий, траблшутинг
• Практический опыт развёртывания и эксплуатации S3-совместимого объектного хранилища (Apache Ozone идеально, MinIO или аналоги тоже подходят)
• Опыт работы с Apache Iceberg
• Опыт настройки мониторинга и алертинга для data-инфраструктуры
• Английский B2
• Возможность работать в часовом поясе GMT+3 (разница до 3 часов)

Условия

• Гибкий график и возможность работать удалённо
• Амбициозная и поддерживающая команда
• Структурированный онбординг, персональный план развития, регулярные внутренние лекции и демо
• Внутренние программы адаптации и обучения, развитие soft skills и лидерских качеств
• Частичная компенсация участия во внешних тренингах и конференциях
• Корпоративная школа английского: групповые и индивидуальные занятия, разговорные клубы
• Корпоративные цены на отели и туристические сервисы
• MyTime Day Off — дополнительный нерабочий день без потери компенсации

Навыки

• HDFS
• Hadoop
• Apache Ozone
• MinIO
• S3
• Apache Iceberg
• Trino
• Kafka
• Flink
• Lakekeeper
• Gravitino
• Polaris
• мониторинг
• алертинг
• AI tools
• Copilot