Senior Big Data Infrastructure Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Big Data Platform, технический лидер инфраструктуры международного контура. Отвечает за развёртывание, обновление и эксплуатацию ключевых сервисов платформы: HDFS, S3-совместимого хранилища (Apache Ozone), Iceberg и других.

Задачи

• Развёртывать, обновлять и эксплуатировать ключевые сервисы платформы: HDFS, S3-совместимое объектное хранилище (Apache Ozone), Iceberg и другие
• Выступить техническим лидером инфраструктуры международного контура
• Участвовать в пилоте инфраструктуры: переход от небольшого числа очень больших датасетов к тысячам небольших таблиц
• Внедрять квоты на вычисления и хранение для бизнес-юнитов
• Мигрировать с дефолтного Iceberg-каталога на более функциональный (Lakekeeper или Gravitino)
• Перестроить мониторинг и алертинг
• Тесно работать с инженером, который ведёт такой же стек в параллельном контуре, обмениваться подходами и подменять друг друга

Требования

• 5+ лет опыта проектирования, развёртывания и эксплуатации big data платформ
• Практический опыт с HDFS / Hadoop: развёртывание, обновление версий, траблшутинг
• Практический опыт развёртывания и эксплуатации S3-совместимого объектного хранилища (Apache Ozone идеально, MinIO или аналоги тоже подходят)
• Опыт с Apache Iceberg
• Опыт настройки мониторинга и алертинга для data-инфраструктуры
• Английский B2
• Возможность работать в часовом поясе GMT+3 (разница до 3 часов)

Условия

• Гибкий график и возможность работать удалённо
• Амбициозная и поддерживающая команда
• Структурированный онбординг, персональный план развития, регулярные внутренние лекции и демо
• Внутренние программы адаптации и обучения, развитие soft skills и лидерских качеств
• Частичная компенсация участия во внешних тренингах и конференциях
• Корпоративная школа английского: групповые и индивидуальные занятия, разговорные клубы
• Корпоративные цены на отели и туристические сервисы
• MyTime Day Off — дополнительный нерабочий день без потери компенсации

Навыки

• HDFS
• Hadoop
• Apache Ozone
• MinIO
• S3
• Apache Iceberg
• Trino
• Kafka
• Flink
• Lakekeeper
• Gravitino
• Polaris
• мониторинг
• алертинг