Sr. Data Engineer (m/w/x)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в команду Data Platform. Отвечает за сложные высоконагруженные пайплайны и инфраструктуру данных при миграции с Redshift/Tableau/Redash на Snowflake, dbt, Looker, Airflow и Airbyte.

Задачи

• Проектировать, масштабировать и поддерживать высоконагруженные пайплайны загрузки данных, включая предобработку и парсинг сложных payload'ов до попадания в хранилище
• Строить сквозные автоматизации в AWS (S3), Airflow и облачном хранилище данных, стабилизировать, документировать и мигрировать legacy-потоки данных
• Владеть Apache Airflow как платформой: обновления версий, конфигурация, архитектурные best practices
• Внедрять мониторинг, алертинг, трекинг ресурсов и автоматические проверки качества данных, диагностировать проблемы пайплайнов до корневой причины
• Отвечать за затраты платформы данных (например, Snowflake credits), оптимизировать производительность хранилища и строить системы учёта потребления compute по пользователям
• Быть старшим техническим голосом в решениях по платформе и обеспечивать децентрализованную аналитику для ~30 data champions

Требования

• 5+ лет в data engineering с глубоким владением Python, SQL и современными паттернами ELT
• Production-опыт с современными облачными хранилищами данных (Snowflake, BigQuery, Redshift) и Apache Airflow
• Опыт проектирования облачной инфраструктуры данных (желательно AWS) и провижининга масштабируемых окружений через Terraform
• Опыт с Git, тестовыми фреймворками, CI/CD, проактивной документацией и снижением технического долга
• Сильный mindset владения затратами (FinOps): трекинг использования, атрибуция затрат пользователям и запросам, оптимизация
• Умение переводить бизнес-требования в технические решения и эффективно коммуницировать с техническими и нетехническими стейкхолдерами
• Сильные навыки письменной и устной коммуникации на английском (корпоративный язык)
• Плюсом: опыт с dbt, Kubernetes и Kafka

Условия

• Полная занятость (40 часов в неделю), минимум 3 дня в неделю (вторник–четверг) в HQ в Берлине
• Разнообразная глобальная команда из 75 национальностей
• Виртуальные или очные коучинговые сессии с Fürstenberg Institut
• Поддержка физического здоровья через Urban Sports Club
• Годовой бюджет на обучение 750€
• 15 удалённых рабочих дней в году для работы за рубежом
• 4 волонтёрских дня в году
• Эксклюзивная скидка на Grover Tech
• Месячная скидка на BVG
• Открытый офис в Берлин-Шёнеберге с регулярными мероприятиями

Навыки

• Python
• SQL
• ELT
• Snowflake
• BigQuery
• Redshift
• Apache Airflow
• AWS
• S3
• Terraform
• Git
• CI/CD
• dbt
• Kubernetes
• Kafka
• Looker
• Airbyte
• Tableau
• Redash