Senior Data Engineer - Data Foundations (all genders)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в команду Data Foundations европейского e-commerce-ритейлера ABOUT YOU. Отвечает за новую data-платформу и критические ELT-пайплайны, которые служат фундаментом для других дата-команд и отчётности для топ-менеджмента.

Задачи

• Строить и поддерживать новую data-платформу (Dagster, dbt, AWS ECS, GCP BigQuery) и вести миграцию на неё
• Развивать платформу как продукт для других дата-команд: инструменты, мониторинг, data-checks, коннекторы, контроль затрат, тестирование, CI/CD, каталогизация
• Поддерживать и оптимизировать ключевые ELT-пайплайны компании, включая ночную перегрузку терабайтов данных из MySQL (AWS) в BigQuery и дневные синхронизации без влияния на производительность источников
• Отвечать за критически важные отчёты, на которых основываются решения исполнительного совета и работа дата-команд других подразделений

Требования

• Практический опыт в Data Engineering и Software Engineering, в частности с высоконагруженными бизнес-критичными пайплайнами
• Опыт построения и поддержки современных data-платформ и роль мультипликатора для других инженерных команд
• Глубокий практический опыт с целевым стеком: Dagster, dbt, Google BigQuery, AWS (ECS)
• Сильные основы software engineering (CI/CD, тестирование, best practices, design patterns) в применении к data engineering
• SQL и Python на уровне эксперта
• Знание инфраструктурных сетапов (Docker, Terraform/CloudFormation)
• Прагматизм: понимание, когда внедрять best practices, а когда просто доставлять результат
• Умение работать без эго, командный подход, высокая энергия и ясность
• Сильные коммуникативные навыки, умение понятно объяснять сложные процессы стейкхолдерам, английский на уровне переговоров

Условия

• Флэт-структура, прямые коммуникации и прагматичные решения без долгих согласований
• Офисы в Гамбурге и Берлине
• Командные обеды, after-work, корпоративные мероприятия
• Пакет бенефитов (подробности на сайте компании)

Навыки

• Dagster
• dbt
• Google BigQuery
• AWS
• AWS ECS
• MySQL
• SQL
• Python
• CI/CD
• Docker
• Terraform
• CloudFormation
• Data Engineering
• ELT