Data Engineer (m/w/d)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в консалтинговую компанию HyPlus. Разработка и сопровождение ETL/ELT-пайплайнов и моделей данных в Lakehouse/Data Warehouse архитектурах, участие в архитектурных решениях и развитие DataOps.

Задачи

• Разработка, тестирование и эксплуатация ETL/ELT-пайплайнов для batch- и streaming-обработки (Python, SQL, Spark, dbt, Airflow)
• Реализация и развитие моделей данных в Lakehouse и Data Warehouse архитектурах (Star Schema, нормальные формы, Data Vault)
• Подключение и гармонизация источников: реляционные БД, REST API, event-стримы, ERP-системы
• Разработка переиспользуемых слоёв трансформации и отчётности для аналитики и ИИ-сценариев
• Обеспечение качества данных через правила валидации, reconciliation и root-cause анализ
• Оркестрация, планирование и мониторинг решений в cloud, on-premise и гибридных средах
• Анализ и оптимизация запросов, моделей данных и нагрузок по времени и стоимости
• Участие в архитектурных решениях и дизайне решений в команде
• Подготовка качественных ИИ-пригодных датасетов и согласование интерфейсов с ИИ- и backend-командами
• Использование ИИ-инструментов и генеративного ИИ для разработки, документации, тестов и QA
• Развитие CI/CD и DataOps-практик, версионирование в Git, документирование моделей и логики трансформаций
• Работа с клиентами, бизнес-подразделениями и agile-командами, включая прототипирование и уточнение требований
• Постепенное принятие ответственности за governance, security, observability и качество кода
• Поддержка junior-коллег и участие в code review

Требования

• Высшее образование в IT или MINT-сфере либо эквивалентная квалификация
• Около 3–5 лет практического опыта в Data Engineering, Data Warehousing или эксплуатации платформ данных
• Хорошее знание SQL и хотя бы одного языка программирования в data-сфере, желательно Python
• Практический опыт с хотя бы одной cloud- или data-платформой: Azure, AWS, GCP, Databricks, Snowflake или Microsoft Fabric
• Опыт с инструментами Modern Data Stack и оркестрации: dbt, Spark или Airflow
• Понимание моделирования данных, интеграции данных, ETL/ELT и streaming
• Опыт в области качества данных, мониторинга, governance и security
• Уверенное владение Git, CI/CD и автоматизированными тестами
• Открытость к осознанному использованию ИИ-инструментов в инженерии
• Опыт agile-разработки (Scrum/Kanban)
• Аналитическое мышление, структурированный подход и командная работа
• Открытая и уважительная коммуникация с клиентами и коллегами
• Немецкий язык на уровне C1/C2
• Английский язык на уровне B2
• Проживание в Германии, желательно рядом с Ratingen/Frankfurt

Условия

• Конкурентная зарплата и бюджет на здоровье, командные офсайты, современная техника, пакет мобильности, Jobrad и др.
• Чётко определённые возможности развития и ежегодные обсуждения
• Постоянные тренинги, сертификации и доступ к отраслевым мероприятиям
• Гибридный/удалённый формат и гибкий график
• Коллегиальная культура без политики, где ценятся идеи и результаты

Навыки

• Python
• SQL
• Spark
• dbt
• Airflow
• Data Vault
• Star Schema
• Azure
• AWS
• GCP
• Databricks
• Snowflake
• Microsoft Fabric
• Kafka
• SAP
• Terraform
• Docker
• Kubernetes
• Power BI
• Qlik
• Tableau
• Git
• CI/CD