Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду Data & Analytics банка Rakbank. Задача — строить масштабируемые и надёжные data-решения на Databricks Lakehouse для аналитики, отчётности, регуляторных и AI-инициатив.

Задачи

• Проектировать, создавать, разворачивать и поддерживать масштабируемые data-пайплайны на Databricks Lakehouse
• Разрабатывать и оптимизировать процессы загрузки, трансформации и обогащения данных для batch, streaming и near-real-time нагрузок
• Строить и поддерживать curated-датасеты и модели данных для BI, аналитики, регуляторной отчётности и AI-сценариев
• Внедрять контроль качества данных, мониторинг, сверки и фреймворки автотестирования
• Поддерживать миграцию legacy-решений на современные облачные data-платформы
• Разбирать production-инциденты, проводить root-cause анализ и повышать надёжность платформы
• Взаимодействовать с архитекторами, аналитиками, governance-командами и бизнес-заказчиками
• Участвовать в Agile-поставке с использованием Azure DevOps, CI/CD и инженерных практик

Требования

• 3–7 лет опыта в Data Engineering, Analytics Engineering, Software Engineering или смежной области
• Сильный практический опыт с SQL, Python, PySpark и Spark SQL
• Опыт работы с Databricks, Delta Lake, Databricks Workflows и Databricks SQL
• Знание Azure Data Factory (ADF), dbt, CDC-фреймворков и стриминговых технологий (Kafka/Confluent)
• Понимание dimensional modelling, medallion architecture, фреймворков качества данных и принципов data governance
• Знакомство с Git, CI/CD и Agile-методологиями
• Сильные навыки решения проблем, командной работы и коммуникации
• Опыт в банковской или финансовой сфере будет преимуществом
• Сертификации Azure или Databricks будут плюсом

Навыки

• SQL
• Python
• PySpark
• Spark SQL
• Databricks
• Delta Lake
• Databricks Workflows
• Databricks SQL
• Azure Data Factory
• dbt
• CDC
• Kafka
• Confluent
• Git
• CI/CD
• Azure DevOps
• Agile