Datamatics Technologies

Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для построения и эксплуатации пайплайнов в lakehouse на Azure / Microsoft Fabric. Отвечает за автоматизированные, производительные и безопасные пайплайны с метаданными и lineage в Microsoft Purview.

Задачи

  • Строить пайплайны батчевой, инкрементальной, CDC и потоковой загрузки из источников в слой Bronze с помощью Azure Data Factory и Fabric pipelines
  • Разрабатывать трансформации слоёв Silver и Gold на SQL, PySpark и Spark notebooks: очистка, приведение, обогащение и бизнес-логика
  • Реализовывать размерные модели, SCD, суррогатные ключи и data marts по проектам архитектора
  • Встраивать проверки качества данных, валидацию, карантин и сверку в пайплайны совместно с Senior Data Quality Engineer
  • Обеспечивать публикацию метаданных и lineage в Microsoft Purview
  • Реализовывать планирование, управление зависимостями, параметризацию, обработку ошибок и алертинг
  • Оптимизировать пайплайны, партиционирование, форматы файлов (Delta/Parquet) и использование вычислительных ресурсов по производительности и стоимости
  • Применять контроль доступа, маскирование, шифрование и безопасное управление учётными данными в соответствии с UAE PDPL, Dubai Data Law и DESC ISR
  • Вести код в системе контроля версий и деплоить через CI/CD с автотестами и продвижением по средам
  • Поддерживать продакшн, разбирать инциденты, вести runbooks и обучать коллег для устойчивой поддержки пайплайнов после передачи

Требования

  • 4+ года в data engineering, желательно в госсекторе ОАЭ или регулируемых отраслях
  • Продвинутые SQL, Python и PySpark/Spark
  • Практический опыт с Azure Data Factory, Microsoft Fabric, Databricks или Synapse
  • Понимание Lakehouse/Medallion архитектуры, форматов Delta/Parquet и размерного моделирования, включая SCD и суррогатные ключи
  • Опыт с CI/CD (Azure DevOps или GitHub), контролем версий и практиками DataOps
  • Знание метаданных и lineage в Microsoft Purview и инструментов DQ
  • Понимание регулирования данных ОАЭ: UAE PDPL, Dubai Data Law и DESC ISR
  • Отличные навыки коммуникации и документирования на английском

Условия

  • Проект на 6 месяцев
  • Базирование в ОАЭ, требуются командировки
  • Желательно владение арабским языком

Навыки

  • SQL
  • Python
  • PySpark
  • Spark
  • Azure Data Factory
  • Microsoft Fabric
  • Databricks
  • Azure Synapse
  • Delta
  • Parquet
  • Microsoft Purview
  • Azure DevOps
  • GitHub
  • CI/CD
  • DataOps
  • Lakehouse
  • Medallion architecture

Похожие вакансии

Engineering Manager - Pipelines
JobgetherLeadУдалённо
13 нояб.
Cloudera Data Engineer
Midis GroupMiddleДубайОфис
31 окт.
Senior BI Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
AI & Data Analytics Specialist
Expertise RecruitmentMiddleАбу-ДабиОфис
11 нояб.
Senior Oracle PL/SQL &amp - Data Integration Engineer
KamayiSeniorДубайОфисРелокация
10,000 – 13,000 AED в месяц
11 нояб.
Senior Oracle PL/SQL &amp - Data Warehouse Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
Senior Data Engineer
InnovoSeniorДубайОфис
4 нояб.
Senior Software Engineer - Database & BI
KamayiSeniorДубайОфис
10,000 – 14,000 AED в месяц
11 нояб.
Senior Officer - Risk Data Management
Abu Dhabi Islamic Bank (ADIB)SeniorОфис
10 нояб.
Principal Database Engineer
KrakenLeadУдалённо
161,000 – 358,900 USD в год
10 нояб.