Datamatics Technologies

Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для построения и эксплуатации автоматизированных, производительных и безопасных пайплайнов на Azure / Microsoft Fabric, с передачей данных в lakehouse для аналитики и AI-потребителей. Проект на 6 месяцев с базированием в ОАЭ и командировками.

Задачи

  • Строить пайплайны пакетной, инкрементальной, CDC- и потоковой загрузки из источников в слой Bronze с помощью Azure Data Factory и Fabric pipelines
  • Разрабатывать трансформации слоёв Silver и Gold на SQL, PySpark и в Spark-ноутбуках: очистка, приведение к единому виду, обогащение и бизнес-логика
  • Реализовывать размерные модели, SCD, суррогатные ключи и витрины данных по проектам архитектора
  • Встраивать проверки качества данных, валидацию, карантин и сверку в пайплайны совместно с Senior Data Quality Engineer
  • Обеспечивать публикацию метаданных и lineage в Microsoft Purview
  • Реализовывать планирование, управление зависимостями, параметризацию, обработку ошибок и алертинг
  • Оптимизировать пайплайны, партиционирование, форматы файлов (Delta/Parquet) и использование вычислительных ресурсов по производительности и стоимости
  • Применять контроль доступа, маскирование, шифрование и безопасное управление учётными данными в соответствии с UAE PDPL, Dubai Data Law и DESC ISR
  • Вести код в системе контроля версий и разворачивать через CI/CD с автотестами и продвижением по средам
  • Поддерживать продакшн, разбирать инциденты, вести runbook и обучать коллег, чтобы пайплайны можно было поддерживать после передачи

Требования

  • 4+ года в data engineering, желательно в госсекторе ОАЭ или регулируемых отраслях
  • Продвинутые навыки SQL, Python и PySpark/Spark
  • Практический опыт с Azure Data Factory, Microsoft Fabric, Databricks или Synapse
  • Хорошее понимание Lakehouse/Medallion архитектуры, форматов Delta/Parquet и размерного моделирования, включая SCD и суррогатные ключи
  • Опыт с CI/CD (Azure DevOps или GitHub), контролем версий и практиками DataOps
  • Знакомство с метаданными и lineage в Microsoft Purview и с инструментами DQ
  • Понимание регулирования данных ОАЭ, включая UAE PDPL, Dubai Data Law и DESC ISR
  • Отличные навыки коммуникации и документирования на английском

Условия

  • Проект на 6 месяцев
  • Базирование в ОАЭ, требуются командировки
  • Знание арабского языка будет преимуществом

Навыки

  • SQL
  • Python
  • PySpark
  • Spark
  • Azure Data Factory
  • Microsoft Fabric
  • Databricks
  • Synapse
  • Delta
  • Parquet
  • Microsoft Purview
  • Azure DevOps
  • GitHub
  • CI/CD
  • DataOps

Похожие вакансии

Data Engineer
Datamatics TechnologiesMiddleШарджаОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleАбу-ДабиОфис
17 нояб.
Engineering Manager - Pipelines
JobgetherLeadУдалённо
13 нояб.
Cloudera Data Engineer
Midis GroupMiddleДубайОфис
31 окт.
Senior BI Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
AI & Data Analytics Specialist
Expertise RecruitmentMiddleАбу-ДабиОфис
11 нояб.
Senior Oracle PL/SQL &amp - Data Integration Engineer
KamayiSeniorДубайОфисРелокация
10,000 – 13,000 AED в месяц
11 нояб.
Senior Oracle PL/SQL &amp - Data Warehouse Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
Senior Data Engineer
InnovoSeniorДубайОфис
4 нояб.
Senior Software Engineer - Database & BI
KamayiSeniorДубайОфис
10,000 – 14,000 AED в месяц
11 нояб.