Datamatics Technologies

Data Quality Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Quality Engineer для построения и поддержки корпоративного фреймворка качества данных в lakehouse-архитектуре. Отвечает за автоматизированные DQ-контроли на всех слоях, трассировку и устранение проблем качества данных совместно с data owners и инженерами.

Задачи

  • Определять, внедрять и поддерживать корпоративный DQ-фреймворк: стандарты, измерения, KPI, пороги и контроли в соответствии с ISO 8000, DAMA-DMBOK2 и Dubai Data Law
  • Проводить профилирование исходных данных и DQ-оценки на этапе Mobilization & Discovery для установления базового уровня качества
  • Проектировать и реализовывать DQ-проверки на слоях Bronze, Silver, Gold и аналитическом слое
  • Встраивать правила валидации, отбраковки/карантина, обработки исключений и исправления прямо в пайплайны данных
  • Устанавливать контроли сверки source-to-target для подтверждения полноты, точности и согласованности критичных потоков данных
  • Мониторить точность, полноту, валидность, согласованность, уникальность, своевременность и ссылочную целостность через дашборды для data owners и Data Governance Council
  • Руководить расследованием DQ-инцидентов и устранением первопричин совместно с data engineers, Data Owners и командами источников
  • Преобразовывать бизнес-правила, ключи, справочные данные, ограничения и исторические требования в исполняемые технические DQ-контроли
  • Поддерживать Microsoft Purview и MDM-платформу: идентификация CDE, DQ-скоринг, поиск дубликатов, валидация мастер- и справочных данных, контроль качества golden record
  • Поддерживать трассируемость между DQ-правилами, бизнес-требованиями, метаданными, моделями данных и source-to-target маппингами
  • Обучать коллег и data stewards практикам и инструментам DQ для самостоятельного поддержания качества данных после передачи

Требования

  • 4+ года в Data Quality, Data Engineering, Data Management или Data Governance, желательно в госсекторе ОАЭ или регулируемых отраслях
  • Подтверждённый практический опыт профилирования данных, DQ-правил, валидации, сверки, мониторинга и устранения проблем
  • Продвинутый SQL, практический опыт Python, PySpark или Spark
  • Сильные знания реляционного и размерного моделирования: бизнес- и суррогатные ключи, нормализация, ссылочная целостность, SCD
  • Опыт с облачными платформами данных и Lakehouse/Medallion архитектурой (предпочтительно Azure / Microsoft Fabric)
  • Рабочее знание Microsoft Purview и MDM-платформ
  • Знание регулирования данных ОАЭ: UAE PDPL, Dubai Data Law, DESC ISR
  • Отличные навыки английской коммуникации, документирования и работы со стейкхолдерами

Условия

  • Локация: ОАЭ (Абу-Даби)
  • Контракт: 6 месяцев
  • Знание арабского языка будет преимуществом

Навыки

  • SQL
  • Python
  • PySpark
  • Spark
  • Azure
  • Microsoft Fabric
  • Microsoft Purview
  • MDM
  • Lakehouse
  • Medallion architecture
  • Data Quality
  • Data Governance
  • SCD
  • Data profiling

Похожие вакансии

Data Analytics Engineer
BlackStone eITSeniorДубайОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleДубайОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleШарджаОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleАбу-ДабиОфис
17 нояб.
Engineering Manager - Pipelines
JobgetherLeadУдалённо
13 нояб.
Cloudera Data Engineer
Midis GroupMiddleДубайОфис
31 окт.
Senior BI Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
AI & Data Analytics Specialist
Expertise RecruitmentMiddleАбу-ДабиОфис
11 нояб.
Senior Oracle PL/SQL &amp - Data Integration Engineer
KamayiSeniorДубайОфисРелокация
10,000 – 13,000 AED в месяц
11 нояб.
Senior Oracle PL/SQL &amp - Data Warehouse Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.