Datamatics Technologies

Data Quality Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Quality Engineer для построения и поддержки корпоративного фреймворка качества данных в lakehouse-архитектуре. Отвечает за автоматизированные DQ-контроли на всех слоях, трассировку и устранение проблем качества данных совместно с data owners и инженерами.

Задачи

  • Определять, внедрять и поддерживать корпоративный DQ-фреймворк: стандарты, измерения, KPI, пороги и контроли в соответствии с ISO 8000, DAMA-DMBOK2 и Dubai Data Law
  • Проводить профилирование исходных данных и DQ-оценки на этапе Mobilization & Discovery для установления базового уровня качества
  • Проектировать и реализовывать DQ-проверки на слоях Bronze, Silver, Gold и аналитическом слое
  • Встраивать правила валидации, карантина, обработки исключений и ремедиации в data pipelines
  • Создавать контроли сверки source-to-target для подтверждения полноты, точности и согласованности критичных потоков данных
  • Мониторить точность, полноту, валидность, согласованность, уникальность, своевременность и ссылочную целостность через дашборды для data owners и Data Governance Council
  • Руководить расследованием DQ-инцидентов и ремедиацией совместно с data engineers, Data Owners и командами источников
  • Преобразовывать бизнес-правила, ключи, справочные данные и ограничения в исполняемые технические DQ-контроли
  • Поддерживать Microsoft Purview и MDM-платформу: идентификация CDE, DQ-скоринг, поиск дубликатов, валидация мастер- и справочных данных, контроль golden record
  • Поддерживать трассируемость между DQ-правилами, бизнес-требованиями, метаданными, моделями данных и маппингами source-to-target
  • Обучать коллег и data stewards практикам и инструментам DQ для самостоятельного поддержания качества данных после передачи

Требования

  • 4+ года в Data Quality, Data Engineering, Data Management или Data Governance, желательно в госсекторе ОАЭ или регулируемых отраслях
  • Подтверждённый практический опыт профилирования данных, DQ-правил, валидации, сверки, мониторинга и ремедиации
  • Продвинутый SQL, практический опыт Python, PySpark или Spark
  • Сильные знания реляционного и размерного моделирования: бизнес- и суррогатные ключи, нормализация, ссылочная целостность, SCD
  • Опыт с облачными data-платформами и Lakehouse/Medallion архитектурой (предпочтительно Azure / Microsoft Fabric)
  • Рабочее знание Microsoft Purview и MDM-платформ
  • Знание регулирования данных ОАЭ: UAE PDPL, Dubai Data Law, DESC ISR
  • Отличные навыки коммуникации, документирования и работы со стейкхолдерами на английском

Условия

  • Локация: ОАЭ (Абу-Даби)
  • Контракт: 6 месяцев
  • Знание арабского языка — преимущество

Навыки

  • SQL
  • Python
  • PySpark
  • Spark
  • Microsoft Purview
  • MDM
  • Azure
  • Microsoft Fabric
  • Lakehouse
  • Medallion architecture
  • Data Quality
  • Data Governance
  • Dimensional modeling
  • SCD
  • Referential integrity

Похожие вакансии

Data Quality Engineer
Datamatics TechnologiesMiddleАбу-ДабиОфис
17 нояб.
Data Quality Engineer
Datamatics TechnologiesMiddleДубайОфис
17 нояб.
Data Analytics Engineer
BlackStone eITSeniorДубайОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleДубайОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleШарджаОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleАбу-ДабиОфис
17 нояб.
Engineering Manager - Pipelines
JobgetherLeadУдалённо
13 нояб.
Cloudera Data Engineer
Midis GroupMiddleДубайОфис
31 окт.
Senior BI Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
AI & Data Analytics Specialist
Expertise RecruitmentMiddleАбу-ДабиОфис
11 нояб.