Datamatics Technologies
Data Quality Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior Data Quality Engineer для построения и поддержки корпоративного фреймворка качества данных в lakehouse-архитектуре. Отвечает за автоматизированные DQ-контроли на всех слоях, трассировку и устранение проблем качества данных совместно с data owners и инженерами.
Задачи
- Определять, внедрять и поддерживать корпоративный DQ-фреймворк: стандарты, измерения, KPI, пороги и контроли в соответствии с ISO 8000, DAMA-DMBOK2 и Dubai Data Law
- Проводить профилирование исходных данных и DQ-оценки на этапе Mobilization & Discovery для установления базового уровня качества
- Проектировать и реализовывать DQ-проверки на слоях Bronze, Silver, Gold и аналитическом слое
- Встраивать правила валидации, карантина, обработки исключений и ремедиации в data pipelines
- Создавать контроли сверки source-to-target для подтверждения полноты, точности и согласованности критичных потоков данных
- Мониторить точность, полноту, валидность, согласованность, уникальность, своевременность и ссылочную целостность через дашборды для data owners и Data Governance Council
- Руководить расследованием DQ-инцидентов и ремедиацией совместно с data engineers, Data Owners и командами источников
- Преобразовывать бизнес-правила, ключи, справочные данные и ограничения в исполняемые технические DQ-контроли
- Поддерживать Microsoft Purview и MDM-платформу: идентификация CDE, DQ-скоринг, поиск дубликатов, валидация мастер- и справочных данных, контроль golden record
- Поддерживать трассируемость между DQ-правилами, бизнес-требованиями, метаданными, моделями данных и маппингами source-to-target
- Обучать коллег и data stewards практикам и инструментам DQ для самостоятельного поддержания качества данных после передачи
Требования
- 4+ года в Data Quality, Data Engineering, Data Management или Data Governance, желательно в госсекторе ОАЭ или регулируемых отраслях
- Подтверждённый практический опыт профилирования данных, DQ-правил, валидации, сверки, мониторинга и ремедиации
- Продвинутый SQL, практический опыт Python, PySpark или Spark
- Сильные знания реляционного и размерного моделирования: бизнес- и суррогатные ключи, нормализация, ссылочная целостность, SCD
- Опыт с облачными data-платформами и Lakehouse/Medallion архитектурой (предпочтительно Azure / Microsoft Fabric)
- Рабочее знание Microsoft Purview и MDM-платформ
- Знание регулирования данных ОАЭ: UAE PDPL, Dubai Data Law, DESC ISR
- Отличные навыки коммуникации, документирования и работы со стейкхолдерами на английском
Условия
- Локация: ОАЭ (Абу-Даби)
- Контракт: 6 месяцев
- Знание арабского языка — преимущество
Навыки
- SQL
- Python
- PySpark
- Spark
- Microsoft Purview
- MDM
- Azure
- Microsoft Fabric
- Lakehouse
- Medallion architecture
- Data Quality
- Data Governance
- Dimensional modeling
- SCD
- Referential integrity