Datamatics Technologies
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer для построения и эксплуатации пайплайнов в lakehouse на Azure / Microsoft Fabric с метаданными и lineage в Microsoft Purview. Проект на 6 месяцев с базированием в ОАЭ и командировками.
Задачи
- Строить пайплайны батчевой, инкрементальной, CDC и потоковой загрузки из источников в слой Bronze с помощью Azure Data Factory и Fabric pipelines
- Разрабатывать трансформации слоёв Silver и Gold на SQL, PySpark и Spark notebooks: очистка, приведение, обогащение и бизнес-логика
- Реализовывать размерные модели, SCD, суррогатные ключи и data marts по проектам архитектора
- Встраивать проверки качества данных, валидацию, карантин и сверку в пайплайны совместно с Senior Data Quality Engineer
- Обеспечивать публикацию метаданных и lineage в Microsoft Purview
- Реализовывать планирование, управление зависимостями, параметризацию, обработку ошибок и алертинг
- Оптимизировать пайплайны, партиционирование, форматы файлов (Delta/Parquet) и использование вычислений по производительности и стоимости
- Применять контроль доступа, маскирование, шифрование и безопасное управление учётными данными в соответствии с UAE PDPL, Dubai Data Law и DESC ISR
- Вести код в системе контроля версий и деплоить через CI/CD с автотестами и продвижением по средам
- Поддерживать продакшн, разбирать инциденты, вести runbooks и обучать коллег для устойчивости пайплайнов после передачи
Требования
- 4+ года в data engineering, желательно в госсекторе ОАЭ или регулируемых отраслях
- Продвинутые SQL, Python и PySpark/Spark
- Практический опыт с Azure Data Factory, Microsoft Fabric, Databricks или Synapse
- Понимание Lakehouse/Medallion архитектуры, форматов Delta/Parquet и размерного моделирования, включая SCD и суррогатные ключи
- Опыт CI/CD (Azure DevOps или GitHub), контроля версий и практик DataOps
- Знакомство с метаданными и lineage Microsoft Purview и инструментами DQ
- Знание регулирования данных ОАЭ: UAE PDPL, Dubai Data Law, DESC ISR
- Отличные навыки коммуникации и документирования на английском
Условия
- Проект на 6 месяцев
- Базирование в ОАЭ с командировками
- Знание арабского — преимущество
Навыки
- SQL
- Python
- PySpark
- Spark
- Azure Data Factory
- Microsoft Fabric
- Databricks
- Azure Synapse
- Delta
- Parquet
- Microsoft Purview
- Azure DevOps
- GitHub
- CI/CD
- DataOps