Datamatics Technologies
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер данных для построения и эксплуатации автоматизированных, производительных и безопасных пайплайнов на Azure / Microsoft Fabric, с передачей данных в lakehouse для аналитики и AI-потребителей. Проект на 6 месяцев с базированием в ОАЭ и командировками.
Задачи
- Строить пайплайны пакетной, инкрементальной, CDC- и потоковой загрузки из источников в слой Bronze с помощью Azure Data Factory и Fabric pipelines
- Разрабатывать трансформации слоёв Silver и Gold на SQL, PySpark и в Spark-ноутбуках: очистка, приведение к единому виду, обогащение и бизнес-логика
- Реализовывать размерные модели, SCD, суррогатные ключи и витрины данных по проектам архитектора
- Встраивать проверки качества данных, валидацию, карантин и сверку в пайплайны совместно с Senior Data Quality Engineer
- Обеспечивать публикацию метаданных и lineage в Microsoft Purview
- Реализовывать планирование, управление зависимостями, параметризацию, обработку ошибок и алертинг
- Оптимизировать пайплайны, партиционирование, форматы файлов (Delta/Parquet) и использование вычислительных ресурсов по производительности и стоимости
- Применять контроль доступа, маскирование, шифрование и безопасное управление учётными данными в соответствии с UAE PDPL, Dubai Data Law и DESC ISR
- Вести код в системе контроля версий и разворачивать через CI/CD с автотестами и продвижением по средам
- Поддерживать продакшн, разбирать инциденты, вести runbook и обучать коллег, чтобы пайплайны можно было поддерживать после передачи
Требования
- 4+ года в data engineering, желательно в госсекторе ОАЭ или регулируемых отраслях
- Продвинутые навыки SQL, Python и PySpark/Spark
- Практический опыт с Azure Data Factory, Microsoft Fabric, Databricks или Synapse
- Хорошее понимание Lakehouse/Medallion архитектуры, форматов Delta/Parquet и размерного моделирования, включая SCD и суррогатные ключи
- Опыт с CI/CD (Azure DevOps или GitHub), контролем версий и практиками DataOps
- Знакомство с метаданными и lineage в Microsoft Purview и с инструментами DQ
- Понимание регулирования данных ОАЭ, включая UAE PDPL, Dubai Data Law и DESC ISR
- Отличные навыки коммуникации и документирования на английском
Условия
- Проект на 6 месяцев
- Базирование в ОАЭ, требуются командировки
- Знание арабского языка будет преимуществом
Навыки
- SQL
- Python
- PySpark
- Spark
- Azure Data Factory
- Microsoft Fabric
- Databricks
- Synapse
- Delta
- Parquet
- Microsoft Purview
- Azure DevOps
- GitHub
- CI/CD
- DataOps