DATA ENGINEER - AZURE DATABRICKS & PYSPARK

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в Duncan & Ross для крупного клиента в Дубае. Проектирование и поддержка масштабируемых data pipelines и хранилищ на Azure и Databricks с превращением сырых данных в готовые к аналитике датасеты.

Задачи

• Проектировать, строить и поддерживать ETL/ELT-пайплайны для загрузки данных из множества источников в Azure и Databricks
• Разрабатывать трансформации данных на Python и PySpark, оптимизировать Spark-задачи по производительности, масштабируемости и стоимости
• Писать эффективный SQL для моделирования, трансформации и анализа данных
• Строить и поддерживать data warehouse и lakehouse решения на Azure и Databricks, включая Delta Lake и медальонную архитектуру (bronze, silver, gold)
• Оркестрировать и планировать data workflows через Azure Data Factory, Databricks Workflows или Apache Airflow с мониторингом и алертингом
• Внедрять проверки качества данных, правила валидации и сверки
• Применять стандарты data governance: каталогизацию, lineage, контроль доступа и безопасность (Unity Catalog, Microsoft Purview)
• Работать с аналитиками, data scientists и бизнес-заказчиками для сбора требований и поставки data products
• Диагностировать сбои пайплайнов и проблемы производительности, повышать надёжность
• Документировать пайплайны, модели данных и процессы, следовать практикам CI/CD и version control

Требования

• 3-5+ лет практического опыта в data engineering
• Опыт построения ETL/ELT-пайплайнов для batch и инкрементальных загрузок
• Продвинутый SQL и опыт с SQL Server, Azure SQL, PostgreSQL или Oracle
• Практический опыт с Apache Spark, включая тюнинг производительности и работу с большими данными
• Сильный опыт с Microsoft Azure (Data Lake Storage, Data Factory, Synapse) и Databricks
• Опыт проектирования data warehouse или lakehouse на Azure и Databricks, включая размерное моделирование (звезда и снежинка) и Delta Lake
• Сильные навыки Python и PySpark
• Опыт с Azure Data Factory, Databricks Workflows, Airflow или аналогами
• Опыт внедрения фреймворков качества данных, data lineage, управления метаданными и контроля доступа
• Знакомство с Git, CI/CD (Azure DevOps или GitHub Actions) и Agile
• Степень бакалавра в computer science, инженерии, информационных системах или смежной области
• Свободный письменный и устный английский

Условия

• Работа у ведущего клиента в Дубае
• Nice to have: сертификация Databricks или Microsoft Azure Data Engineer Associate (DP-203)
• Nice to have: опыт со streaming (Kafka, Event Hubs, Spark Structured Streaming)
• Nice to have: опыт с Unity Catalog, Microsoft Purview или Microsoft Fabric
• Nice to have: Infrastructure as Code (Terraform или Bicep)
• Nice to have: опыт с BI-инструментами, например Power BI
• Nice to have: опыт работы в ОАЭ или регионе GCC

Навыки

• Azure
• Databricks
• PySpark
• Python
• SQL
• Apache Spark
• Delta Lake
• Azure Data Factory
• Databricks Workflows
• Apache Airflow
• Unity Catalog
• Microsoft Purview
• SQL Server
• Azure SQL
• PostgreSQL
• Oracle
• Data Lake Storage
• Synapse
• Git
• CI/CD
• Azure DevOps
• GitHub Actions
• Kafka
• Event Hubs
• Spark Structured Streaming
• Microsoft Fabric
• Terraform
• Bicep
• Power BI