Azure Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных в Arcadis для проектирования и разработки решений на платформе Microsoft Azure Data Platform, включая MS Fabric. Роль предполагает лидирование в дизайне решений, оптимизацию SQL-запросов и наставничество коллег.

Задачи

• Проектировать, разрабатывать, тестировать, внедрять и поддерживать технические решения на Microsoft Azure Data Platform в Agile-командах
• Лидировать и проектировать решения на MS Fabric / Azure data platforms
• Работать с концепциями баз данных, моделированием данных, хранимыми процедурами, сложными запросами и оптимизацией производительности SQL
• Наставлять коллег и развивать их экспертизу в решениях на Azure data platform
• Строить end-to-end решения на платформе Azure data analytics
• Строить Azure data analytics решения с подходом DevOps (CI/CD)

Требования

• Степень бакалавра и 12+ лет релевантного профессионального опыта, включая минимум 8 лет практической работы с Azure Data Platform
• Практический опыт среднего уровня с Microsoft Fabric: Pipelines, Dataflows Gen2, ADLS Gen2, Notebooks, Lakehouse, Warehouse, Delta tables
• Экспертиза в SQL: сложные трансформации, join между модулями, оптимизация, стратегии индексирования
• Сильный практический опыт с PySpark, операциями Delta Lake и масштабируемой распределённой обработкой
• Опыт построения масштабируемых и оптимизированных data pipelines по лучшим инженерным практикам
• Опыт performance tuning, оптимизации запросов и ускорения выполнения пайплайнов
• Понимание механизмов инкрементальной и полной загрузки, включая детекцию изменений, Delta merge, обработку суррогатных ключей и сверку данных
• Опыт работы с Fabric notebooks, объединением больших наборов данных и обработкой инкрементальных и полных загрузок
• Опыт с T-SQL, SSIS, SSAS, SSRS, Azure Data Factory, Azure Data Lake Store, Azure SQL DB, Azure Data Bricks с Python/Scala
• Хорошие коммуникативные навыки и понимание бизнес-логики систем

Условия

• Работа в международной компании Arcadis (34 000+ сотрудников в 30+ странах)
• Устойчивые решения для природных и построенных активов
• Подход, основанный на навыках, с возможностью строить карьерный путь
• Политика равенства, разнообразия и инклюзивности

Навыки

• Microsoft Azure
• MS Fabric
• T-SQL
• SSIS
• SSAS
• SSRS
• Azure Data Factory
• Azure Data Lake Store
• Azure Data Lake Analytics
• Azure SQL DB
• Azure Data Bricks
• Python
• Scala
• PySpark
• Delta Lake
• SQL
• DevOps
• CI/CD
• Dataflows Gen2
• ADLS Gen2
• Lakehouse
• Warehouse
• Delta tables