Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для построения и поддержки масштабируемых data-решений на Azure. Разработка пайплайнов, интеграция SAP и не-SAP источников, трансформации в Databricks и подготовка датасетов для аналитики и BI.

Задачи

• Разрабатывать и поддерживать пайплайны загрузки данных в Azure Data Factory (ADF)
• Интегрировать данные из SAP, баз данных, API, плоских файлов и облачных приложений
• Реализовывать инкрементальную загрузку и паттерны CDC
• Разрабатывать трансформации на PySpark и SQL в Azure Databricks
• Строить и поддерживать датасеты слоёв Bronze, Silver и Gold
• Очищать, валидировать и обогащать данные под бизнес-требования
• Оптимизировать джобы по производительности, масштабируемости и стоимости
• Поддерживать внедрение корпоративных моделей данных и Common Data Models (CDM)
• Готовить датасеты для отчётности и аналитики, в том числе для Power BI
• Внедрять проверки качества данных и фреймворки валидации
• Соблюдать стандарты data governance и политики безопасности
• Документировать потоки данных, бизнес-правила и технические процессы
• Мониторить плановые джобы и пайплайны, разбирать инциденты и проводить root cause analysis
• Участвовать в деплое и релизах

Требования

• Опыт работы 5–8 лет, из них 3–6 лет в Data Engineering
• 2+ года опыта с Azure Databricks
• 2+ года опыта с Azure Data Factory
• Опыт построения корпоративных облачных пайплайнов данных
• Azure Data Factory (ADF)
• Azure Databricks
• Python и PySpark
• SQL
• Azure Data Lake Storage (ADLS)
• Delta Lake
• ETL / ELT разработка
• Data warehousing
• Medallion Architecture
• Инкрементальная загрузка
• Моделирование данных
• Управление качеством данных
• Power BI
• Оптимизация датасетов
• Dimensional modeling
• Git
• Azure DevOps
• Понимание CI/CD
• Степень бакалавра в Computer Science, IT, Engineering или смежной области

Навыки

• Azure Data Factory
• Azure Databricks
• Python
• PySpark
• SQL
• Azure Data Lake Storage
• Delta Lake
• Power BI
• Git
• Azure DevOps
• CI/CD
• SAP ECC
• SAP S/4HANA
• REST API
• Unity Catalog
• Microsoft Fabric