Grant Thornton LLP Canada
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в команду Data Architecture в Grant Thornton UK. Задача — строить и поддерживать пайплайны и компоненты платформы данных, обеспечивать миграцию на Microsoft Fabric и готовить основу для аналитики, self-service отчётности и AI.
Задачи
- Строить и поддерживать пайплайны и notebooks в Fabric с использованием Data Factory, Lakehouse, Python, PySpark и SQL
- Загружать данные из ключевых систем, включая Workday, Dynamics 365, Business World и SharePoint
- Создавать и поддерживать структуры данных в Fabric Warehouse и Lakehouse, готовить документированные сертифицированные датасеты для Power BI
- Готовить управляемые данные для AI, включая retrieval через RAG и MCP, преобразовывать документы (PDF) в структурированный вид
- Применять стандарты классификации данных, контроля доступа и co-mingling
- Переносить существующие решения Azure Data Factory, Azure Data Lake и SQL Server в Fabric с переработкой legacy ETL/ELT
- Использовать version control, CI/CD, автотесты и мониторинг для надёжности пайплайнов
- Следить за новыми возможностями Fabric, документировать работу и делиться знаниями
Требования
- Практический опыт с Microsoft Fabric (Data Factory, Lakehouse, Warehouse, Notebooks) или Databricks
- Рабочее владение Python, PySpark и SQL для data engineering
- Понимание data modelling, warehousing и принципов ETL/ELT
- Рабочее знание Power BI и version control (например, Git / DevOps)
- Понимание практик data governance, безопасности и compliance
- Умение самостоятельно управлять нагрузкой и ясно коммуницировать с техническими и нетехническими коллегами
Условия
- Гибкие варианты работы
- Баланс работы и личной жизни
- Инклюзивная культура и возможности развития
Навыки
- Microsoft Fabric
- Data Factory
- Lakehouse
- Warehouse
- Notebooks
- Databricks
- Python
- PySpark
- SQL
- Power BI
- Git
- DevOps
- Azure Data Factory
- Azure Data Lake
- SQL Server
- CI/CD
- RAG
- MCP
- vector databases