Canadian Cancer Society
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в команду Digital Strategy & Technology канадского общества по борьбе с раком. Проектирование и оптимизация облачных data-платформ, ETL/ELT-пайплайнов и lakehouse-решений на Microsoft Fabric и Azure.
Задачи
- Проектировать, внедрять и оптимизировать процессы загрузки и трансформации данных в Microsoft Fabric (Data Pipelines, Dataflows, Notebooks)
- Разрабатывать end-to-end ETL/ELT-процессы для структурированных и неструктурированных данных
- Автоматизировать и оркестрировать data-процессы
- Реализовывать архитектуру Data Lakehouse и оптимизировать модели данных по medallion-архитектуре
- Разрабатывать трансформации на Apache Spark в Fabric Notebooks: очистка, агрегация, обогащение
- Оптимизировать Spark-нагрузки, запросы и конфигурации
- Строить переиспользуемые качественные датасеты для отчётности
- Разрабатывать и поддерживать интеграции с сервисами Azure, внешними системами и платформами отчётности
- Реализовывать загрузку данных в batch- и real-time-режимах
- Вести документацию по интеграциям, включая маппинги и модели данных
- Разрабатывать и поддерживать CI/CD-пайплайны в Azure DevOps
- Внедрять мониторинг, логирование и алертинг для пайплайнов и интеграций
- Поддерживать процессы жизненного цикла данных: архивирование, бэкап, репликация
- Обеспечивать data governance, безопасность и качество данных, lineage и метаданные (Microsoft Purview)
- Участвовать в Agile-процессах, включая планирование спринтов
Требования
- Бакалавр или магистр в computer science, information systems, data engineering или смежной области
- 3–5 лет релевантного опыта на последовательно повышающихся позициях
- Сильное владение компонентами Microsoft Fabric (Data Pipelines, Notebooks, Lakehouse, OneLake)
- Экспертиза в Apache Spark, data pipelines и фреймворках трансформации данных
- Знание архитектуры данных и моделирования (Delta Lake, Lakehouse, medallion)
- Экспертиза в SQL для запросов, трансформаций и разработки пайплайнов
- Владение Python для data engineering, автоматизации и пайплайнов
- Опыт software engineering для облачных платформ (Python, serverless)
- Опыт системных интеграций, API и пайплайнов между облачными и корпоративными системами
- Опыт работы с данными и сервисами CRM (предпочтительно Salesforce)
- Знание DevOps-практик: CI/CD, контроль версий, фреймворки автоматизации
- Опыт мониторинга, логирования и алертинга для надёжности пайплайнов
- Приверженность инженерным практикам: качество кода, тестирование, документация
- Опыт разработки и поддержки фреймворков автотестирования для пайплайнов
- Сильные навыки траблшутинга и оптимизации производительности
- Сильные коммуникативные навыки и умение координировать технических и нетехнических стейкхолдеров
- Двуязычие (французский/английский) — предпочтительно
Условия
- Конкурентная зарплата
- Гибридный формат работы
- Оплачиваемый родительский отпуск
- Семейный больничный
- Медицинская страховка
- Инклюзивная культура и политика разнообразия (DIBE)
Навыки
- Microsoft Fabric
- Data Pipelines
- Dataflows
- Notebooks
- Lakehouse
- OneLake
- Apache Spark
- ETL/ELT
- Delta Lake
- medallion architecture
- SQL
- Python
- serverless
- Azure
- Azure DevOps
- CI/CD
- Microsoft Purview
- Salesforce
- API
- data modeling