Canadian Cancer Society

Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду Digital Strategy & Technology канадского общества по борьбе с раком. Проектирование и оптимизация облачных data-платформ, ETL/ELT-пайплайнов и lakehouse-решений на Microsoft Fabric и Azure.

Задачи

  • Проектировать, внедрять и оптимизировать процессы загрузки и трансформации данных в Microsoft Fabric (Data Pipelines, Dataflows, Notebooks)
  • Разрабатывать end-to-end ETL/ELT-процессы для структурированных и неструктурированных данных
  • Автоматизировать и оркестрировать data-процессы
  • Реализовывать архитектуру Data Lakehouse и оптимизировать модели данных по medallion-архитектуре
  • Разрабатывать трансформации на Apache Spark в Fabric Notebooks: очистка, агрегация, обогащение
  • Оптимизировать Spark-нагрузки, запросы и конфигурации
  • Строить переиспользуемые качественные датасеты для отчётности
  • Разрабатывать и поддерживать интеграции с сервисами Azure, внешними системами и платформами отчётности
  • Реализовывать загрузку данных в batch- и real-time-режимах
  • Вести документацию по интеграциям, включая маппинги и модели данных
  • Разрабатывать и поддерживать CI/CD-пайплайны в Azure DevOps
  • Внедрять мониторинг, логирование и алертинг для пайплайнов и интеграций
  • Поддерживать процессы жизненного цикла данных: архивирование, бэкап, репликация
  • Обеспечивать data governance, безопасность и качество данных, lineage и метаданные (Microsoft Purview)
  • Участвовать в Agile-процессах, включая планирование спринтов

Требования

  • Бакалавр или магистр в computer science, information systems, data engineering или смежной области
  • 3–5 лет релевантного опыта на последовательно повышающихся позициях
  • Сильное владение компонентами Microsoft Fabric (Data Pipelines, Notebooks, Lakehouse, OneLake)
  • Экспертиза в Apache Spark, data pipelines и фреймворках трансформации данных
  • Знание архитектуры данных и моделирования (Delta Lake, Lakehouse, medallion)
  • Экспертиза в SQL для запросов, трансформаций и разработки пайплайнов
  • Владение Python для data engineering, автоматизации и пайплайнов
  • Опыт software engineering для облачных платформ (Python, serverless)
  • Опыт системных интеграций, API и пайплайнов между облачными и корпоративными системами
  • Опыт работы с данными и сервисами CRM (предпочтительно Salesforce)
  • Знание DevOps-практик: CI/CD, контроль версий, фреймворки автоматизации
  • Опыт мониторинга, логирования и алертинга для надёжности пайплайнов
  • Приверженность инженерным практикам: качество кода, тестирование, документация
  • Опыт разработки и поддержки фреймворков автотестирования для пайплайнов
  • Сильные навыки траблшутинга и оптимизации производительности
  • Сильные коммуникативные навыки и умение координировать технических и нетехнических стейкхолдеров
  • Двуязычие (французский/английский) — предпочтительно

Условия

  • Конкурентная зарплата
  • Гибридный формат работы
  • Оплачиваемый родительский отпуск
  • Семейный больничный
  • Медицинская страховка
  • Инклюзивная культура и политика разнообразия (DIBE)

Навыки

  • Microsoft Fabric
  • Data Pipelines
  • Dataflows
  • Notebooks
  • Lakehouse
  • OneLake
  • Apache Spark
  • ETL/ELT
  • Delta Lake
  • medallion architecture
  • SQL
  • Python
  • serverless
  • Azure
  • Azure DevOps
  • CI/CD
  • Microsoft Purview
  • Salesforce
  • API
  • data modeling

Похожие вакансии

Data Engineer
Clever Digital MarketingMiddleУдалённо
90,000 – 120,000 CAD в год
7 нояб.
Applications Development Sr Programmer Analyst - Assistant Vice President
CitiSeniorMississaugaГибрид
94,300 – 141,500 CAD в год
6 нояб.
Staff Software Engineer, Data Platform
Function HealthSeniorУдалённо
6 нояб.
Software Development Engineer, Edgelink ML, Amazon Traffic Engineering
AmazonMiddleVancouverОфис
114,800 – 191,800 CAD в год
6 нояб.
Data Labelling Engineer (12-Month Fixed Term)
CMR SurgicalMiddleCambridgeГибрид
7 нояб.
Data Engineer
GateleyMiddleBirminghamОфис
6 нояб.
Data Engineer
BurberryMiddleLondonОфис
7 нояб.
Data Engineer Tech Lead
WIRE ITLeadPortoУдалённо
6 нояб.
Senior Data Engineer
WIRE ITSeniorPortoГибрид
6 нояб.
Data Platform Engineer (NoSQL & Search)
WIRE ITSeniorLisbonГибрид
5 нояб.