GM Financial

Sr. Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в GM Financial International Operations для многолетней трансформации платформы обслуживания. Проектирование и поддержка масштабных production data pipelines на Databricks и облачных технологиях.

Задачи

  • Проектировать, разрабатывать, тестировать, разворачивать, оптимизировать и поддерживать сложные масштабируемые production data pipelines на Databricks
  • Разрабатывать ETL/ELT решения для загрузки, трансформации, интеграции и доставки данных в облачных и корпоративных средах
  • Проектировать переиспользуемые паттерны интеграции данных на Databricks, Apache Spark/PySpark, Python, SQL, Delta Lake, API
  • Проектировать и поддерживать эффективные модели данных, структуры данных и решения для хранения
  • Внедрять процессы качества данных, валидации, сверки, мониторинга и обработки ошибок
  • Оптимизировать нагрузки Databricks и Spark по производительности, масштабируемости, надёжности и стоимости
  • Взаимодействовать с архитекторами, командами приложений, аналитиками, data scientists и бизнес-заказчиками
  • Интегрировать данные из различных корпоративных источников: batch, API, streaming/event-driven
  • Обеспечивать безопасность данных, контроль доступа и governance
  • Применять лучшие практики разработки: контроль версий, автотесты, CI/CD, мониторинг, логирование, production support
  • Анализировать и устранять сложные проблемы интеграции, производительности и production
  • Документировать процессы, потоки данных, паттерны интеграции, архитектуру пайплайнов и операционные процедуры

Требования

  • Продвинутый практический опыт с Databricks, Apache Spark/PySpark, Delta Lake, Python и SQL
  • Опыт проектирования, разработки, оптимизации и поддержки сложных production data pipelines на Databricks
  • Знание архитектуры ETL/ELT, распределённой обработки данных, интеграции и оркестрации пайплайнов
  • Понимание облачных архитектур данных; опыт с Microsoft Azure предпочтителен
  • Опыт работы с облачным хранением, интеграцией, безопасностью, мониторингом, IAM и деплоем
  • Опыт обработки данных в форматах XML, JSON, Parquet, API, реляционные БД, облачные хранилища, messaging/event платформы
  • Опыт API-интеграций и интеграций корпоративных приложений
  • Знание моделирования данных, качества данных, сверки, metadata management, безопасности и governance
  • Опыт тюнинга производительности и troubleshooting крупномасштабных распределённых нагрузок
  • Знание контроля версий, автотестов, CI/CD и практик DevOps/DataOps
  • Знание Agile, Scrum и Application Lifecycle Management
  • Опыт с Azure Data Lake Storage Gen2, Azure Data Factory, Event Hubs, Key Vault, Azure DevOps предпочтителен
  • Опыт с Databricks Workflows/Jobs и Unity Catalog предпочтителен
  • Опыт с Kafka или другими event-streaming технологиями предпочтителен
  • Опыт интеграции Oracle и других корпоративных реляционных БД предпочтителен
  • Знание IBM InfoSphere DataStage и Unix scripting предпочтительно
  • Опыт модернизации legacy платформ интеграции данных предпочтителен
  • Степень бакалавра в computer science, Information Systems, Engineering, Data Engineering или смежной области либо эквивалентный опыт
  • 4–6 лет опыта в data engineering или смежной области

Условия

  • Гибридный формат работы
  • Участие в стратегической многолетней трансформации
  • Работа в международной компании (Латинская Америка и Китай)
  • Равные возможности трудоустройства (Equal Opportunity Employer)

Навыки

  • Databricks
  • Apache Spark
  • PySpark
  • Python
  • SQL
  • Delta Lake
  • ETL
  • ELT
  • Microsoft Azure
  • Azure Data Lake Storage Gen2
  • Azure Data Factory
  • Event Hubs
  • Key Vault
  • Azure DevOps
  • Unity Catalog
  • Kafka
  • Oracle
  • IBM InfoSphere DataStage
  • Unix
  • CI/CD
  • DataOps
  • Agile
  • Scrum
  • Microsoft Copilot

Похожие вакансии

Senior Manager - Product Intelligence & Strategic Insights
AVEVASeniorCalgaryГибрид
9 нояб.
IT Programmer (SQL/Business Intelligence) / Developer (SQL,BI, Data) / Data Engineer
Sofina FoodsMiddleMarkhamОфис
64,393 – 90,082 CAD в год
9 нояб.
Business Information Management Specialist-2
TD BankMiddleTorontoОфис
96,900 – 136,800 CAD в год
9 нояб.
Business Information Management Specialist-1
TD BankMiddleTorontoОфис
96,900 – 136,800 CAD в год
9 нояб.
Mid-level Data Migration Developer
MEDFAR Clinical SolutionsMiddleMontrealГибрид
9 нояб.
Databricks Lead – Python, PySpark, SQL & Supply Chain Analytics
Astra-North Infoteck Inc. ~ Conquering today’s challenges, achieving tomorrow’s vision!LeadTorontoГибрид
9 нояб.
Senior Data Engineer
TechBlocksSeniorVaughanОфис
9 нояб.
Python Technical Lead - Data Analysis, SQL
HCLTechLeadVancouverОфис
9 нояб.
Ontology FDO
SynechronSeniorGlasgowОфис
9 нояб.
Data Engineer
IG GroupMiddleCity Of LondonОфис
17 нояб.