GM Financial
Sr. Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior Data Engineer в GM Financial International Operations для многолетней трансформации платформы обслуживания. Проектирование и поддержка масштабных production data pipelines на Databricks и облачных технологиях.
Задачи
- Проектировать, разрабатывать, тестировать, разворачивать, оптимизировать и поддерживать сложные масштабируемые production data pipelines на Databricks
- Разрабатывать ETL/ELT решения для загрузки, трансформации, интеграции и доставки данных в облачных и корпоративных средах
- Проектировать переиспользуемые паттерны интеграции данных на Databricks, Apache Spark/PySpark, Python, SQL, Delta Lake, API
- Проектировать и поддерживать эффективные модели данных, структуры данных и решения для хранения
- Внедрять процессы качества данных, валидации, сверки, мониторинга и обработки ошибок
- Оптимизировать нагрузки Databricks и Spark по производительности, масштабируемости, надёжности и стоимости
- Взаимодействовать с архитекторами, командами приложений, аналитиками, data scientists и бизнес-заказчиками
- Интегрировать данные из различных корпоративных источников: batch, API, streaming/event-driven
- Обеспечивать безопасность данных, контроль доступа и governance
- Применять лучшие практики разработки: контроль версий, автотесты, CI/CD, мониторинг, логирование, production support
- Анализировать и устранять сложные проблемы интеграции, производительности и production
- Документировать процессы, потоки данных, паттерны интеграции, архитектуру пайплайнов и операционные процедуры
Требования
- Продвинутый практический опыт с Databricks, Apache Spark/PySpark, Delta Lake, Python и SQL
- Опыт проектирования, разработки, оптимизации и поддержки сложных production data pipelines на Databricks
- Знание архитектуры ETL/ELT, распределённой обработки данных, интеграции и оркестрации пайплайнов
- Понимание облачных архитектур данных; опыт с Microsoft Azure предпочтителен
- Опыт работы с облачным хранением, интеграцией, безопасностью, мониторингом, IAM и деплоем
- Опыт обработки данных в форматах XML, JSON, Parquet, API, реляционные БД, облачные хранилища, messaging/event платформы
- Опыт API-интеграций и интеграций корпоративных приложений
- Знание моделирования данных, качества данных, сверки, metadata management, безопасности и governance
- Опыт тюнинга производительности и troubleshooting крупномасштабных распределённых нагрузок
- Знание контроля версий, автотестов, CI/CD и практик DevOps/DataOps
- Знание Agile, Scrum и Application Lifecycle Management
- Опыт с Azure Data Lake Storage Gen2, Azure Data Factory, Event Hubs, Key Vault, Azure DevOps предпочтителен
- Опыт с Databricks Workflows/Jobs и Unity Catalog предпочтителен
- Опыт с Kafka или другими event-streaming технологиями предпочтителен
- Опыт интеграции Oracle и других корпоративных реляционных БД предпочтителен
- Знание IBM InfoSphere DataStage и Unix scripting предпочтительно
- Опыт модернизации legacy платформ интеграции данных предпочтителен
- Степень бакалавра в computer science, Information Systems, Engineering, Data Engineering или смежной области либо эквивалентный опыт
- 4–6 лет опыта в data engineering или смежной области
Условия
- Гибридный формат работы
- Участие в стратегической многолетней трансформации
- Работа в международной компании (Латинская Америка и Китай)
- Равные возможности трудоустройства (Equal Opportunity Employer)
Навыки
- Databricks
- Apache Spark
- PySpark
- Python
- SQL
- Delta Lake
- ETL
- ELT
- Microsoft Azure
- Azure Data Lake Storage Gen2
- Azure Data Factory
- Event Hubs
- Key Vault
- Azure DevOps
- Unity Catalog
- Kafka
- Oracle
- IBM InfoSphere DataStage
- Unix
- CI/CD
- DataOps
- Agile
- Scrum
- Microsoft Copilot