Digital Platforms, Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для корпоративной data-платформы на Databricks и AWS. Отвечает за проектирование, разработку и поддержку масштабируемых пайплайнов, моделей данных и интеграций для аналитики и AI/ML-сценариев.

Задачи

• Проектировать, разрабатывать и поддерживать масштабируемые data-пайплайны на Databricks (Spark / Delta Lake)
• Строить ETL/ELT-процессы на PySpark и Databricks SQL
• Реализовывать и поддерживать medallion-архитектуру (Bronze, Silver, Gold)
• Проектировать и поддерживать модели данных, включая 3NF, star schema и канонические модели
• Поддерживать Data Catalog и фреймворки Data Governance для качества и соответствия данных
• Строить и поддерживать CI/CD-пайплайны для надёжного деплоя между средами
• Взаимодействовать с внешними партнёрами по разработке и production-поддержке
• Обеспечивать операционную поддержку инфраструктуры в AWS (Glue, S3, Lambda)
• Мониторить облачные среды по доступности, производительности, безопасности и стоимости
• Поддерживать деплой и готовность сред совместно с DevOps
• Помогать QA в UAT и валидации: ревью тест-кейсов, триаж дефектов, готовность тестовых сред
• Переводить бизнес- и операционные требования в масштабируемые технические решения
• Обеспечивать соответствие политикам PCI, cGMP, GCP и регуляторным требованиям

Требования

• Опыт работы senior data engineer
• Глубокий опыт с Databricks (Spark / Delta Lake)
• Опыт построения ETL/ELT на PySpark и Databricks SQL
• Знание medallion-архитектуры
• Опыт проектирования моделей данных (3NF, star schema, канонические модели)
• Практический опыт с AWS Glue, S3, Lambda
• Опыт построения CI/CD-пайплайнов
• Опыт работы с распределённой обработкой данных
• Готовность к периодическим переработкам и работе в выходные при критических релизах

Условия

• Работа в глобальной сети компаний PCI
• Участие в создании платформы для аналитики и AI/ML
• Соблюдение политик PCI, cGMP, GCP и регуляторных требований
• Равные возможности трудоустройства (EEO)

Навыки

• Databricks
• Spark
• Delta Lake
• PySpark
• Databricks SQL
• AWS
• AWS Glue
• S3
• Lambda
• CI/CD
• ETL/ELT
• Data Modeling
• 3NF
• Star Schema
• Data Catalog
• Data Governance