Pyspark Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer для проектирования и поддержки масштабных пайплайнов обработки данных на PySpark и Informatica BDM. Обязателен опыт в банковской или финансовой сфере.

Задачи

• Проектировать, разрабатывать и поддерживать масштабируемые пайплайны данных на PySpark для обработки больших объёмов структурированных и неструктурированных данных
• Разрабатывать и сопровождать ETL/ELT-процессы на Informatica BDM
• Работать с архитекторами данных, аналитиками и бизнес-заказчиками: собирать требования и переводить их в технические решения
• Оптимизировать задачи обработки данных для высокой производительности и надёжности
• Внедрять процессы качества данных, data governance и валидации данных
• Интегрировать данные из множества источников: базы данных, API, корпоративные системы
• Поддерживать инициативы по хранилищам и озёрам данных
• Обеспечивать соответствие банковским регуляторным и security-требованиям
• Диагностировать и устранять проблемы пайплайнов и узкие места производительности
• Участвовать в code review, тестировании и деплое для поддержания высоких стандартов разработки

Требования

• 6+ лет опыта в Data Engineering или смежных ролях
• Сильный практический опыт работы с PySpark для обработки данных большого масштаба
• Уверенный опыт работы с Informatica BDM (Big Data Management)
• Опыт работы с Big Data технологиями и распределёнными фреймворками обработки данных
• Сильное знание SQL и концепций моделирования данных
• Опыт интеграции данных, разработки ETL и оркестрации workflow
• Знакомство с облачными платформами или big data экосистемами (Hadoop/Spark) — плюс
• Понимание требований data governance, безопасности и комплаенса в банковской сфере
• Сильные аналитические навыки, навыки решения проблем и коммуникации
• Обязательный опыт в банковской или финансовой сфере, желательно с корпоративными платформами данных, системами регуляторной отчётности или крупными финансовыми датасетами

Навыки

• PySpark
• Informatica BDM
• ETL
• ELT
• SQL
• Data Modeling
• Big Data
• Hadoop
• Spark
• Python
• Data Governance
• Data Warehouse
• Data Lake
• Agile