Deloitte CE
Senior Databricks Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер данных в практику Cloud & Engineering в Центральной Европе. Задача — построить масштабируемую и безопасную платформу данных на Databricks, которая заменит текущее хранилище и ETL/ELT-пайплайны.
Задачи
- Проектировать и внедрять слои данных Bronze / Silver / Gold
- Переносить данные из хранилища и SQL-баз в Databricks
- Поддерживать и расширять существующие пайплайны загрузки и трансформации данных
- Работать с паттернами CDC (Change Data Capture)
- Решать задачи репликации и ограничений прав доступа
- Поддерживать и оптимизировать модели данных и трансформации в Databricks
- Участвовать в анализе требований, проектировании архитектуры платформы и модели данных, миграции и тестировании
Требования
- Сильный практический опыт с Databricks и Apache Spark
- Продвинутое знание PySpark, Python и SQL
- Знание ETL-инструментов
- Опыт работы с Azure, AWS или GCP
- Знакомство с Git, CI/CD, тестированием и современными практиками разработки
- Умение читать код и понимать ETL-процессы
- Опыт с batch- и streaming-пайплайнами данных
- Хороший английский — обязательно
- Опыт интеграции и миграции данных
- Разрешение на работу в ЕС
Условия
- Гибкий график
- Постоянная занятость или контракт
- Медицинская страховка
- Multisport и другие лайфстайл-бенефиты
- Курсы иностранных языков
- Работа с известными брендами и несколькими географиями
- Возможности развития и влияния на бизнес
Навыки
- Databricks
- Apache Spark
- PySpark
- Python
- SQL
- ETL
- Azure
- AWS
- GCP
- Git
- CI/CD
- CDC