Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для развития и эксплуатации современной дата-платформы на Azure. Фокус на Azure, Databricks, дата-инфраструктуру и CI/CD, поддержку multi-tenant окружений.

Задачи

• Проектировать, строить и эксплуатировать end-to-end data-решения на Azure Data Factory, ADLS Gen2, Databricks и Azure Synapse Analytics
• Разрабатывать и поддерживать масштабируемые ETL/ELT-пайплайны на PySpark и Spark с фокусом на качество, надёжность и производительность данных
• Поддерживать и эксплуатировать multi-tenant дата-платформы в нескольких окружениях (dev, test, prod) с чётким разделением и governance
• Провижинить, конфигурировать и поддерживать инфраструктуру данных в Azure, обеспечивая стабильность, безопасность и масштабируемость
• Строить и поддерживать CI/CD-пайплайны для дата-пайплайнов и нагрузок Databricks с автоматизированными деплоями
• Применять best practices Azure для оптимизации производительности и стоимости, включая sizing ресурсов, lifecycle management и мониторинг затрат
• Тесно работать с BI и data-командами для поддержки эффективных моделей данных и отчётности
• Поддерживать требования data governance: контроль доступа, безопасная работа с данными, базовое управление метаданными

Требования

• Несколько лет практического опыта с Azure Data Factory, ADLS Gen2, Databricks и Azure Synapse Analytics
• Сильный опыт построения распределённых пайплайнов обработки данных на PySpark и Spark
• Твёрдое понимание концепций ETL/ELT и практик моделирования данных
• Опыт работы с CI/CD-пайплайнами для data-нагрузок и базовой автоматизации деплоев
• Сильные навыки SQL и опыт оптимизации аналитических запросов
• Практический опыт с Parquet и/или Avro
• Хорошее понимание структуры ресурсов Azure, окружений и операционных best practices
• Ориентированность на решение задач, умение работать самостоятельно и в команде
• Свободный английский обязателен; знание немецкого — преимущество

Условия

• Удалённая работа в Европейском союзе
• Кандидаты должны находиться в стране, где Rhenus Overland Transport уже представлена
• CV необходимо предоставить на английском языке

Навыки

• Azure
• Azure Data Factory
• Azure Data Lake Storage Gen2
• Databricks
• Azure Synapse Analytics
• PySpark
• Spark
• ETL
• ELT
• CI/CD
• SQL
• Parquet
• Avro