Capco
Senior Azure Data Engineer (Databricks)
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior Azure Data Engineer в консалтинговой компании Capco. Проектирование и построение масштабируемых и безопасных data engineering пайплайнов на платформе Databricks в Azure, работа с клиентами над трансформацией данных.
Задачи
- Проектировать и разрабатывать надёжные пайплайны с использованием DeltaLake, Spark Structured Streaming и Unity Catalog
- Строить event-driven решения в реальном времени с Kafka и Azure Event Hubs
- Применять принципы DevOps и разрабатывать CI/CD пайплайны на Azure DevOps, Jenkins или GitHub Actions
- Взаимодействовать с клиентами и стейкхолдерами, переводя потребности в данные в стратегические технические решения
- Продвигать чистый код, оптимизацию жизненного цикла данных и лучшие практики software engineering
Требования
- Подтверждённый практический опыт работы с платформой Databricks и оркестрацией
- Сильные навыки в Python, PySpark и SQL, знание распределённых систем данных
- Опыт разработки пайплайнов полного жизненного цикла: ingestion, transformation, serving
- Опыт с архитектурой data lakehouse, проектированием схем и GDPR-совместимыми решениями
- Рабочее знание DevOps-инструментов и процессов CI/CD
Условия
- Гибридный формат, офис в Шотландии (Эдинбург или Глазго)
- Постоянная занятость
- Дискреционный бонус, конкурентная пенсия, медицинская и страхование жизни
- 5 недель отпуска с возможностью покупки/продажи дней
- Минимум 40 часов обучения в год, сертификации, бизнес-коуч с первого дня
- Gympass (Wellhub), страхование путешествий, Tastecard, dental insurance и др.
Навыки
- Databricks
- Azure
- DeltaLake
- Spark Structured Streaming
- Unity Catalog
- Kafka
- Azure Event Hubs
- Azure DevOps
- Jenkins
- GitHub Actions
- Python
- PySpark
- SQL
- Scala
- Java
- Cloudera
- Hadoop
- HIVE
- Spark
- GDPR