Capco

Senior Azure Data Engineer (Databricks)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Azure Data Engineer в консалтинговой компании Capco. Проектирование и построение масштабируемых и безопасных data engineering пайплайнов на платформе Databricks в Azure, работа с клиентами над трансформацией данных.

Задачи

  • Проектировать и разрабатывать надёжные пайплайны с использованием DeltaLake, Spark Structured Streaming и Unity Catalog
  • Строить event-driven решения в реальном времени с Kafka и Azure Event Hubs
  • Применять принципы DevOps и строить CI/CD пайплайны на Azure DevOps, Jenkins или GitHub Actions
  • Работать с клиентами и стейкхолдерами, переводя потребности в данные в стратегические технические решения
  • Продвигать чистый код, оптимизацию жизненного цикла данных и лучшие практики software engineering

Требования

  • Подтверждённый практический опыт работы с платформой Databricks и оркестрацией
  • Сильные навыки в Python, PySpark и SQL, знание распределённых систем данных
  • Опыт разработки пайплайнов полного жизненного цикла: ingestion, трансформация, serving
  • Опыт с архитектурой data lakehouse, проектированием схем и GDPR-совместимыми решениями
  • Рабочее знание DevOps-инструментов и процессов CI/CD

Условия

  • Гибридный формат работы в офисе в Шотландии (Эдинбург или Глазго)
  • Дискреционный бонус, конкурентная пенсия, медицинская и страховая защита
  • Поддержка ментального здоровья: CareFirst, Unmind, консультации Aviva
  • 5 недель ежегодного отпуска с возможностью покупки/продажи дней
  • Минимум 40 часов обучения в год, сертификации, бизнес-коуч с первого дня
  • Gympass (Wellhub), страхование путешествий, Tastecard, dental insurance

Навыки

  • Databricks
  • Azure
  • DeltaLake
  • Spark Structured Streaming
  • Unity Catalog
  • Kafka
  • Azure Event Hubs
  • Azure DevOps
  • Jenkins
  • GitHub Actions
  • Python
  • PySpark
  • SQL
  • Scala
  • Java
  • Cloudera
  • Hadoop
  • HIVE
  • Spark

Похожие вакансии

Senior Data Engineer
Netcompany A/SSeniorLondonГибрид
9 нояб.
Senior Data Engineer
Netcompany A/SSeniorLeedsГибрид
9 нояб.
Senior Data Engineer
Grant Thornton LLP CanadaSeniorSouthamptonГибрид
10 нояб.
Senior Data Engineer
Center ParcsSeniorNewark On TrentГибрид
60,000 – 65,000 GBP в год
10 нояб.
Senior Data Engineer
KplerSeniorГибрид
10 нояб.
Principal Data Engineer, Data Warehouse (TPL)
Engelhart Commodities Trading PartnersLeadLondonОфис
10 нояб.
Data Engineer
Grant Thornton LLP CanadaMiddleSouthamptonГибрид
10 нояб.
Data Engineer
Anglian Water ServicesMiddlePeterboroughОфис
46,000 GBP в год
10 нояб.
Data Engineer
Wipro LimitedMiddleWarwickОфис
10 нояб.
Data Engineer
EML PaymentsMiddleLondonОфис
10 нояб.