Atos

Azure Databricks Developer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Разработчик Azure Databricks в Data & AI Practice компании Atos. Проектирование и поддержка масштабных data engineering решений на платформе Azure для клиентов из госсектора и бизнеса.

Задачи

  • Проектировать, разрабатывать и оптимизировать масштабируемые data pipelines на Azure Databricks, PySpark, Spark SQL и Delta Lake
  • Строить ETL/ELT решения и фреймворки загрузки данных для batch и streaming нагрузок
  • Интегрировать данные из Azure SQL Database, Azure Data Lake Storage Gen2, Microsoft Fabric, API, SaaS-платформ и on-premise систем
  • Внедрять контроль качества данных, валидацию, мониторинг и governance на всём жизненном цикле данных
  • Поддерживать platform engineering: CI/CD, продвижение окружений, оптимизацию производительности и операционную поддержку

Требования

  • Экспертиза в Azure Databricks, Apache Spark, PySpark и Spark SQL
  • Опыт построения ETL/ELT пайплайнов корпоративного масштаба в Azure
  • Сильные навыки разработки на Python и SQL
  • Опыт с Azure Data Lake Storage Gen2 и Azure Data Factory или Microsoft Fabric Data Factory
  • Владение Git и лучшие практики software engineering
  • Опыт работы с крупномасштабной обработкой данных и распределёнными вычислениями
  • Опыт работы в Agile-командах
  • Возможность получить и поддерживать допуск SC и NPPV3

Условия

  • 25 дней оплачиваемого отпуска + национальные праздники
  • Пенсионная схема с софинансированием до 10%
  • Частное медицинское страхование
  • Страхование дохода
  • Страхование жизни
  • Программа гибких льгот
  • Удалённая работа с национальной мобильностью

Навыки

  • Azure Databricks
  • Apache Spark
  • PySpark
  • Spark SQL
  • Delta Lake
  • Python
  • SQL
  • Azure Data Lake Storage Gen2
  • Azure Data Factory
  • Microsoft Fabric
  • Git
  • Azure Synapse Analytics
  • Azure Event Hubs
  • Kafka
  • Azure DevOps
  • Terraform
  • Unity Catalog
  • MLflow
  • Azure Machine Learning

Похожие вакансии

VodafoneThree - Data Solutions Architect
VodafoneLeadГибрид
28 окт.
Snowflake Developer
CapgeminiSeniorLondonГибрид
28 окт.
Senior Informatica Developer
RS GroupSeniorУдалённо
17 нояб.
FinOps & Product Analytics Engineer
IntappMiddleBelfastУдалённо
12 нояб.
Analytics Engineer
fifty-fiveSeniorLondonГибрид
12 нояб.
Senior Staff Data Engineer
Boehringer IngelheimLeadLondonГибрид
8 нояб.
Senior Data Engineer
Munich ReSeniorLondonОфис
27 окт.
Lead Data Engineer
VodafoneLeadLondonОфис
5 нояб.
Principal Data Engineer
Phoenix GroupLeadEdinburghГибрид
77,000 – 100,000 GBP в год
12 нояб.
Senior Data Engineer
Phoenix GroupSeniorEdinburghГибрид
46,000 – 65,000 GBP в год
12 нояб.