Atos
Azure Databricks Developer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Разработчик Azure Databricks в Data & AI Practice компании Atos. Проектирование и поддержка масштабных data engineering решений на платформе Azure для клиентов из госсектора и бизнеса.
Задачи
- Проектировать, разрабатывать и оптимизировать масштабируемые data pipelines на Azure Databricks, PySpark, Spark SQL и Delta Lake
- Строить ETL/ELT решения и фреймворки загрузки данных для batch и streaming нагрузок
- Интегрировать данные из Azure SQL Database, Azure Data Lake Storage Gen2, Microsoft Fabric, API, SaaS-платформ и on-premise систем
- Внедрять контроль качества данных, валидацию, мониторинг и governance на всём жизненном цикле данных
- Поддерживать platform engineering: CI/CD, продвижение окружений, оптимизацию производительности и операционную поддержку
Требования
- Экспертиза в Azure Databricks, Apache Spark, PySpark и Spark SQL
- Опыт построения ETL/ELT пайплайнов корпоративного масштаба в Azure
- Сильные навыки разработки на Python и SQL
- Опыт с Azure Data Lake Storage Gen2 и Azure Data Factory или Microsoft Fabric Data Factory
- Владение Git и лучшие практики software engineering
- Опыт работы с крупномасштабной обработкой данных и распределёнными вычислениями
- Опыт работы в Agile-командах
- Возможность получить и поддерживать допуск SC и NPPV3
Условия
- 25 дней оплачиваемого отпуска + национальные праздники
- Пенсионная схема с софинансированием до 10%
- Частное медицинское страхование
- Страхование дохода
- Страхование жизни
- Программа гибких льгот
- Удалённая работа с национальной мобильностью
Навыки
- Azure Databricks
- Apache Spark
- PySpark
- Spark SQL
- Delta Lake
- Python
- SQL
- Azure Data Lake Storage Gen2
- Azure Data Factory
- Microsoft Fabric
- Git
- Azure Synapse Analytics
- Azure Event Hubs
- Kafka
- Azure DevOps
- Terraform
- Unity Catalog
- MLflow
- Azure Machine Learning