Anglian Water Services
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в команду Digital, Data and Innovation альянса @one Alliance (Anglian Water). Проектирование и поддержка облачных data-платформ и пайплайнов для крупнейшей инфраструктурной программы Великобритании.
Задачи
- Проектировать, строить и поддерживать масштабируемые data-пайплайны в Microsoft Azure и Databricks
- Разрабатывать процессы ingestion, трансформации и интеграции данных из множества источников
- Управлять корпоративной архитектурой данных и оптимизировать её по medallion-фреймворку Bronze/Silver/Gold
- Обеспечивать качество, точность, governance и traceability данных
- Поддерживать reporting и аналитику, предоставляя доверенные данные через централизованные платформы
- Управлять API и интеграциями между ключевыми цифровыми системами
- Вести техническую документацию, модели data lineage, архитектурные диаграммы и стандарты метаданных
- Мониторить, диагностировать и устранять проблемы с данными
- Поддерживать практики CI/CD и индустриализацию data-продуктов
- Разрабатывать PoC и MVP-решения под бизнес-задачи
- Работать в тесной связке с аналитиками, data scientists, reporting-командами и бизнес-заказчиками
- Искать возможности улучшения бизнес-показателей за счёт данных и новых технологий
Требования
- Минимум 2 года опыта в Data Engineering
- Опыт проектирования и разработки data-пайплайнов, ETL-процессов и интеграции данных
- Сильное знание сервисов Microsoft Azure для данных и Databricks
- Опыт работы с data lakes, data warehouses и современными облачными архитектурами данных
- Понимание data modelling, metadata management, data lineage и принципов data governance
- Опыт использования SQL и других технологий и языков программирования для data engineering
- Знание принципов и лучших практик CI/CD в data engineering
- Опыт управления API и интеграции данных между бизнес-системами
- Сильные аналитические навыки и навыки troubleshooting с фокусом на качество и надёжность данных
- Умение понятно объяснять технические концепции технической и нетехнической аудитории
- Коллаборативный подход и стремление к постоянному обучению
Условия
- Частное медицинское страхование
- Страхование жизни — 8 годовых окладов
- 26 дней отпуска плюс банковские праздники с гибкостью для религиозных праздников
- Гибкие возможности работы
- Пенсионная схема с удвоением взносов до 7%
- Бонусная схема и широкий набор lifestyle-льгот
- Обучение и развитие
- Возможность стать признанным экспертом в специализированной технической области
Навыки
- Microsoft Azure
- Databricks
- ETL
- SQL
- Data pipelines
- Data lakes
- Data warehouses
- Data modelling
- Data governance
- Metadata management
- Data lineage
- API
- CI/CD
- Autodesk