Scrumconnect Consulting
Data Engineer (SC Eligible/ SC Cleared)
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в британскую цифровую консалтинговую компанию Scrumconnect Consulting для проекта в госсекторе. Задача — строить и поддерживать пайплайны и платформы данных, обеспечивая надёжность, безопасность и готовность данных к анализу.
Задачи
- Проектировать, строить и поддерживать масштабируемые пайплайны данных (ETL/ELT) для сбора, преобразования и загрузки данных из разных источников
- Разрабатывать и сопровождать решения для хранения данных, включая хранилища данных и data lake
- Обеспечивать качество, точность и согласованность данных через валидацию, тестирование и мониторинг
- Работать с Data Architects, аналитиками и разработчиками для понимания потребностей в данных и поставки надёжных решений
- Оптимизировать рабочие процессы обработки данных по производительности, масштабируемости и стоимости
- Соблюдать стандарты безопасности, приватности и управления данными
- Документировать пайплайны, модели данных и процессы
- Оперативно диагностировать и устранять проблемы с данными
Требования
- Подтверждённый опыт работы Data Engineer или в аналогичной роли
- Сильные навыки SQL и опыт с реляционными БД, такими как PostgreSQL, SQL Server или Oracle
- Опыт программирования на Python (или Scala, или Java)
- Опыт построения пайплайнов ETL/ELT
- Опыт с облачными платформами данных, такими как AWS или Azure (например, S3, Glue, Redshift, Azure Data Factory или Synapse)
- Понимание моделирования данных и концепций хранилищ данных
- Опыт работы с системой контроля версий (Git)
- Хорошие навыки решения проблем и коммуникации
- Способность работать самостоятельно и удалённо, а также приезжать в Ньюкасл раз в неделю
Условия
- Гибкий частичный график с преимущественно удалённой работой
- Значимая работа над цифровыми сервисами, которые реально влияют на жизнь людей
- Растущая консалтинговая компания с сильным присутствием на северо-востоке Англии
- Возможности осваивать новые инструменты и развивать карьеру
- Коллаборативная инклюзивная команда, где ценят идеи
- Политика разнообразия и инклюзивности, статус Disability Confident Level 1
Навыки
- SQL
- PostgreSQL
- SQL Server
- Oracle
- Python
- Scala
- Java
- ETL
- ELT
- AWS
- Azure
- S3
- Glue
- Redshift
- Azure Data Factory
- Synapse
- Git
- Apache Spark
- Databricks
- Kafka
- Airflow
- CI/CD
- Infrastructure as Code