Scrumconnect Consulting

Data Engineer (SC Eligible/ SC Cleared)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в британскую цифровую консалтинговую компанию Scrumconnect Consulting для проекта в госсекторе. Задача — строить и поддерживать пайплайны и платформы данных, обеспечивая надёжность, безопасность и готовность данных к анализу.

Задачи

  • Проектировать, строить и поддерживать масштабируемые пайплайны данных (ETL/ELT) для сбора, преобразования и загрузки данных из разных источников
  • Разрабатывать и сопровождать решения для хранения данных, включая хранилища данных и data lake
  • Обеспечивать качество, точность и согласованность данных через валидацию, тестирование и мониторинг
  • Работать с Data Architects, аналитиками и разработчиками для понимания потребностей в данных и поставки надёжных решений
  • Оптимизировать рабочие процессы обработки данных по производительности, масштабируемости и стоимости
  • Соблюдать стандарты безопасности, приватности и управления данными
  • Документировать пайплайны, модели данных и процессы
  • Оперативно диагностировать и устранять проблемы с данными

Требования

  • Подтверждённый опыт работы Data Engineer или в аналогичной роли
  • Сильные навыки SQL и опыт с реляционными БД, такими как PostgreSQL, SQL Server или Oracle
  • Опыт программирования на Python (или Scala, или Java)
  • Опыт построения пайплайнов ETL/ELT
  • Опыт с облачными платформами данных, такими как AWS или Azure (например, S3, Glue, Redshift, Azure Data Factory или Synapse)
  • Понимание моделирования данных и концепций хранилищ данных
  • Опыт работы с системой контроля версий (Git)
  • Хорошие навыки решения проблем и коммуникации
  • Способность работать самостоятельно и удалённо, а также приезжать в Ньюкасл раз в неделю

Условия

  • Гибкий частичный график с преимущественно удалённой работой
  • Значимая работа над цифровыми сервисами, которые реально влияют на жизнь людей
  • Растущая консалтинговая компания с сильным присутствием на северо-востоке Англии
  • Возможности осваивать новые инструменты и развивать карьеру
  • Коллаборативная инклюзивная команда, где ценят идеи
  • Политика разнообразия и инклюзивности, статус Disability Confident Level 1

Навыки

  • SQL
  • PostgreSQL
  • SQL Server
  • Oracle
  • Python
  • Scala
  • Java
  • ETL
  • ELT
  • AWS
  • Azure
  • S3
  • Glue
  • Redshift
  • Azure Data Factory
  • Synapse
  • Git
  • Apache Spark
  • Databricks
  • Kafka
  • Airflow
  • CI/CD
  • Infrastructure as Code

Похожие вакансии

Data Engineer
MulberrySeniorLondonГибрид
11 нояб.
Data Platform Engineer
BurberryMiddleLondonОфис
26 окт.
Python Software Engineer - Data Infrastructure
Man GroupMiddleLondonОфис
11 нояб.
Data Engineer
CruitieMiddleTel AvivОфис
11 нояб.
Engineering Team Lead
Transmit SecurityLeadTel AvivОфис
11 нояб.
Data Technology Manager
Jerónimo MartinsLeadLisbonОфис
11 нояб.
Assurance Associate (m/w/d) - AI & Data Innovation Engineer
SiemensMiddleLisbonОфис
11 нояб.
Data Quality Engineer
NimberMiddlePortoГибрид
11 нояб.
Data Quality Engineer – Sales & Finance - Hybrid Lisbon (1-2 days/week office)
HumanIT Digital ConsultingMiddleLisbonГибрид
2,000 – 2,650 EUR в месяц
11 нояб.
Senior Informatica Data Engineer
NimberSeniorPortoОфис
11 нояб.