Experian

Lead Data Platform Engineer - AWS, Spark

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Руководитель команды data platform engineering в Experian Credit Services & Verifications. Задача — построить новую fraud data capability и связать fraud-данные с Data Analytics Platform компании.

Задачи

  • Руководить agile-командой, разрабатывающей решения data platform для fraud-данных
  • Курировать разработку AWS-пайплайнов, компонентов data lake и producer-side data platform
  • Поддерживать передачу, владение, сопровождение и развитие пайплайнов и облачных компонентов, изначально созданных центральной командой DAP
  • Строить, тестировать и поддерживать качественные data pipelines из источников вроде Snowflake и внутренних продуктовых/дата-платформ
  • Готовить и публиковать метаданные для каталога DAP
  • Продвигать DevSecOps, CI/CD, Infrastructure as Code и cloud-native инструменты
  • Менторить senior и junior инженеров
  • Внедрять современные инженерные практики, включая автоматизацию и AI-assisted разработку

Требования

  • Опыт построения data pipelines, data lake или data platform
  • Опыт с AWS-сервисами для data engineering: Glue, S3, Step Functions, IAM, Lake Formation, EC2, Lambda, EventBridge, SQS
  • Опыт с DevOps и IaC: Terraform, CI/CD, Git, Jenkins
  • Опыт разработки на Apache Spark или Hadoop
  • Значительный опыт программирования на Scala или Python
  • Опыт с Configuration as Code и интеграцией API
  • Понимание cloud security, data privacy, контроля доступа и governance

Условия

  • Конкурентный компенсационный пакет и discretionary bonus
  • 25 дней отпуска, 8 банковских праздников и 3 дня волонтёрства, возможность докупить отпуск
  • Пенсия, Bupa healthcare, sharesave scheme и другие бенефиты
  • Гибридный формат, офис в Ноттингеме (40% времени в офисе)

Навыки

  • AWS
  • AWS Glue
  • S3
  • Step Functions
  • IAM
  • Lake Formation
  • EC2
  • Lambda
  • EventBridge
  • SQS
  • Terraform
  • CI/CD
  • Git
  • Jenkins
  • Apache Spark
  • Hadoop
  • Scala
  • Python
  • Snowflake
  • Kubernetes
  • OpenShift
  • CloudFormation
  • pytest
  • Scalatest
  • SonarQube
  • Veracode
  • RESTful APIs
  • microservices

Похожие вакансии

Python Software Engineer - Data Infrastructure
Man GroupMiddleLondonОфис
9 нояб.
Software Engineer - Risk Control & Governance
WiseMiddleLondonГибрид
68,000 – 87,500 GBP в год
9 нояб.
Data Team Lead
SimilarwebLeadTel AvivГибрид
9 нояб.
Software Engineer Data Platform
Cato NetworksMiddleTel AvivОфис
9 нояб.
Senior Data Engineer | Real-Time & Streaming
AlongsideSeniorPortoГибрид
9 нояб.
Engineering Manager, Data & AI
Q-techLeadBarcelonaГибрид
80,000 – 110,000 EUR в год
9 нояб.
Data Engineer Middle (dbt y QA de datos)
Teralco GroupMiddleElx / ElcheГибрид
9 нояб.
Senior Clinical Data Enablement Manager
VeramedSeniorУдалённо
4 нояб.
Clinical Data Ingestion Manager
VeramedMiddleУдалённо
4 нояб.
Senior/Lead Developer - DORA
NordeaSeniorГибрид
29 окт.