Experian
Lead Data Platform Engineer - AWS, Spark
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Руководитель команды data platform engineering в Experian Credit Services & Verifications. Задача — построить новую fraud data capability и связать fraud-данные с Data Analytics Platform компании.
Задачи
- Руководить agile-командой, разрабатывающей решения data platform для fraud-данных
- Курировать разработку AWS-пайплайнов, компонентов data lake и producer-side data platform
- Поддерживать передачу, владение, сопровождение и развитие пайплайнов и облачных компонентов, изначально созданных центральной командой DAP
- Строить, тестировать и поддерживать качественные data pipelines из источников вроде Snowflake и внутренних продуктовых/дата-платформ
- Готовить и публиковать метаданные для каталога DAP
- Продвигать DevSecOps, CI/CD, Infrastructure as Code и cloud-native инструменты
- Менторить senior и junior инженеров
- Внедрять современные инженерные практики, включая автоматизацию и AI-assisted разработку
Требования
- Опыт построения data pipelines, data lake или data platform
- Опыт с AWS-сервисами для data engineering: Glue, S3, Step Functions, IAM, Lake Formation, EC2, Lambda, EventBridge, SQS
- Опыт с DevOps и IaC: Terraform, CI/CD, Git, Jenkins
- Опыт разработки на Apache Spark или Hadoop
- Значительный опыт программирования на Scala или Python
- Опыт с Configuration as Code и интеграцией API
- Понимание cloud security, data privacy, контроля доступа и governance
Условия
- Конкурентный компенсационный пакет и discretionary bonus
- 25 дней отпуска, 8 банковских праздников и 3 дня волонтёрства, возможность докупить отпуск
- Пенсия, Bupa healthcare, sharesave scheme и другие бенефиты
- Гибридный формат, офис в Ноттингеме (40% времени в офисе)
Навыки
- AWS
- AWS Glue
- S3
- Step Functions
- IAM
- Lake Formation
- EC2
- Lambda
- EventBridge
- SQS
- Terraform
- CI/CD
- Git
- Jenkins
- Apache Spark
- Hadoop
- Scala
- Python
- Snowflake
- Kubernetes
- OpenShift
- CloudFormation
- pytest
- Scalatest
- SonarQube
- Veracode
- RESTful APIs
- microservices