Online Payment Platform
Data Platform Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер платформы данных в финтех-компании OPP. Отвечает за инфраструктуру данных, потоковые и батч-пайплайны, оркестрацию, качество данных и оптимизацию затрат на AWS и Snowflake.
Задачи
- Развивать архитектуру в сторону real-time DWH, строить и оптимизировать потоковые и батч-пайплайны
- Внедрять и поддерживать оркестрацию (Dagster или Airflow) с self-service онбордингом команд
- Настраивать автоматические проверки качества данных, schema enforcement и сверки между этапами пайплайна
- Строить сквозную наблюдаемость данных: мониторинг, алерты, метрики
- Анализировать и оптимизировать использование AWS и Snowflake для контроля затрат
- Реализовывать паттерны ингеста с AWS DMS, Glue и нативными коннекторами Snowflake
- Автоматизировать облачную инфраструктуру через Terraform и CI/CD, обеспечивать IAM и RBAC
- Работать в связке с Data Engineer, DevOps-командой и Data Analyst
Требования
- Понимание распределённых систем, потоковой и батч-обработки, оркестрации данных и моделирования схем
- Практический опыт построения data-сервисов на AWS: Kinesis, DMS, Glue, Lambda
- Опыт работы с облачными DWH, в первую очередь Snowflake (Databricks, BigQuery, ClickHouse — плюс)
- Продвинутый SQL и production-level Python (или Scala), чистый код, GitLab CI/CD, тестирование, контейнеризация
- Опыт с Infrastructure as Code (Terraform), сетями в облаке (VPC, subnets, routing) и безопасностью (IAM, RBAC, шифрование)
- Инженерное мышление и ответственность за надёжность систем и операционные затраты
Условия
- Годовая зарплата от €60.000 до €97.000 в зависимости от опыта
- Гибридный формат работы
- 24 дня отпуска и 2 Diversity Days
- Контракт на 12 месяцев с возможностью продления и постоянным контрактом
- MacBook, бюджет €1.000 на домашний офис, NS Business Card
- Велосипедная программа при работе от 24 часов в неделю
- Офис для разработчиков в центре Делфта, обеды и командные мероприятия
Навыки
- Snowflake
- AWS
- Kinesis
- AWS DMS
- AWS Glue
- AWS Lambda
- Dagster
- Airflow
- SQL
- Python
- Scala
- Terraform
- GitLab CI/CD
- Docker
- IAM
- RBAC
- VPC
- Databricks
- BigQuery
- ClickHouse