Alongside

Senior Data Engineer | Real-Time & Streaming

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в проект клиента из финансового сектора. Проектирование и эксплуатация real-time data-продуктов на enterprise-платформе: от приёма событий и потоковой обработки до API и сервисов для потребителей.

Задачи

  • Проектировать и реализовывать end-to-end потоковые data-продукты на Apache Flink, Apache Kafka и event-driven архитектурах
  • Разрабатывать stateful stream-processing приложения: windowing, event-time, watermarks, checkpointing, гарантии exactly-once
  • Строить и поддерживать отказоустойчивые пайплайны приёма, трансформации и доставки для real-time и batch нагрузок
  • Управлять Kafka-топиками, партиционированием, consumer groups, схемами и их эволюцией
  • Проектировать и разрабатывать REST API, потоковые интерфейсы и микросервисы с контрактами, версионированием, аутентификацией и rate limiting
  • Разворачивать и эксплуатировать сервисы в AWS с Infrastructure as Code на Terraform
  • Встраивать контроль качества данных, автотесты, observability и алертинг на всём жизненном цикле
  • Развивать CI/CD пайплайны: автоматический деплой, rollback, безопасные релизы
  • Мониторить продакшн-сервисы по SLA, разбирать инциденты, оптимизировать latency, throughput, надёжность и стоимость
  • Применять security best practices: аутентификация, авторизация, шифрование, управление секретами, least-privilege
  • Переводить бизнес-требования в технические дизайны, оспаривать допущения и предлагать практичные решения
  • Ревьюить код и дизайны, менторить инженеров, развивать инженерные стандарты и документацию

Требования

  • 7+ лет опыта в data engineering, из них минимум 3 года построения и эксплуатации real-time/streaming систем в продакшне
  • Сильный практический опыт с Apache Flink в продакшне, включая DataStream API и Flink SQL
  • Сильные навыки Java; опыт с Python/PyFlink или Scala приветствуется
  • Опыт с Apache Kafka, event-driven архитектурами и управлением схемами через Avro и Schema Registry
  • Опыт построения API и микросервисов на REST и OpenAPI
  • Сильный опыт с AWS: MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS/EKS, S3, IAM
  • Сильные навыки SQL и data modelling для streaming и batch нагрузок
  • Опыт с CI/CD (GitLab CI или GitHub Actions) и автотестами: unit, integration, contract, load
  • Опыт с observability-инструментами: CloudWatch, OpenTelemetry, Prometheus, Grafana
  • Свободное владение английским языком (письменным и устным)

Условия

  • Работа над production-grade real-time data-продуктами в финансовом секторе
  • End-to-end ответственность за потоковые пайплайны, API и продакшн-эксплуатацию
  • Сотрудничество с platform-инженерами, product owner'ами и бизнес-стейкхолдерами
  • Возможность влиять на технические решения, улучшать инженерные практики и менторить инженеров
  • Гибридный формат работы в Порту

Навыки

  • Apache Flink
  • Apache Kafka
  • Java
  • Python
  • PyFlink
  • Scala
  • Avro
  • Schema Registry
  • REST
  • OpenAPI
  • AWS
  • MSK
  • Kinesis
  • Managed Service for Apache Flink
  • Lambda
  • API Gateway
  • ECS
  • EKS
  • S3
  • IAM
  • SQL
  • Terraform
  • CI/CD
  • GitLab CI
  • GitHub Actions
  • CloudWatch
  • OpenTelemetry
  • Prometheus
  • Grafana

Похожие вакансии

Engineering Manager, Data & AI
Q-techLeadBarcelonaГибрид
80,000 – 110,000 EUR в год
9 нояб.
Data Engineer Middle (dbt y QA de datos)
Teralco GroupMiddleElx / ElcheГибрид
9 нояб.
Senior Clinical Data Enablement Manager
VeramedSeniorУдалённо
4 нояб.
Clinical Data Ingestion Manager
VeramedMiddleУдалённо
4 нояб.
Senior/Lead Developer - DORA
NordeaSeniorГибрид
29 окт.
Expert Data Engineer in Rating and Limit Management in SD High Risk and SD C&I
NordeaSeniorГибрид
29 окт.
Senior Data Engineer
POLSKI STANDARD PŁATNOŚCI S.A.SeniorWarsawГибрид
8 нояб.
Staff Data Engineer - High-Performance Data Systems
Next Technology Professionals Sp. z o.o.SeniorWarsawУдалённо
30 окт.
Data & AI Engineer | FREELANCER
Amsterdam Data CollectiveMiddleAmsterdamГибрид
5 нояб.
Data engineer bilingüe
NORTHWARE SA DE CVMiddleMonterreyГибрид
4 нояб.