Alongside
Senior Data Engineer | Real-Time & Streaming
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior Data Engineer в проект клиента из финансового сектора. Проектирование и эксплуатация real-time data-продуктов на enterprise-платформе: от приёма событий и потоковой обработки до API и сервисов для потребителей.
Задачи
- Проектировать и реализовывать end-to-end потоковые data-продукты на Apache Flink, Apache Kafka и event-driven архитектурах
- Разрабатывать stateful stream-processing приложения: windowing, event-time, watermarks, checkpointing, гарантии exactly-once
- Строить и поддерживать отказоустойчивые пайплайны приёма, трансформации и доставки для real-time и batch нагрузок
- Управлять Kafka-топиками, партиционированием, consumer groups, схемами и их эволюцией
- Проектировать и разрабатывать REST API, потоковые интерфейсы и микросервисы с контрактами, версионированием, аутентификацией и rate limiting
- Разворачивать и эксплуатировать сервисы в AWS с Infrastructure as Code на Terraform
- Встраивать контроль качества данных, автотесты, observability и алертинг на всём жизненном цикле
- Развивать CI/CD пайплайны: автоматический деплой, rollback, безопасные релизы
- Мониторить продакшн-сервисы по SLA, разбирать инциденты, оптимизировать latency, throughput, надёжность и стоимость
- Применять security best practices: аутентификация, авторизация, шифрование, управление секретами, least-privilege
- Переводить бизнес-требования в технические дизайны, оспаривать допущения и предлагать практичные решения
- Ревьюить код и дизайны, менторить инженеров, развивать инженерные стандарты и документацию
Требования
- 7+ лет опыта в data engineering, из них минимум 3 года построения и эксплуатации real-time/streaming систем в продакшне
- Сильный практический опыт с Apache Flink в продакшне, включая DataStream API и Flink SQL
- Сильные навыки Java; опыт с Python/PyFlink или Scala приветствуется
- Опыт с Apache Kafka, event-driven архитектурами и управлением схемами через Avro и Schema Registry
- Опыт построения API и микросервисов на REST и OpenAPI
- Сильный опыт с AWS: MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS/EKS, S3, IAM
- Сильные навыки SQL и data modelling для streaming и batch нагрузок
- Опыт с CI/CD (GitLab CI или GitHub Actions) и автотестами: unit, integration, contract, load
- Опыт с observability-инструментами: CloudWatch, OpenTelemetry, Prometheus, Grafana
- Свободное владение английским языком (письменным и устным)
Условия
- Работа над production-grade real-time data-продуктами в финансовом секторе
- End-to-end ответственность за потоковые пайплайны, API и продакшн-эксплуатацию
- Сотрудничество с platform-инженерами, product owner'ами и бизнес-стейкхолдерами
- Возможность влиять на технические решения, улучшать инженерные практики и менторить инженеров
- Гибридный формат работы в Порту
Навыки
- Apache Flink
- Apache Kafka
- Java
- Python
- PyFlink
- Scala
- Avro
- Schema Registry
- REST
- OpenAPI
- AWS
- MSK
- Kinesis
- Managed Service for Apache Flink
- Lambda
- API Gateway
- ECS
- EKS
- S3
- IAM
- SQL
- Terraform
- CI/CD
- GitLab CI
- GitHub Actions
- CloudWatch
- OpenTelemetry
- Prometheus
- Grafana