Senior Data Engineer - Terminal.exe

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в All Your BI для AI-native платформы Terminal.exe, обслуживающей контейнерные терминалы. Задача — строить пайплайны и целевую модель данных, превращающие разрозненные данные терминалов в надёжную основу для операционной отчётности.

Задачи

• Проектировать и строить ELT-пайплайны из локальных баз терминалов в облачную платформу на Azure с near-real-time обновлением (микробатчи по 3 минуты) для операционной отчётности и ежедневными батчами для аналитики
• Разрабатывать multi-tenant архитектуру данных на Azure PostgreSQL с изоляцией database-per-tenant и стандартизированной структурой слоёв STG → ODS → DataMart на базе внутреннего декларативного фреймворка трансформаций (dewi)
• Развивать и расширять внутренний инструментарий коннекторов, написанный на Go
• Настраивать мониторинг качества данных: обнаружение пропусков, алерты по свежести и сверку данных
• Разрабатывать стандартизированную модель данных терминала: маппинг исходных данных разных версий и конфигураций TOS на общие определения перемещений, вызовов и событий оборудования
• Работать напрямую с операционным персоналом терминалов, без промежуточных звеньев

Требования

• 5+ лет опыта в data engineering, включая сквозное владение production-платформами данных
• Готовность принимать архитектурные решения и нести ответственность за них, а не только исполнять задачи
• Уверенный SQL и Python
• Опыт работы с SQL Server как источником и PostgreSQL как целевым хранилищем
• Опыт построения и эксплуатации ELT-пайплайнов к операционным системам-источникам, включая watermark/incremental или CDC/replica-based извлечение
• Опыт работы с event-driven или streaming архитектурами (Azure Event Hubs с Kafka-совместимым endpoint)
• Опыт работы с облачными платформами данных на Azure
• Сильный фокус на корректности данных и инструментировании (OpenTelemetry)

Условия

• Зарплата €85 000–€99 000 в год, включая отпускные, в зависимости от опыта
• €5 000 в год на личное развитие с реальным влиянием на то, как их потратить
• 25 дней отпуска + возможность купить до 10 дополнительных + местные государственные праздники + возможность саббатикала до 4 месяцев
• Две поездки за границу в год всей командой + периодические напитки и командные вылазки
• €500 на обустройство домашнего офиса и хороший ноутбук
• Полностью удалённая работа в пределах Европы
• Статутные льготы (пенсия, здоровье, соцстрахование, отпуск, больничные, notice) по стране найма через локальный контракт или EOR

Навыки

• SQL
• Python
• Go
• SQL Server
• PostgreSQL
• ELT
• Kafka
• Azure Event Hubs
• Azure
• AKS
• Azure DevOps
• CI/CD
• GitOps
• Argo CD
• OpenTelemetry
• Navis N4
• multi-tenant
• CDC
• watermark
• YAML