Gateley

Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Первый выделенный Data Engineer в IT-команду юридической и профессиональной группы Gateley. Роль предполагает построение корпоративной платформы данных на Microsoft Fabric: пайплайны, lakehouse/warehouse, master data и golden records для аналитики, отчётности и будущих AI-сценариев.

Задачи

  • Проектировать, строить и поддерживать пайплайны данных на Microsoft Fabric для надёжного приёма и трансформации данных в управляемые переиспользуемые продукты данных
  • Развивать архитектуру данных Fabric: масштабируемые lakehouse, warehouse и структуры в стиле medallion в соответствии со стандартами архитектуры, governance и безопасности
  • Подключать и интегрировать данные из бизнес-приложений, SaaS-платформ, баз данных, файлов и одобренных API
  • Строить batch- и near-real-time интеграции, выбирая подход под бизнес-требование
  • Консолидировать и очищать данные из разных систем, структурируя их для отчётности, аналитики, принятия решений и AI-сценариев
  • Обеспечивать надёжность и поддерживаемость production-сервисов данных: мониторинг, логирование, обработка исключений, data lineage, операционная поддержка
  • Работать с владельцами приложений, поставщиками и внутренними стейкхолдерами по вопросам исходных данных, связности, схем, качества и производительности
  • Поддерживать развитие master и reference data: сопоставление данных, entity resolution, идентификаторы, survivorship и golden-record процессы
  • Превращать требования governance и stewardship в инженерные решения: правила валидации, контроль качества, процессы исправления и workflow
  • Готовить техническую и операционную документацию: определения данных, маппинги, lineage
  • Консультировать по аналитике и Power BI: семантические модели, меры, структура дашбордов, визуализация, доступность и производительность
  • Помогать устанавливать единые определения и доверенные источники данных для отчётных продуктов
  • Конструктивно оспаривать требования, помогая стейкхолдерам выбрать наиболее эффективный формат решения (дашборд, метрика, алерт, workflow и т.п.)
  • Поддерживать развитие Fabric agents и AI-enabled data-сценариев: продукты данных, подходы к grounding, права и контроль доступа
  • Оценивать готовность данных к AI и агентным сценариям с учётом качества, метаданных, прав, семантической согласованности, governance и трассируемости
  • Применять инженерные и DevOps-практики: контроль версий, peer review, автотесты, пайплайны деплоя, разделение сред разработки, тестирования и продакшена
  • Вести решения по data engineering от требования до поставки, балансируя скорость с качеством, безопасностью, надёжностью, масштабируемостью и поддерживаемостью
  • Формировать стандарты и практики развивающейся data-компетенции Gateley, создавать переиспользуемые инженерные паттерны и шаблоны

Требования

  • Сильный практический опыт data engineering: построение и эксплуатация production-пайплайнов, трансформаций и курируемых продуктов данных
  • Практический опыт с Microsoft Fabric или близкими Azure data-сервисами
  • Сильный SQL и практический опыт хотя бы с одним инженерным языком, обычно Python или PySpark
  • Опыт интеграции данных из enterprise-приложений, API, баз данных и файловых источников
  • Понимание lakehouse, warehouse и dimensional modelling, а также семантических моделей и контроля качества данных
  • Опыт DataOps и DevOps: Git/контроль версий, автотесты, пайплайны деплоя, управление средами
  • Опыт проектирования и поставки data-решений с учётом качества, надёжности, безопасности, масштабируемости и поддерживаемости
  • Умение превращать требования governance и stewardship в практические инженерные контроли совместно с владельцами данных и бизнесом
  • Сильные навыки решения проблем и владение технической задачей от требования до поставки
  • Отличные коммуникативные навыки со стейкхолдерами, умение понятно объяснять сложные технические концепции нетехнической аудитории
  • Коллаборативность и уверенность при работе с несколькими командами и бизнес-направлениями

Условия

  • Конкурентное вознаграждение с возможностью получения годового бонуса
  • Обучение и развитие через платформу Learn
  • Гибкий пакет льгот My Flex: дополнительный отпуск и возможность покупки дней, cycle to work, страхование критических заболеваний, программа помощи сотрудникам, групповой пенсионный план, медстрахование, сезонный билет и др.
  • Платформа Perks At Work/Home с розничными льготами и Community Online Academy с бесплатными курсами
  • Гибкие форматы работы для баланса работы и жизни
  • Поддержка, коучинг и обратная связь от коллег, возможности развития и продвижения

Навыки

  • Microsoft Fabric
  • Microsoft Azure
  • SQL
  • Python
  • PySpark
  • Data Factory
  • notebooks
  • lakehouse
  • warehouse
  • Real-Time Intelligence
  • Fabric agents
  • Power BI
  • DAX
  • Microsoft Purview
  • Git
  • DevOps
  • DataOps
  • APIs
  • dimensional modelling
  • master data management
  • entity resolution
  • data governance

Похожие вакансии

Data Engineer
BurberryMiddleLondonОфис
7 нояб.
Data Engineer Tech Lead
WIRE ITLeadPortoУдалённо
6 нояб.
Senior Data Engineer
WIRE ITSeniorPortoГибрид
6 нояб.
Data Platform Engineer (NoSQL & Search)
WIRE ITSeniorLisbonГибрид
5 нояб.
Senior Semantic Data Specialist (all genders)
Almato AGГерманияSeniorШтутгартГибрид
4 нояб.
Principal AI Data Specialist (Forward Deployed Engineering)
Dell TechnologiesГерманияLeadУдалённо
19 нояб.
Principal AI Data Specialist (Forward Deployed Engineering)
Dell Corporation LimitedГерманияLeadУдалённо
19 нояб.
Advisory AI Data Specialist (Forward Deployment Engineering)
Dell TechnologiesГерманияSeniorУдалённо
19 нояб.
Advisory AI Data Specialist (Forward Deployment Engineering)
Dell Corporation LimitedГерманияSeniorУдалённо
19 нояб.
Data Engineer (m/w/d)
HolmanГерманияMiddleШтутгартОфис
19 нояб.