Gateley
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Первый выделенный Data Engineer в IT-команду юридической и профессиональной группы Gateley. Роль предполагает построение корпоративной платформы данных на Microsoft Fabric: пайплайны, lakehouse/warehouse, master data и golden records для аналитики, отчётности и будущих AI-сценариев.
Задачи
- Проектировать, строить и поддерживать пайплайны данных на Microsoft Fabric для надёжного приёма и трансформации данных в управляемые переиспользуемые продукты данных
- Развивать архитектуру данных Fabric: масштабируемые lakehouse, warehouse и структуры в стиле medallion в соответствии со стандартами архитектуры, governance и безопасности
- Подключать и интегрировать данные из бизнес-приложений, SaaS-платформ, баз данных, файлов и одобренных API
- Строить batch- и near-real-time интеграции, выбирая подход под бизнес-требование
- Консолидировать и очищать данные из разных систем, структурируя их для отчётности, аналитики, принятия решений и AI-сценариев
- Обеспечивать надёжность и поддерживаемость production-сервисов данных: мониторинг, логирование, обработка исключений, data lineage, операционная поддержка
- Работать с владельцами приложений, поставщиками и внутренними стейкхолдерами по вопросам исходных данных, связности, схем, качества и производительности
- Поддерживать развитие master и reference data: сопоставление данных, entity resolution, идентификаторы, survivorship и golden-record процессы
- Превращать требования governance и stewardship в инженерные решения: правила валидации, контроль качества, процессы исправления и workflow
- Готовить техническую и операционную документацию: определения данных, маппинги, lineage
- Консультировать по аналитике и Power BI: семантические модели, меры, структура дашбордов, визуализация, доступность и производительность
- Помогать устанавливать единые определения и доверенные источники данных для отчётных продуктов
- Конструктивно оспаривать требования, помогая стейкхолдерам выбрать наиболее эффективный формат решения (дашборд, метрика, алерт, workflow и т.п.)
- Поддерживать развитие Fabric agents и AI-enabled data-сценариев: продукты данных, подходы к grounding, права и контроль доступа
- Оценивать готовность данных к AI и агентным сценариям с учётом качества, метаданных, прав, семантической согласованности, governance и трассируемости
- Применять инженерные и DevOps-практики: контроль версий, peer review, автотесты, пайплайны деплоя, разделение сред разработки, тестирования и продакшена
- Вести решения по data engineering от требования до поставки, балансируя скорость с качеством, безопасностью, надёжностью, масштабируемостью и поддерживаемостью
- Формировать стандарты и практики развивающейся data-компетенции Gateley, создавать переиспользуемые инженерные паттерны и шаблоны
Требования
- Сильный практический опыт data engineering: построение и эксплуатация production-пайплайнов, трансформаций и курируемых продуктов данных
- Практический опыт с Microsoft Fabric или близкими Azure data-сервисами
- Сильный SQL и практический опыт хотя бы с одним инженерным языком, обычно Python или PySpark
- Опыт интеграции данных из enterprise-приложений, API, баз данных и файловых источников
- Понимание lakehouse, warehouse и dimensional modelling, а также семантических моделей и контроля качества данных
- Опыт DataOps и DevOps: Git/контроль версий, автотесты, пайплайны деплоя, управление средами
- Опыт проектирования и поставки data-решений с учётом качества, надёжности, безопасности, масштабируемости и поддерживаемости
- Умение превращать требования governance и stewardship в практические инженерные контроли совместно с владельцами данных и бизнесом
- Сильные навыки решения проблем и владение технической задачей от требования до поставки
- Отличные коммуникативные навыки со стейкхолдерами, умение понятно объяснять сложные технические концепции нетехнической аудитории
- Коллаборативность и уверенность при работе с несколькими командами и бизнес-направлениями
Условия
- Конкурентное вознаграждение с возможностью получения годового бонуса
- Обучение и развитие через платформу Learn
- Гибкий пакет льгот My Flex: дополнительный отпуск и возможность покупки дней, cycle to work, страхование критических заболеваний, программа помощи сотрудникам, групповой пенсионный план, медстрахование, сезонный билет и др.
- Платформа Perks At Work/Home с розничными льготами и Community Online Academy с бесплатными курсами
- Гибкие форматы работы для баланса работы и жизни
- Поддержка, коучинг и обратная связь от коллег, возможности развития и продвижения
Навыки
- Microsoft Fabric
- Microsoft Azure
- SQL
- Python
- PySpark
- Data Factory
- notebooks
- lakehouse
- warehouse
- Real-Time Intelligence
- Fabric agents
- Power BI
- DAX
- Microsoft Purview
- Git
- DevOps
- DataOps
- APIs
- dimensional modelling
- master data management
- entity resolution
- data governance