Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в Presight (Абу-Даби) для сквозной поставки данных: от анализа источников и архитектуры до моделирования, пайплайнов и аналитики. Роль сочетает data engineering, архитектурное лидерство и аналитику в мультинациональной команде.

Задачи

• Владеть полным жизненным циклом данных: требования, источники, архитектура, моделирование, пайплайны, качество и поставка аналитически готовых данных
• Определять целевую архитектуру данных, инфраструктуру и интерфейсы к источникам, включая инструменты автоматизированной загрузки
• Проектировать архитектуру lake / warehouse / lakehouse: ingestion, хранение, обработка, serving и потребление с учётом безопасности и комплаенса
• Анализировать исходные системы, разрабатывать концептуальные, логические и физические модели данных, определять гранулярность, факты и измерения, проектировать star и snowflake схемы
• Проектировать, разрабатывать и поддерживать масштабируемые batch и real-time/streaming пайплайны из БД, приложений, файлов и потоков событий
• Строить и эксплуатировать оркестрацию, планирование и автоматизированные фреймворки загрузки с логированием, алертингом, ретраями и мониторингом
• Оптимизировать обработку данных и распределённые вычисления по производительности, стоимости и масштабируемости
• Разрабатывать решения по очистке и интеграции данных, автоматизировать очистку
• Обеспечивать целостность, lineage и качество данных при перемещении между источниками и целями
• Применять лучшие практики software engineering: version control, code review, автотесты, CI/CD для данных
• Внедрять проверки качества данных, правила валидации, сверки и observability по всему пайплайну
• Анализировать данные, выявлять аномалии и определять дорожные карты исправлений
• Устанавливать и развивать стандарты архитектуры и моделирования данных, нейминг, паттерны, документацию, словари данных и метаданные
• Поддерживать модернизацию существующих интеграций и миграцию legacy-решений на целевую платформу
• Совместно с IT и владельцами данных каталогизировать данные и приводить их к целевой архитектуре
• Интерпретировать данные статистическими методами, выявлять тренды и закономерности, готовить отчёты и дашборды для стейкхолдеров
• Строить и поддерживать визуализации данных и self-service отчётность, профилировать данные и валидировать качество
• Совместно с руководством приоритизировать бизнес- и информационные потребности и переводить их в технические решения
• Эффективно коммуницировать в мультикультурных командах, работать в условиях неопределённости и ездить к заказчикам при необходимости
• Соблюдать политики QHSE, непрерывности бизнеса, информационной безопасности, приватности, рисков и комплаенса

Требования

• Минимум 10 лет релевантного опыта в data engineering, архитектуре данных, моделировании данных и анализе данных
• Высшее образование в области IT, Computer Science или смежной области
• Подтверждённый опыт работы data analyst с сильным владением статистическими методами и визуализацией данных
• Опыт поставки enterprise-масштабных пайплайнов и платформ данных в продакшене
• MANDATORY: практический опыт работы со стеком Microsoft Azure (Azure Data Factory, Azure Databricks / Synapse, ADLS Gen2, Azure SQL)
• Продвинутые навыки запросов и манипуляции данными: сложная логика, аналитические функции, оптимизация производительности
• Владение языком программирования для data engineering / анализа данных
• Практический опыт по всему жизненному циклу модели данных с использованием отраслевых инструментов моделирования
• Сильная экспертиза в определении гранулярности, фактов и измерений для star и snowflake схем
• Опыт ETL/ELT, интеграции данных, оркестрации workflow и автоматизации очистки данных
• Опыт распределённой обработки и работы с большими данными
• Знание архитектуры data warehousing и data lake / lakehouse
• Знание статистики и опыт применения статистических методов к наборам данных
• Опыт business intelligence и визуализации данных для self-service отчётности
• Опыт работы с облачными платформами данных: ingestion, хранение, обработка, serving
• Знакомство с version control, CI/CD и практиками data observability / качества данных
• Отличные навыки решения проблем и коммуникации
• Самостоятельность, мотивация, ориентация на результат и клиентоцентричность
• Аналитический склад ума и любознательность
• Устойчивость к неопределённости, гибкость и готовность к командировкам
• Умение работать в команде в мультикультурной среде

Условия

• Открытая, разнообразная и инклюзивная культура с глобальным видением и фокусом на инновации
• Ускорение карьеры через высокоэффективные проекты и доступ к ресурсам для непрерывного роста и обучения
• Конкурентный компенсационный пакет с льготами: медицинское страхование, поддержка образования, отпускные льготы и другое

Навыки

• Azure Data Factory
• Azure Databricks
• Azure Synapse
• ADLS Gen2
• Azure SQL
• Microsoft Azure
• ETL
• ELT
• Data Warehousing
• Data Lake
• Lakehouse
• Star Schema
• Snowflake Schema
• Data Modeling
• Data Architecture
• Big Data
• Distributed Processing
• Streaming
• Batch Processing
• Orchestration
• CI/CD
• Version Control
• Data Quality
• Data Observability
• Business Intelligence
• Data Visualization
• Statistics
• SQL