Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в доменную команду Data Product Design & Delivery. Проектирование и поставка end-to-end data-продуктов, миграция с Synapse Analytics на Databricks, обеспечение качества, безопасности и производительности данных.

Задачи

• Проектировать и поставлять end-to-end data-продукты для бизнес-доменов на слоях bronze, silver и gold, включая dimensional и semantic модели для отчётности и AI
• Строить надёжный ingestion из корпоративных систем (Oracle Fusion, Hyperion, CMiC, SharePoint, Power Platform) с использованием CDC, инкрементальных и API-паттернов
• Вести workstreams в рамках миграции с Synapse Analytics на Databricks: переработка пайплайнов, параллельные загрузки, сверка результатов, подготовка к cutover
• Разрабатывать переиспользуемые фреймворки, шаблоны и паттерны, предлагать улучшения стандартов
• Внедрять фреймворки качества данных, мониторинг и сверку, доводить проблемы до решения на источнике
• Настраивать контроль доступа, lineage, классификацию и правила обработки данных в Unity Catalog и Microsoft Purview
• Оптимизировать Spark и SQL-нагрузки по производительности и стоимости
• Обеспечивать операционное здоровье доменов: мониторинг, алертинг, incident response, root-cause fixes
• Применять CI/CD, автоматизированное тестирование и DataOps-практики с Git и Azure DevOps
• Строить AI-ready data-продукты — feature tables, документные и векторные пайплайны — для ML, RAG и агентных сценариев
• Поставлять Power BI semantic models и сертифицированные датасеты совместно с Data Analyst
• Применять AI-assisted engineering с должным человеческим контролем и помогать команде безопасно его осваивать
• Переводить требования стейкхолдеров из финансов, проектов и операций в технические дизайны
• Менторить Data Engineers через pairing, design reviews и code review

Требования

• 5+ лет практического опыта в data engineering, из них минимум 2 года с Databricks, Apache Spark и Delta Lake в продакшене
• Опыт проектирования и поставки end-to-end data-продуктов от ingestion до смоделированных данных
• Опыт интеграции сложных корпоративных источников (Oracle Fusion, SAP, Microsoft Dynamics, CMiC), включая инкрементальную и API-экстракцию
• Практический опыт внедрения качества данных и контроля доступа с Unity Catalog, Microsoft Purview или аналогами
• Сильный SQL, Python и PySpark, CI/CD на базе Git (Azure DevOps или аналог)
• Отличные навыки письменной и устной коммуникации с технической и бизнес-аудиторией
• Сертификация Databricks Certified Data Engineer Associate или Microsoft DP-750 в течение 6 месяцев
• Сертификация Databricks Certified Data Engineer Professional в течение 12 месяцев

Условия

• Желательны сертификации: Databricks Certified Generative AI Engineer Associate, Microsoft DP-700, DP-600, DP-203

Навыки

• Databricks
• Apache Spark
• PySpark
• Delta Lake
• SQL
• Python
• Unity Catalog
• Microsoft Purview
• Azure DevOps
• Git
• Power BI
• Oracle Fusion
• Hyperion
• CMiC
• SharePoint
• Power Platform
• Synapse Analytics
• CI/CD
• DataOps
• RAG