Sr Data Engineer - Data Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в департамент Data Science & Insights компании D&H. Задача — строить и развивать корпоративную data-платформу нового поколения на Databricks и SAP, обеспечивая масштабируемые production-пайплайны для аналитики и AI.

Задачи

• Проектировать, разрабатывать, тестировать, разворачивать и поддерживать масштабируемые data-пайплайны в SAP, Databricks и связанных облачных и корпоративных средах
• Разрабатывать production-нагрузки для ingestion и трансформации на SQL и распределённых технологиях обработки данных
• Применять переиспользуемые инженерные паттерны для оркестрации, качества данных, наблюдаемости, мониторинга, обработки ошибок и восстановления
• Взаимодействовать с командами SAP, Data Platform, Infrastructure, Security, Architecture, Analytics и бизнесом для поставки надёжных end-to-end data-решений
• Участвовать в реализации паттернов lakehouse и medallion-архитектуры и разработке управляемых переиспользуемых data-продуктов
• Оптимизировать нагрузки по производительности, масштабируемости, надёжности, поддерживаемости и стоимости
• Соблюдать инженерные практики: контроль версий, автотесты, CI/CD, деплой, документация, продвижение по средам
• Поддерживать миграцию с legacy EDW/ETL платформ на современные облачные архитектуры с проверкой полноты и целостности данных
• Поставлять доверенные и сертифицированные датасеты для отчётности, аналитики, планирования и AI-сценариев
• Участвовать в design review, траблшутинге, production-поддержке, передаче знаний и улучшении стандартов команды
• Развивать компетенции в интегрированной платформе SAP и Databricks через проектную работу, менторство и обучение

Требования

• 8+ лет прогрессивного опыта в data engineering, интеграции данных, ETL/ELT или разработке корпоративных data-платформ
• Степень бакалавра в Computer Science, Data Engineering, Information Systems или смежной области либо эквивалентный опыт
• Сильный практический опыт либо в современном Databricks/Spark data engineering, либо в SAP enterprise data engineering
• Продвинутый SQL и знание моделирования данных и масштабируемых паттернов трансформации
• Опыт построения и поддержки production-пайплайнов: оркестрация, мониторинг, качество данных, обработка ошибок, восстановление, оптимизация производительности
• Опыт работы с облачными или распределёнными data-архитектурами
• Умение переводить бизнес- и технические требования в масштабируемые поддерживаемые решения
• Сильные навыки решения проблем, коллаборации, документации и коммуникации
• Способность работать в среде модернизации с меняющимися технологиями и практиками

Условия

• Employee Stock Ownership Plan
• 401k
• Оплачиваемый отпуск
• Медицинская страховка, стоматология и зрение
• Компенсация спортзала
• Компенсация работы из дома
• Employee Purchase Program
• Оплата обучения
• Скидки на сервисы для Co-Owner
• Культура сотрудничества и вовлечённости

Навыки

• Databricks
• Apache Spark
• PySpark
• Spark SQL
• DataFrames
• Delta Lake
• Unity Catalog
• Databricks Workflows
• Lakeflow
• Delta Live Tables
• Databricks SQL
• SQL
• SAP Datasphere
• SAP HANA
• SAP BW/4HANA
• SAP S/4HANA
• CDS Views
• SAP ODP
• ODATA
• Microsoft Azure
• Git
• CI/CD
• Apache Kafka
• Power BI
• Tableau
• Cognos
• SAP Analytics Cloud
• DataOps
• DevOps