Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в Sedona Digital для стратегического проекта в страховой сфере. Задача — перевести существующие данные и отчётность на контролируемые, переиспользуемые и устойчивые решения в облаке.

Задачи

• Перерабатывать пайплайны загрузки данных из операционных и исходных систем, снижая зависимость от ручных фидов
• Проектировать и реализовывать маппинги данных, lineage, зависимости и контролируемые миграции/cutover
• Разрабатывать и поддерживать процессы сверки данных (reconciliation) для валидации изменений
• Рефакторить и развивать обработку данных на PySpark, иерархии и roll-up, внедряя тестирование, версионирование, метаданные, observability и контроль деплоя
• Работать с бизнес- и техническими экспертами для расширения покрытия данных
• Оценивать варианты пайплайнов в GCP и участвовать во внедрении
• Оценивать возможности получения маппингов и справочных данных напрямую из Microsoft Dynamics 365
• Поддерживать изменения отчётных иерархий и логики фильтрации, включая оценку влияния и тестирование
• Строить и поддерживать автоматические проверки качества данных, мониторинг и операционный контроль
• Готовить техническую документацию, decision records, материалы по сверке и передаче
• Работать по приоритизированному бэклогу короткими итерациями в сотрудничестве с инженерами и стейкхолдерами

Требования

• 5+ лет опыта в Data Engineering или смежных ролях с production-решениями
• Сильный практический опыт с PySpark, SQL и Databricks
• Практический опыт с технологиями и пайплайнами данных GCP
• Опыт тестирования, оптимизации и операционной поддержки пайплайнов данных
• Опыт размерного, мастер/reference и иерархического моделирования данных
• Опыт реализации сложного entity matching, маппингов и roll-up логики с трассируемостью
• Практический опыт автоматических проверок качества данных и сверки
• Опыт с observability, аудитом, контролем версий и CI/CD в data engineering
• Опыт оценки данных исходных систем и документирования data contracts, маппингов, lineage
• Опыт управления контролируемыми переходами пайплайнов или платформ
• Умение расследовать проблемы с данными и объяснять расхождения
• Умение работать напрямую с платформенными командами, аналитиками и бизнес-SME
• Сильные коммуникативные навыки и умение писать краткую техническую документацию
• Самостоятельность и комфорт в совместной итеративной среде

Условия

• Работа в быстрорастущей scale-up компании
• Глобальная клиентская база и высокопроизводительные data-платформы
• Открытая коллаборативная культура
• Инвестиции в обучение и долгосрочную карьеру
• Работа в небольшой продуктовой команде
• Короткие итеративные спринты

Навыки

• PySpark
• SQL
• Databricks
• GCP
• Microsoft Dynamics 365
• Power BI
• Git
• CI/CD
• Data Quality
• Data Lineage
• Metadata Management
• Monitoring
• Observability