Bridgenext

Data Platform Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

DataOps-инженер в глобальную digital-консалтинговую компанию. Автоматизация Databricks Jobs/Workflows, DLT и SQL-задач, внедрение и эксплуатация Unity Catalog в масштабе.

Задачи

  • Проектировать, создавать и поддерживать Databricks Workflows/Jobs (multi-task графы, ретраи, триггеры, алерты) для batch- и SQL-нагрузок
  • Реализовывать CI/CD пайплайны (GitHub Actions/Azure DevOps/GitLab): plan/apply для IaC, валидация job JSON, продвижение по окружениям, апрувы и откаты
  • Создавать шаблоны и параметризованные определения джобов с унифицированным логированием, нотификациями и governance
  • Автоматизировать провижининг через Terraform (Databricks provider), Databricks SDK (Python/Go) и REST API 2.1 для Jobs, DLT, Repos, SQL Warehouses и Unity Catalog
  • Автоматизировать создание каталогов, схем, default locations, owners, грантов, volumes, storage credentials и external locations
  • Стандартизировать RBAC через шаблоны Grant-as-Code, интегрировать SCIM-группы и service principals
  • Настраивать безопасность и аудит: dynamic views для row/column-level security, теги классификации данных, audit logging, политики токенов, детект и устранение дрейфа прав
  • Автоматизировать Delta Sharing: провайдеры, получатели, шары, плановые ревью доступа и сроки действия
  • Проводить миграцию Unity Catalog (HMS → UC или multi-workspace → UC): discovery, планирование волн, регистрация таблиц, миграция модели прав, dual-run валидация, cutover и откат
  • Определять SLO для успешности пайплайнов, латентности и свежести данных, обеспечивать ≥99% успеха T1 и низкий MTTR
  • Внедрять проверки качества данных (DLT expectations, dbt-expectations/GX), идемпотентность, стратегию эволюции схем, checkpointing и replay
  • Создавать плейбуки реагирования на инциденты, проводить RCA и превентивные мероприятия

Требования

  • 5–8 лет опыта в data engineering, platform engineering или cloud infrastructure
  • Сильный практический опыт администрирования Databricks (управление workspace, cluster policies, контроль доступа, оптимизация затрат)
  • Знание разработки Databricks workflows (оркестрация джобов, планирование, мониторинг пайплайнов)
  • Владение Terraform для infrastructure as code и автоматизированного провижининга
  • Опыт работы с AWS cloud services и архитектурой
  • Хорошие навыки Python для автоматизации и тулинга
  • Понимание практик CI/CD и контроля версий (Git)
  • Опыт или знакомство с внедрением Agentic AI решений, Genie spaces и приложений
  • Сильные навыки решения проблем и умение работать в коллаборативной быстрой среде
  • Отличные коммуникативные навыки на английском

Условия

  • Гибкая и инклюзивная культура
  • Автономия, ресурсы и возможности для развития
  • Удалённая работа

Навыки

  • Databricks
  • Databricks Workflows
  • DLT
  • Unity Catalog
  • SQL
  • CI/CD
  • GitHub Actions
  • Azure DevOps
  • GitLab
  • Terraform
  • Databricks SDK
  • Python
  • Go
  • REST API
  • AWS
  • Git
  • Delta Sharing
  • dbt
  • Great Expectations
  • Agentic AI
  • Genie spaces

Похожие вакансии

Clinical Data Enablement Manager
VeramedMiddleУдалённо
4 нояб.
Clinical Data Ingestion Manager
VeramedMiddleУдалённо
4 нояб.
Data Engineer
MorningMiddleTel AvivГибрид
19 нояб.
Senior AI & Data Platform Engineer (NAM Portugal)
NordeaSeniorГибрид
2 нояб.
Delivery Engineer, Data, EMEA
HilbertLeadBarcelonaГибрид
30 окт.
INŻYNIER/KA DANYCH / ETL DEVELOPER
Poczta Polska Spółka AkcyjnaMiddleWarsawОфис
27 окт.
Data Engineer Consultant for EU projects | Poland
Deloitte CEMiddleWarsawОфис
7 нояб.
Ab Initio Developer (K/M)
NeontriSeniorWrocławУдалённо
135 – 155 PLN в час
29 окт.
Senior Data Engineer (M/F/D)
Velux DanmarkSeniorWarsawГибрид
6 нояб.
Senior Databricks Engineer
Deloitte CESeniorGdanskОфис
7 нояб.