Bridgenext
Data Platform Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
DataOps-инженер в глобальную digital-консалтинговую компанию. Автоматизация Databricks Jobs/Workflows, DLT и SQL-задач, внедрение и эксплуатация Unity Catalog в масштабе.
Задачи
- Проектировать, создавать и поддерживать Databricks Workflows/Jobs (multi-task графы, ретраи, триггеры, алерты) для batch- и SQL-нагрузок
- Реализовывать CI/CD пайплайны (GitHub Actions/Azure DevOps/GitLab): plan/apply для IaC, валидация job JSON, продвижение по окружениям, апрувы и откаты
- Создавать шаблоны и параметризованные определения джобов с унифицированным логированием, нотификациями и governance
- Автоматизировать провижининг через Terraform (Databricks provider), Databricks SDK (Python/Go) и REST API 2.1 для Jobs, DLT, Repos, SQL Warehouses и Unity Catalog
- Автоматизировать создание каталогов, схем, default locations, owners, грантов, volumes, storage credentials и external locations
- Стандартизировать RBAC через шаблоны Grant-as-Code, интегрировать SCIM-группы и service principals
- Настраивать безопасность и аудит: dynamic views для row/column-level security, теги классификации данных, audit logging, политики токенов, детект и устранение дрейфа прав
- Автоматизировать Delta Sharing: провайдеры, получатели, шары, плановые ревью доступа и сроки действия
- Проводить миграцию Unity Catalog (HMS → UC или multi-workspace → UC): discovery, планирование волн, регистрация таблиц, миграция модели прав, dual-run валидация, cutover и откат
- Определять SLO для успешности пайплайнов, латентности и свежести данных, обеспечивать ≥99% успеха T1 и низкий MTTR
- Внедрять проверки качества данных (DLT expectations, dbt-expectations/GX), идемпотентность, стратегию эволюции схем, checkpointing и replay
- Создавать плейбуки реагирования на инциденты, проводить RCA и превентивные мероприятия
Требования
- 5–8 лет опыта в data engineering, platform engineering или cloud infrastructure
- Сильный практический опыт администрирования Databricks (управление workspace, cluster policies, контроль доступа, оптимизация затрат)
- Знание разработки Databricks workflows (оркестрация джобов, планирование, мониторинг пайплайнов)
- Владение Terraform для infrastructure as code и автоматизированного провижининга
- Опыт работы с AWS cloud services и архитектурой
- Хорошие навыки Python для автоматизации и тулинга
- Понимание практик CI/CD и контроля версий (Git)
- Опыт или знакомство с внедрением Agentic AI решений, Genie spaces и приложений
- Сильные навыки решения проблем и умение работать в коллаборативной быстрой среде
- Отличные коммуникативные навыки на английском
Условия
- Гибкая и инклюзивная культура
- Автономия, ресурсы и возможности для развития
- Удалённая работа
Навыки
- Databricks
- Databricks Workflows
- DLT
- Unity Catalog
- SQL
- CI/CD
- GitHub Actions
- Azure DevOps
- GitLab
- Terraform
- Databricks SDK
- Python
- Go
- REST API
- AWS
- Git
- Delta Sharing
- dbt
- Great Expectations
- Agentic AI
- Genie spaces