Data Platform Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер платформы данных на Databricks в Domino's. Администрирование и поддержка Databricks-воркспейсов, обеспечение стабильности и безопасности платформы, оптимизация производительности и затрат.

Задачи

• Администрировать и поддерживать Databricks workspaces, кластеры, jobs, runtimes, compute policies, SQL Warehouses и конфигурации платформы
• Диагностировать и устранять продакшн-инциденты: нестабильность кластеров, сбои и замедление jobs, узкие места производительности, проблемы с сетью и ресурсами
• Управлять governance и безопасностью Databricks: группы Entra ID/AAD, service principals, права, секреты, Unity Catalog, доступ к воркспейсам
• Оптимизировать производительность и затраты: размеры кластеров, autoscaling, Photon, compute policies, снижение облачных расходов
• Разрабатывать и поддерживать CI/CD, автоматизацию, оркестрацию jobs и Infrastructure-as-Code на Azure DevOps и Terraform
• Взаимодействовать с командами Data Engineering, DataOps, Infrastructure, Security, DBA и вендорами
• Участвовать в incident management, процессах change/release, RCA и непрерывных улучшениях
• Создавать и поддерживать runbooks, документацию и SOP
• Самостоятельно доводить продакшн-проблемы до решения
• Поддерживать администрирование SQL Server и MongoDB при необходимости

Требования

• 5+ лет практического опыта администрирования Azure Databricks и L2/L3 продакшн-поддержки
• Сильный опыт работы с облаком, предпочтительно Azure: сети, хранилища, identity/access, безопасность, мониторинг, интеграция с Databricks
• Опыт устранения сложных продакшн-проблем Databricks: производительность, связность, доступность, jobs, ограничения ресурсов
• Сильные навыки коммуникации, ownership и решения проблем
• Плюсом: опыт администрирования SQL Server и MongoDB
• Возможность работать в офисе 4 дня в неделю в Ann Arbor, MI

Условия

• Оплачиваемые отпуска и праздники
• Медицинская, стоматологическая и оптическая страховка с первого дня
• Бесплатная поддержка психического здоровья для сотрудника и членов семьи
• Скидки на обучение и детский сад
• Бесплатные программы фитнеса, питания и wellness
• Fertility benefits и помощь при усыновлении
• 401k с matching
• Скидка 15% на покупку акций
• Company bonus

Навыки

• Databricks
• Azure
• Entra ID
• AAD
• Unity Catalog
• Photon
• Azure DevOps
• Terraform
• CI/CD
• SQL Server
• MongoDB
• SQL