NTT DATA Services
Databricks Platform & Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior-инженер в Databricks Center of Excellence: сочетание платформенной инженерии, архитектуры и data engineering для построения и масштабирования enterprise-платформ Databricks у крупных клиентов из регулируемых отраслей. Клиент-ориентированная консалтинговая роль с лидированием внедрения governance и современных возможностей Databricks.
Задачи
- Проектировать и разворачивать enterprise-платформы Databricks Lakehouse в AWS/Azure
- Настраивать безопасные управляемые окружения через Unity Catalog, RBAC и data lineage
- Определять стандарты платформы, переиспользуемые паттерны и guardrails для масштабируемого внедрения
- Оптимизировать производительность, стоимость и надёжность платформы для production-нагрузок
- Внедрять CI/CD, продвижение окружений и DevOps-автоматизацию для Databricks
- Лидировать внедрение Unity Catalog, Dataflow/декларативных пайплайнов, Genie и AI-assisted разработки
- Включать AI/BI дашборды, model serving и продвинутую аналитику
- Строить и оптимизировать batch- и streaming-пайплайны на Spark и Delta Lake
- Разрабатывать data products и доменно-ориентированные пайплайны
- Вести end-to-end поставку use case от требований до production
- Обеспечивать качество данных, observability и надёжность пайплайнов
- Выступать доверенным советником для стейкхолдеров клиента (архитектура, данные, риск, бизнес)
- Переводить бизнес-требования в техническую архитектуру и дорожные карты
- Проводить воркшопы, сессии проектирования решений и стратегии внедрения платформы
- Поддерживать предложения и инновации для клиентов в регулируемых отраслях
- Развивать акселераторы, фреймворки и переиспользуемые активы CoE
- Определять best practices, референсные архитектуры и playbook'и
- Менторить junior-инженеров и развивать компетенции CoE
Требования
- 12+ лет опыта в data engineering, platform engineering или data architecture
- 5+ лет практического опыта с Databricks в крупных enterprise-окружениях
- Глубокая экспертиза в Apache Spark (Scala/Python)
- Опыт с Delta Lake и архитектурами Lakehouse
- Опыт настройки Databricks workspace, cluster policies и оркестрации задач
- Сильный опыт с облачными платформами (AWS, Azure или GCP)
- Опыт внедрения data governance, безопасности и compliance-контролей
- Подтверждённая способность проектировать и поставлять масштабируемые production-платформы данных
- Сильные навыки клиентской коммуникации
Условия
- Клиент-ориентированная консалтинговая роль в Databricks Center of Excellence
- Возможны remote или hybrid варианты в зависимости от требований клиента
- Возможно присутствие в офисе для встреч и мероприятий
- Локации: Plano TX, Minneapolis MN, Chicago IL, Atlanta GA
Навыки
- Databricks
- Apache Spark
- Scala
- Python
- Delta Lake
- Lakehouse
- Unity Catalog
- AWS
- Azure
- GCP
- CI/CD
- DevOps
- Dataflow
- Genie
- AI/BI
- Kafka
- Structured Streaming
- MLOps
- Model Serving