NTT DATA Global Services Corporation
Databricks Platform & Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior-инженер в Databricks Center of Excellence компании NTT DATA. Совмещает платформенную инженерию, архитектуру и hands-on data engineering для построения и масштабирования enterprise-платформ Databricks у крупных клиентов из регулируемых отраслей.
Задачи
- Проектировать и разворачивать enterprise-платформы Databricks Lakehouse в AWS/Azure
- Настраивать безопасные управляемые окружения через Unity Catalog, RBAC и data lineage
- Определять стандарты платформы, переиспользуемые паттерны и guardrails
- Оптимизировать производительность, стоимость и надёжность платформы для production-нагрузок
- Внедрять CI/CD, продвижение окружений и DevOps-автоматизацию для Databricks
- Внедрять современные возможности Databricks: Unity Catalog, Dataflow, Genie, AI/BI
- Строить и оптимизировать batch- и streaming-пайплайны на Spark и Delta Lake
- Разрабатывать data products и доменные пайплайны в соответствии с data-стратегией
- Вести use case от сбора требований до production-деплоя
- Обеспечивать качество данных, observability и надёжность пайплайнов
- Выступать доверенным советником для стейкхолдеров клиента
- Переводить бизнес-требования в техническую архитектуру и дорожные карты
- Проводить воркшопы и сессии по дизайну решений и adoption платформы
- Участвовать в пресейлах и инновациях для регулируемых отраслей
- Развивать акселераторы, фреймворки и переиспользуемые ассеты CoE
- Менторить junior-инженеров и развивать компетенции CoE
Требования
- 12+ лет опыта в data engineering, platform engineering или data architecture
- 5+ лет hands-on опыта с Databricks в крупных enterprise-окружениях
- Глубокая экспертиза в Apache Spark (Scala/Python)
- Опыт с Delta Lake и архитектурами Lakehouse
- Опыт настройки workspace Databricks, cluster policies и оркестрации задач
- Сильный опыт с облачными платформами (AWS, Azure или GCP)
- Опыт внедрения data governance, security и compliance-контролей
- Подтверждённая способность проектировать и поставлять масштабируемые production-платформы
- Сильные навыки клиентской коммуникации
Условия
- Клиентские консультационные проекты в Databricks Center of Excellence
- Возможны remote или hybrid форматы в зависимости от требований клиента
- Возможно посещение офиса для встреч и мероприятий
- Работа в компании из Global Top Employer с экспертами в 50+ странах
Навыки
- Databricks
- Apache Spark
- Scala
- Python
- Delta Lake
- Lakehouse
- Unity Catalog
- Dataflow
- Genie
- AI/BI
- AWS
- Azure
- GCP
- CI/CD
- DevOps
- Kafka
- Structured Streaming
- MLOps
- Model Serving