NTT DATA Services

Databricks Platform & Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в Databricks Center of Excellence: сочетание платформенной инженерии, архитектуры и data engineering для построения и масштабирования enterprise-платформ Databricks у крупных клиентов из регулируемых отраслей. Клиент-ориентированная консалтинговая роль с лидированием внедрения governance и современных возможностей Databricks.

Задачи

  • Проектировать и разворачивать enterprise-платформы Databricks Lakehouse в AWS/Azure
  • Настраивать безопасные управляемые окружения через Unity Catalog, RBAC и data lineage
  • Определять стандарты платформы, переиспользуемые паттерны и guardrails для масштабируемого внедрения
  • Оптимизировать производительность, стоимость и надёжность платформы для production-нагрузок
  • Внедрять CI/CD, продвижение окружений и DevOps-автоматизацию для Databricks
  • Лидировать внедрение Unity Catalog, Dataflow/декларативных пайплайнов, Genie и AI-assisted разработки
  • Включать AI/BI дашборды, model serving и продвинутую аналитику
  • Строить и оптимизировать batch- и streaming-пайплайны на Spark и Delta Lake
  • Разрабатывать data products и доменно-ориентированные пайплайны
  • Вести end-to-end поставку use case от требований до production
  • Обеспечивать качество данных, observability и надёжность пайплайнов
  • Выступать доверенным советником для стейкхолдеров клиента (архитектура, данные, риск, бизнес)
  • Переводить бизнес-требования в техническую архитектуру и дорожные карты
  • Проводить воркшопы, сессии проектирования решений и стратегии внедрения платформы
  • Поддерживать предложения и инновации для клиентов в регулируемых отраслях
  • Развивать акселераторы, фреймворки и переиспользуемые активы CoE
  • Определять best practices, референсные архитектуры и playbook'и
  • Менторить junior-инженеров и развивать компетенции CoE

Требования

  • 12+ лет опыта в data engineering, platform engineering или data architecture
  • 5+ лет практического опыта с Databricks в крупных enterprise-окружениях
  • Глубокая экспертиза в Apache Spark (Scala/Python)
  • Опыт с Delta Lake и архитектурами Lakehouse
  • Опыт настройки Databricks workspace, cluster policies и оркестрации задач
  • Сильный опыт с облачными платформами (AWS, Azure или GCP)
  • Опыт внедрения data governance, безопасности и compliance-контролей
  • Подтверждённая способность проектировать и поставлять масштабируемые production-платформы данных
  • Сильные навыки клиентской коммуникации

Условия

  • Клиент-ориентированная консалтинговая роль в Databricks Center of Excellence
  • Возможны remote или hybrid варианты в зависимости от требований клиента
  • Возможно присутствие в офисе для встреч и мероприятий
  • Локации: Plano TX, Minneapolis MN, Chicago IL, Atlanta GA

Навыки

  • Databricks
  • Apache Spark
  • Scala
  • Python
  • Delta Lake
  • Lakehouse
  • Unity Catalog
  • AWS
  • Azure
  • GCP
  • CI/CD
  • DevOps
  • Dataflow
  • Genie
  • AI/BI
  • Kafka
  • Structured Streaming
  • MLOps
  • Model Serving

Похожие вакансии

Staff Data Platform Engineer
NikoHealthLeadУдалённо
175,000 – 215,000 USD в год
20 нояб.
Senior Data Engineer (Python, Spark, PySpark, AWS)
CVS HealthSeniorУдалённо
83,430 – 203,940 USD в год
20 нояб.
Data Engineer (Python, SQL & Cloud ETL Pipelines)
Axiom PathSeniorCharlotteУдалённо
20 нояб.
Senior Data Platform Engineer - Zonda - Irvine, CA
CoStar GroupSeniorIrvineОфис
128,000 – 190,000 USD в год
20 нояб.
Forward Deployed Engineer
TalentplutoMiddleSan FranciscoГибрид
200,000 – 275,000 USD в год
20 нояб.
Senior Database Developer
CorningSeniorCorningОфис
108,592 – 149,314 USD в год
20 нояб.
Data Platform Engineer II
ALLETEMiddleDuluthГибрид
82,000 – 102,000 USD в год
20 нояб.
Senior Database Developer
CorningSeniorCharlotteОфис
108,592 – 149,314 USD в год
20 нояб.
Forward Deployed Engineer
CleraSeniorNew YorkГибрид
21 нояб.
Forward Deployed Engineer
The Boeing CompanyMiddleRidley ParkУдалённоРелокация
158,950 – 215,050 USD в год
21 нояб.