DataBricks Data Engineer USA

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для поддержки и оптимизации существующих Databricks-приложений и пайплайнов в продакшене. Фокус на надёжности, производительности и масштабируемости рабочих нагрузок Databricks, а не на создании новых платформ с нуля.

Задачи

• Поддерживать существующие Databricks-приложения, ноутбуки, джобы и пайплайны Delta Lake в продакшене
• Мониторить, диагностировать и устранять проблемы, связанные с падениями джобов, деградацией производительности, качеством данных и использованием кластеров
• Оптимизировать существующие Spark-джобы, SQL-запросы и Delta-таблицы по стоимости, производительности и надёжности
• Управлять конфигурацией рабочего пространства Databricks: кластеры, планирование джобов, контроль доступа, Unity Catalog
• Внедрять и поддерживать проверки качества данных, логирование, алертинг и базовую наблюдаемость для нагрузок Databricks
• Взаимодействовать со стейкхолдерами для уточнения требований к доработкам и исправлениям существующих приложений
• Выполнять инкрементальные улучшения, рефакторинг и снижение технического долга в текущих решениях Databricks
• Обеспечивать соблюдение лучших практик по безопасности, управлению данными и контролю затрат в среде Databricks
• Документировать существующие пайплайны, зависимости и операционные регламенты
• Участвовать в on-call или дежурствах поддержки для обеспечения стабильности продакшена
• Поддержка финансового домена данных

Требования

• 6–9 лет общего опыта в data engineering, сильный практический опыт с Databricks
• Уверенное владение Apache Spark (PySpark и/или Scala) и SQL
• Подтверждённый опыт поддержки и оптимизации продакшен-нагрузок Databricks (джобы, ноутбуки, Delta Lake, workflows)
• Глубокое понимание концепций Delta Lake (ACID-транзакции, time travel, оптимизация: Z-ordering, vacuum, optimize)
• Опыт работы с Job clusters, Interactive clusters и тюнингом производительности (партиционирование, кэширование, оптимизация shuffle, autoscaling)
• Знание моделирования данных, паттернов ETL/ELT и поддержки продакшен-пайплайнов
• Опыт работы с облачными платформами (предпочтительно Azure, AWS или GCP) в контексте Databricks
• Способность самостоятельно диагностировать сложные проблемы Spark и Databricks

Условия

• Удалённая работа в распределённой команде с регулярными синками
• Участие в дежурствах поддержки

Навыки

• Databricks
• Apache Spark
• PySpark
• Scala
• SQL
• Delta Lake
• Unity Catalog
• Databricks SQL
• Lakehouse
• Azure
• AWS
• GCP
• Airflow
• Azure Data Factory
• Databricks Workflows
• CI/CD
• Terraform
• ARM templates
• Git