Databricks Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer для построения и поддержки data-решений на платформе Databricks в Azure, AWS или GCP. Самостоятельно ведёт назначенные пайплайны от разработки до production-поддержки в рамках стандартов команды.

Задачи

• Строить и поддерживать batch- и streaming-пайплайны ETL/ELT из множества источников в Databricks lakehouse на Azure
• Реализовывать загрузку данных через Auto Loader, Lakeflow Connect и Azure Data Factory
• Разрабатывать пайплайны на Lakeflow Spark Declarative Pipelines (ранее Delta Live Tables) с проверками качества данных
• Выполнять преобразования данных на PySpark и Spark SQL для аналитики и отчётности
• Настраивать, планировать и мониторить workflow через Lakeflow Jobs (ранее Databricks Workflows)
• Реализовывать модели данных в lakehouse по medallion-архитектуре (bronze/silver/gold)
• Применять права и стандарты governance Unity Catalog к создаваемым данным
• Писать unit- и data quality тесты, деплоить пайплайны через CI/CD с Git folders и Declarative Automation Bundles
• Мониторить, диагностировать и устранять сбои пайплайнов и проблемы качества данных в production
• Участвовать в code review, вести документацию и инженерные стандарты команды
• Взаимодействовать с бизнес-заказчиками и IT для соответствия решений бизнес-требованиям

Требования

• 6+ лет опыта в data engineering, data & analytics или data warehousing
• 3+ года практического опыта работы с Databricks в роли data engineer
• 3+ года опыта с Python, включая обработку больших данных через PySpark DataFrames, Spark SQL и/или pandas API on Spark
• 2+ года опыта data engineering на Microsoft Azure (ADLS Gen2, Azure Data Factory, Key Vault)
• Действующая сертификация Databricks Certified Data Engineer Associate
• Уверенное владение Python для задач data engineering
• Сильное знание SQL для моделирования, трансформации и запросов
• Знание основ Delta Lake (MERGE, schema evolution, time travel)
• Понимание концепций Unity Catalog: каталоги, схемы, права
• Опыт работы с Git и практиками CI/CD для data-пайплайнов
• Понимание стратегий тестирования и деплоя пайплайнов, включая вывод ETL в production
• Степень бакалавра в computer science, Information Systems, Data Engineering или смежной области либо эквивалентный опыт
• Право на работу в США и проживание на территории США

Условия

• Базовая зарплата $92,250–$120,000 плюс бонусы по результатам
• Медицинская, стоматологическая и офтальмологическая страховка
• Программа помощи сотрудникам
• Пенсионный план 401(k)
• Оплачиваемый отпуск, праздники и дни на обучение
• Удалённая работа в США, рабочие часы по EST
• Полная занятость

Навыки

• Databricks
• Python
• PySpark
• Spark SQL
• SQL
• Delta Lake
• Unity Catalog
• Auto Loader
• Lakeflow Connect
• Azure Data Factory
• ADLS Gen2
• Key Vault
• Lakeflow Spark Declarative Pipelines
• Delta Live Tables
• Lakeflow Jobs
• Databricks Workflows
• Git
• CI/CD
• Declarative Automation Bundles
• Databricks Asset Bundles
• Microsoft Azure
• AWS
• GCP
• pandas API on Spark
• Structured Streaming
• Event Hubs
• Power BI
• medallion architecture