Steampunk

Senior Data Engineer - Databricks

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для разработки корпоративных data-платформ, сервисов и пайплайнов в Databricks, включая миграции данных и работу с клиентами.

Задачи

Руководить и проектировать миграции данных в Databricks с фокусом на производительность, надёжность и масштабируемость
Анализировать ETL-джобы, workflow, data marts, BI-инструменты и отчёты
Отвечать на технические вопросы по кастомизации, интеграции, корпоративной архитектуре и функциональности data-продуктов
Работать с решениями БД, хранилищ и витрин данных в облаке (преимущественно AWS)
Поддерживать Agile-цикл разработки ПО
Участвовать в развитии практики AI & Data Exploitation

Возможность занимать позицию public trust при правительстве США
5–7 лет коммерческой разработки ПО
5–7 лет опыта в Data Engineering
Databricks, Apache Spark, Delta Lake
Реляционный SQL (предпочтительно T-SQL, либо pgSQL, MySQL)
Инструменты пайплайнов и workflow: Databricks Workflows, Airflow, Step Functions
AWS: Databricks on AWS, S3, EC2, RDS (или аналоги Azure)
PySpark/Python, Java, C++, Scala
Архитектура Data Lakehouse и Delta Lake/Apache Iceberg
Продвинутое знание SQL, оптимизация запросов
Работа с большими разрозненными наборами данных
Умение разбирать существующие пайплайны и переписывать их в Databricks
Работа со структурированными и неструктурированными данными
Проектирование data-систем (транзакционные и хранилища)
SDLC, CI/CD, окружения dev/test/prod
Опыт в Agile
Поддержка команд разработчиков и data scientists, строящих веб-интерфейсы, дашборды и ML-модели

Знание инструментов каталогизации данных (Informatica EDC, Unity Catalog, Collibra, Alation, Purview, DataZone) будет плюсом
Приверженность data governance