Senior Data Engineer - Databricks

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для проектирования и разработки корпоративных data-платформ, сервисов и пайплайнов в Databricks для команды и клиентов. Роль предполагает архитектуру миграций данных и работу с ETL, BI и облачными хранилищами.

Задачи

• Проектировать и руководить миграциями данных в Databricks с фокусом на производительность, надёжность и масштабируемость
• Анализировать и разбираться в ETL-джобах, workflow, data mart, BI-инструментах и отчётах
• Отвечать на технические вопросы по кастомизации, интеграции, корпоративной архитектуре и функциональности data-продуктов
• Работать с решениями БД/хранилищ/витрин в облаке (предпочтительно AWS, альтернативно Azure, GCP)
• Поддерживать Agile-цикл разработки ПО
• Участвовать в развитии практики AI & Data Exploitation

Требования

• Возможность занимать позицию public trust при правительстве США
• 5–7 лет коммерческой разработки ПО
• 5–7 лет опыта в Data Engineering
• Big data инструменты: Databricks, Apache Spark, Delta Lake
• Реляционный SQL (предпочтительно T-SQL, альтернативно pgSQL, MySQL)
• Инструменты пайплайнов и workflow: Databricks Workflows, Airflow, Step Functions
• AWS-сервисы: Databricks on AWS, S3, EC2, RDS (или эквиваленты Azure)
• Скриптовые языки: PySpark/Python, Java, C++, Scala
• Опыт с Data Lakehouse архитектурой и Delta Lake/Apache Iceberg
• Продвинутое знание SQL, написание запросов и оптимизация
• Опыт обработки больших разрозненных датасетов
• Умение разбирать существующие пайплайны и переписывать их в Databricks
• Опыт работы со структурированными и неструктурированными данными
• Опыт архитектуры data-систем (транзакционные и хранилища)
• Опыт SDLC, CI/CD и работы в dev/test/prod окружениях
• Опыт в Agile
• Опыт поддержки команд разработчиков и data scientist'ов

Условия

• Годовая зарплата $125,000–$165,000
• Полный компенсационный пакет Steampunk с бенефитами
• Интервью и ассессменты проходят с включённой камерой

Навыки

• Databricks
• SQL
• PySpark
• Python
• AWS
• Apache Spark
• Delta Lake
• T-SQL
• pgSQL
• MySQL
• Databricks Workflows
• Airflow
• Step Functions
• S3
• EC2
• RDS
• Azure
• GCP
• Java
• C++
• Scala
• Apache Iceberg
• CI/CD
• Unity Catalog
• Informatica EDC
• Collibra
• Alation
• Purview
• DataZone