Senior Data Engineer - Databricks

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для проектирования и миграции корпоративных data-платформ, сервисов и пайплайнов в Databricks совместно с командой и клиентами. Роль требует сильных навыков коммуникации и решения сложных задач в области данных.

Задачи

• Руководить и проектировать миграции данных в Databricks с фокусом на производительность, надёжность и масштабируемость
• Анализировать и разбираться в ETL-джобах, workflow, data mart'ах, BI-инструментах и отчётах
• Отвечать на технические вопросы по кастомизации, интеграции, корпоративной архитектуре и функциональности data-продуктов
• Работать с решениями БД / data warehouse / data mart в облаке (предпочтительно AWS, альтернативно Azure, GCP)
• Поддерживать Agile-процесс разработки
• Вносить вклад в развитие практики AI & Data Exploitation

Требования

• Возможность занимать позицию public trust при работе с правительством США
• 5–7 лет коммерческой разработки ПО
• 5–7 лет опыта в Data Engineering
• Big data инструменты: Databricks, Apache Spark, Delta Lake
• Реляционный SQL (предпочтительно T-SQL, альтернативно pgSQL, MySQL)
• Инструменты пайплайнов и workflow: Databricks Workflows, Airflow, Step Functions
• Облачные сервисы AWS: Databricks on AWS, S3, EC2, RDS (или аналоги Azure)
• Скриптовые языки: PySpark/Python, Java, C++, Scala
• Опыт с Data Lakehouse архитектурой и Delta Lake/Apache Iceberg
• Продвинутое знание SQL, написание и оптимизация запросов
• Опыт обработки больших разрозненных наборов данных
• Умение разбирать существующие пайплайны и переписывать их в Databricks
• Опыт работы со структурированными и неструктурированными данными
• Опыт проектирования data-систем (транзакционные и хранилища)
• Опыт SDLC, CI/CD, работа в dev/test/prod окружениях
• Опыт работы в Agile
• Опыт поддержки команд разработчиков и data scientist'ов, строящих веб-интерфейсы, дашборды, отчёты и ML-модели

Условия

• Работа с командой и клиентами над корпоративными data-платформами
• Участие в развитии практики AI & Data Exploitation

Навыки

• Databricks
• SQL
• PySpark
• Python
• AWS
• Apache Spark
• Delta Lake
• T-SQL
• pgSQL
• MySQL
• Databricks Workflows
• Airflow
• Step Functions
• S3
• EC2
• RDS
• Azure
• GCP
• Java
• C++
• Scala
• Apache Iceberg
• CI/CD
• Unity Catalog
• Informatica EDC
• Collibra
• Alation
• Purview
• DataZone