Senior Data Engineer - Databricks

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для проектирования и миграции корпоративных data-платформ, сервисов и пайплайнов в Databricks для команды и клиентов. Роль требует сильных навыков коммуникации и работы с данными.

Задачи

• Руководить миграциями данных в Databricks с фокусом на производительность, надёжность и масштабируемость
• Анализировать и разбираться в ETL-джобах, workflow, data mart, BI-инструментах и отчётах
• Отвечать на технические вопросы по кастомизации, интеграции, enterprise-архитектуре и функциональности data-продуктов
• Работать с решениями БД / data warehouse / data mart в облаке (предпочтительно AWS, альтернативно Azure, GCP)
• Поддерживать Agile-цикл разработки ПО
• Участвовать в развитии практики AI & Data Exploitation

Требования

• Возможность занимать должность public trust с правительством США
• 5–7 лет опыта коммерческой разработки ПО
• 5–7 лет прямого опыта в Data Engineering
• Big data инструменты: Databricks, Apache Spark, Delta Lake
• Реляционный SQL (предпочтительно T-SQL, альтернативно pgSQL, MySQL)
• Инструменты пайплайнов и workflow: Databricks Workflows, Airflow, Step Functions
• AWS-сервисы: Databricks on AWS, S3, EC2, RDS (или эквиваленты Azure)
• Скриптовые языки: PySpark/Python, Java, C++, Scala
• Опыт с Data Lakehouse архитектурой и Delta Lake/Apache Iceberg
• Продвинутое знание SQL, написание и оптимизация запросов
• Опыт обработки больших разрозненных датасетов
• Умение разбирать существующие пайплайны и переписывать их в Databricks
• Опыт работы со структурированными и неструктурированными данными
• Опыт проектирования data-систем (транзакционные и хранилища)
• Опыт SDLC, CI/CD и работы в dev/test/prod окружениях
• Опыт работы в Agile
• Опыт поддержки команд разработчиков и data scientist'ов, строящих веб-интерфейсы, дашборды, отчёты и ML-модели
• Приверженность data governance

Условия

• Зарплата $125,000–$165,000 в год
• Полный компенсационный пакет с дополнительными бenefits
• Интервью и ассессменты проходят с включённой камерой

Навыки

• Databricks
• SQL
• PySpark
• Python
• AWS
• Apache Spark
• Delta Lake
• T-SQL
• pgSQL
• MySQL
• Databricks Workflows
• Airflow
• Step Functions
• S3
• EC2
• RDS
• Azure
• GCP
• Java
• C++
• Scala
• Apache Iceberg
• CI/CD
• Unity Catalog
• Informatica EDC
• Collibra
• Alation
• Purview
• DataZone