Software Engineer lll - Senior Databricks/Spark/AWS Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в команду Employee and Experience Technology. Задача — построение и поддержка новых дата-пайплайнов на Databricks-on-AWS lakehouse с использованием PySpark и Delta Lake.

Задачи

• Проектировать, создавать и поддерживать новые дата-пайплайны на Databricks с использованием PySpark, писать production-код и проводить ревью и отладку процессов, реализованных другими
• Оптимизировать и тюнить PySpark-джобы и кластеры Databricks по производительности, масштабируемости и стоимости (партиционирование, кэширование, управление ресурсами)
• Проектировать и внедрять масштабируемые дата-фреймворки для сквозных пайплайнов Databricks под аналитику данных о персонале, применяя медальонные (bronze/silver/gold) паттерны lakehouse
• Внедрять проверки качества и валидации данных с помощью Delta Lake и Delta Live Tables expectations для обеспечения точности и надёжности данных
• Настраивать мониторинг и алертинг для проактивного устранения проблем с загрузкой данных, используя Databricks и AWS CloudWatch для оптимизации производительности и пропускной способности
• Выявлять возможности автоматизации устранения повторяющихся проблем для повышения операционной стабильности с помощью Databricks Workflows и AWS-нативной автоматизации
• Использовать AI и Agentic AI решения для ускорения разработки пайплайнов и AI-ассистентов (Claude, GitHub Copilot) для повышения продуктивности и качества кода
• Предоставлять подготовленные надёжные датасеты BI-партнёрам (Sigma, Tableau, Alteryx) для их отчётности и аналитики
• Работать с бизнес-заказчиками для выявления требований и проектирования решений, готовить архитектурные и проектные артефакты для сложных приложений
• Участвовать в сообществах практик по software engineering, изучать новые и emerging технологии

Требования

• Формальное обучение или сертификация в области software engineering и 3+ года практического опыта в data engineering, включая проектирование, разработку приложений, тестирование и операционную стабильность
• Продвинутый практический опыт работы с Apache Spark (PySpark) для крупномасштабной распределённой обработки данных и уверенное построение и эксплуатация production-пайплайнов на Databricks (Delta Lake, lakehouse-паттерны)
• Сильная экспертиза в экосистеме данных AWS: S3, EMR, Glue, Lambda, Athena, а также сервисы хранения и вычислений AWS; опыт с форматами данных Parquet и Iceberg
• Сильные навыки программирования на Python для обработки данных и разработки приложений (Java или Scala — плюс)
• Владение методами автоматизации и continuous delivery, опыт работы с CI/CD пайплайнами и инструментами Git/Bitbucket, Jenkins или Spinnaker для автоматизированного деплоя и контроля версий
• Практический опыт в системном дизайне, разработке приложений, тестировании и операционной стабильности, продвинутое понимание agile-методологий, отказоустойчивости приложений и безопасности
• Глубокое знание финансовой отрасли и её ИТ-систем
• Уверенные навыки SQL и моделирования данных для эффективного управления и извлечения данных (опыт с реляционными БД, например Oracle — плюс)
• Опыт работы с инструментами планирования, такими как Airflow и Autosys, для автоматизации и управления расписанием задач

Условия

• Конкурентный пакет вознаграждения: базовая зарплата определяется с учётом роли, опыта, навыков и локации
• Для подходящих ролей возможны комиссионные выплаты и/или дискреционная премия в виде денег и/или акций с вестингом
• Комплексное медицинское страхование, центры здоровья и велнеса на территории офиса
• Пенсионный сберегательный план
• Резервный уход за детьми, компенсация обучения, поддержка ментального здоровья, финансовый коучинг и другое
• Равные возможности трудоустройства и политика инклюзии, включая accommodations для религиозных практик и потребностей, связанных с ментальным или физическим здоровьем

Навыки

• Databricks
• Apache Spark
• PySpark
• AWS
• Delta Lake
• Delta Live Tables
• S3
• EMR
• Glue
• Lambda
• Athena
• Parquet
• Iceberg
• Python
• Java
• Scala
• CI/CD
• Git
• Bitbucket
• Jenkins
• Spinnaker
• SQL
• Oracle
• Airflow
• Autosys
• CloudWatch
• Databricks Workflows
• Sigma
• Tableau
• Alteryx
• Claude
• GitHub Copilot
• Generative AI
• Agentic AI