Lead Software Engineer - Data Engineering | Data Technology

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Ведущий инженер по данным в команде Data Products подразделения Consumer & Community Banking. Отвечает за проектирование и оптимизацию крупномасштабных ETL-пайплайнов, облачные решения на AWS и современные data lake архитектуры.

Задачи

• Проектировать, разрабатывать и оптимизировать крупномасштабные ETL-пайплайны
• Создавать качественные Python-приложения с модульным кодом, переиспользуемыми компонентами, логированием и автотестами
• Разрабатывать и поддерживать решения распределённой обработки данных на PySpark
• Проектировать и проводить крупномасштабное end-to-end тестирование и валидацию
• Внедрять и поддерживать оркестрацию workflow с помощью Control-M или Apache Airflow (MWAA)
• Разрабатывать cloud-native решения на сервисах AWS: Glue, Athena, Lambda, CloudWatch
• Проектировать и управлять современными data lake архитектурами на Iceberg и/или Delta Lake
• Администрировать и оптимизировать окружения Snowflake: streams, tasks, roles, warehouses
• Участвовать в code review и продвигать инженерные практики, стандарты тестирования и CI/CD
• Использовать одобренные AI-инструменты разработки с соблюдением требований безопасности и комплаенса

Требования

• Формальное обучение или сертификация по software engineering и 5+ лет практического опыта с фокусом на data engineering
• Опыт разработки, отладки и поддержки кода в крупной корпоративной среде на Python (основной) и Java (дополнительно)
• Практический опыт с PySpark или другими фреймворками распределённой обработки данных
• Сильная экспертиза в DBT и современных практиках разработки ETL
• Опыт работы с платформами оркестрации workflow: Control-M или Apache Airflow (MWAA)
• Экспертиза в AWS data services: Glue, Athena, CloudWatch, Lambda
• Знание современных open table форматов: Iceberg и/или Delta Lake
• Опыт администрирования и разработки в Snowflake
• Сильные навыки SQL и опыт с современными базами данных
• Продвижение в команде одобренных AI-практик разработки для повышения качества кода и скорости доставки
• Применение инструментов SDLC, включая одобренные AI-инструменты разработки и автоматизации

Условия

• Конкурентный пакет вознаграждения: базовая зарплата в зависимости от роли, опыта, навыков и локации
• Возможны комиссионные выплаты и/или дискреционная премия в виде денег и/или акций
• Комплексное медицинское страхование
• Онсайт-центры здоровья и велнеса
• Пенсионный сберегательный план
• Резервный уход за детьми
• Компенсация обучения
• Поддержка психического здоровья
• Финансовый коучинг

Навыки

• Python
• Java
• PySpark
• ETL
• DBT
• Control-M
• Apache Airflow
• MWAA
• AWS
• Glue
• Athena
• Lambda
• CloudWatch
• Iceberg
• Delta Lake
• Snowflake
• SQL
• CI/CD
• Kafka
• Flink
• LLM
• prompt engineering
• vector search
• GitHub Copilot
• Claude