Software Engineer III - AWS, Databricks, Python, Cognos

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в agile-команду Corporate Technology FINTECH в JPMorganChase. Проектирование и построение ETL/ELT-пайплайнов и облачных data-воркфлоу на AWS и Databricks.

Задачи

• Проектировать и строить end-to-end ETL/ELT-пайплайны с нуля на Databricks с использованием PySpark и SQL, включая загрузку, трансформацию и публикацию датасетов
• Разрабатывать и оркестрировать data-воркфлоу на AWS (Lambda, Step Functions, SQS/SNS, API Gateway, Secrets Manager, storage) с обработкой ошибок, ретраями и мониторингом
• Реализовывать оркестрацию и планирование через Apache Airflow / Apache NiFi / Autosys, включая SLA, бэкфиллы, runbook'и и разбор инцидентов
• Строить безопасные повторяемые платформенные и data-access контроли через Terraform и принцип least-privilege, участвовать в ревью доступов и аудите

Требования

• Формальное обучение или сертификация по software engineering и 3+ года практического опыта
• 3+ года опыта с Databricks, PySpark, AWS и создания ETL-пайплайнов с нуля
• 3+ года опыта с AWS (Lambda, Step Functions, SQS, SNS, API Gateway, Secrets Manager, storage)
• 3+ года опыта в software engineering и ООП, экспертиза в Python и Terraform
• Практический опыт с Apache NiFi, Apache Airflow, Autosys
• Понимание разработки REST API на FastAPI или аналогах
• Продвинутый SQL (join'ы, агрегации)

Условия

• Конкурентный пакет вознаграждения: базовая зарплата, возможны комиссионные и дискреционные премии, equity
• Медицинская страховка, центры здоровья и wellness на территории
• Пенсионный сберегательный план
• Резервный уход за детьми, компенсация обучения, поддержка ментального здоровья, финансовый коучинг

Навыки

• AWS
• Databricks
• PySpark
• Python
• SQL
• Terraform
• Lambda
• Step Functions
• SQS
• SNS
• API Gateway
• Secrets Manager
• Apache Airflow
• Apache NiFi
• Autosys
• FastAPI
• REST API
• Jenkins
• Jira
• Git
• Spinnaker
• pytest
• unittest
• Cognos