Senior Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер для end-to-end технического лидерства в проектировании, разработке и поддержке enterprise-решений обработки данных для платформы Incentive Compensation Management (ICM). Требуется глубокая экспертиза в Hadoop, ETL и распределённых системах.

Задачи

• Архитектура, проектирование и разработка масштабируемых решений на Hadoop и ETL для бизнес-процессов Incentive Compensation
• Техническое руководство и governance на всём жизненном цикле разработки: анализ требований, дизайн, разработка, тестирование, деплой и поддержка
• Перевод сложных бизнес-требований в масштабируемые технические решения с использованием новых технологий
• Разработка high-level и детальных дизайнов в соответствии с enterprise-архитектурой данных, стандартами безопасности и требованиями к производительности
• Роль SME по Hadoop, ETL и смежным data-технологиям, наставничество и техническое сопровождение команд onshore и offshore
• Поддержка разрешения production-инцидентов, root cause analysis и внедрение превентивных мер
• Сотрудничество с командами Information Architecture, Infrastructure, Security и Application Support по стратегическим data-решениям и модернизации
• Обеспечение команд возможностями CI/CD и работа с заинтересованными сторонами по эффективной работе CI-CD pipeline
• Руководство командой по дизайну и best practices для высокой производительности кода (pairing, code review)
• End-to-end поставка сложных фич, включая автоматизацию, на уровне программы
• Работа со стейкхолдерами по определению потребностей решения и с архитекторами по техническим требованиям

Требования

• 10+ лет опыта разработки ETL-решений с любым ETL-инструментом, например Informatica
• 10+ лет опыта разработки приложений на Hadoop, Spark, Impala, Hive и Python
• 10+ лет опыта эксплуатации и troubleshooting ETL и Cloudera Hadoop Ecosystem: Hadoop FS, Hive, Impala, Spark, Kafka, Hue, Oozie, Yarn, Sqoop, Flume
• Опыт Autosys JIL scripting
• Уверенные навыки скриптинга: Unix shell и Perl
• Знание troubleshooting проблем, связанных с данными
• Опыт обработки больших объёмов структурированных и неструктурированных данных с MapReduce
• Опыт SQL и реляционных БД для разработки приложений извлечения данных
• Опыт работы с технологиями перемещения и трансформации данных

Условия

• Диапазон оплаты $122,000.00 - $200,000.00 в год, оффер определяется по опыту, образованию и навыкам
• Право на участие в annual discretionary plan
• Конкурентные benefits и оплачиваемый отпуск
• Офисная культура с гибкостью в зависимости от роли и бизнес-потребностей
• 40 часов в неделю, 1-я смена (США)

Навыки

• Hadoop
• Spark
• Impala
• Hive
• Python
• ETL
• Informatica
• Kafka
• Hue
• Oozie
• Yarn
• Sqoop
• Flume
• Autosys JIL
• Unix shell
• Perl
• MapReduce
• SQL
• Relational Database
• Cloudera
• CI/CD