Software Engineer III

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в Walmart (Бентонвилл, США) для работы с большими данными: ETL-пайплайны, обработка данных в облаках Azure и GCP, аналитика на Hive и BigQuery. Роль предполагает руководство небольшими группами инженеров и ведение сложных проектов.

Задачи

• Руководить небольшими группами инженеров (2–3 человека), включая offshore-специалистов, в рамках проектов
• Поддерживать бизнес: отвечать на вопросы пользователей, исследовать и предлагать решения, определять дизайн реализации
• Вести проекты от средних до крупных: переводить требования в технические решения, писать код, проводить unit-тестирование
• Устранять проблемы в продакшене: собирать информацию, проводить root cause analysis, разрабатывать план действий
• Участвовать в discovery-фазе проектов совместно с product management, project management, бизнесом и UX-командами

Требования

• Master’s degree или эквивалент в Computer Science, IT, Engineering или смежной области
• Опыт импорта данных через Sqoop в HDFS в сжатом формате
• Работа с HDFS-командами и форматами Parquet, ORC, Avro, CSV, JSON
• Анализ больших данных с Hive SQL и оптимизация запросов
• Выполнение HDFS и Unix-команд через Shell Script
• Хранение Delta-файлов для Upsert в Azure Blob
• Написание ETL-воркфлоу в GCP compute engine на Python
• Запуск PySpark-джобов в GCP Dataproc
• Трансформации и аналитика на BigQuery SQL
• Создание ноутбуков Azure Databricks
• Использование GCP Secret Manager и Azure Key Vault
• Мониторинг воркфлоу с Apache Airflow

Условия

• Зарплата $90,000–180,000 в год
• Годовые или квартальные performance-бонусы
• Медицинская, стоматологическая и офтальмологическая страховка
• 401(k), покупка акций, страхование жизни за счёт компании
• Оплачиваемый отпуск, больничные, родительские отпуска
• Краткосрочная и долгосрочная нетрудоспособность
• Образовательная поддержка, включая 100% оплату обучения
• Скидки компании

Навыки

• Sqoop
• HDFS
• Parquet
• ORC
• Avro
• CSV
• JSON
• Hive SQL
• Shell Script
• Delta
• Azure Blob
• GCP
• Python
• PySpark
• GCP Dataproc
• BigQuery SQL
• Azure Databricks
• GCP Secret Manager
• Azure Key Vault
• Apache Airflow