Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в Steampunk для проектирования и миграции корпоративных data-платформ, сервисов и пайплайнов, а также работы с клиентами над задачами обработки данных.

Задачи

• Руководить и проектировать миграцию data-средств с акцентом на производительность и надёжность
• Анализировать ETL-задачи, workflow, BI-инструменты и отчёты
• Отвечать на технические вопросы по кастомизации, интеграции и корпоративной архитектуре data-продуктов
• Создавать решения для баз данных и хранилищ в облаке (преимущественно AWS)
• Поддерживать Agile-процесс разработки
• Развивать практику Data Exploitation

Требования

• Возможность занимать должность public trust при правительстве США
• 5–7 лет коммерческой разработки ПО
• 5–7 лет опыта в Data Engineering
• Big data инструменты: Hadoop, Spark, Kafka
• Реляционные SQL и NoSQL базы: Postgres, Cassandra
• Инструменты пайплайнов и workflow: Azkaban, Luigi, Airflow
• AWS: EC2, EMR, RDS, Redshift (или аналоги Azure)
• Системы потоковой обработки: Storm, Spark-Streaming
• Поисковые инструменты: Solr, Lucene, Elasticsearch
• Языки: Python, Java, C++, Scala
• Продвинутый SQL и оптимизация запросов
• Опыт с очередями сообщений и потоковой обработкой
• Опыт обработки структурированных и неструктурированных данных
• Опыт моделирования данных и проектирования data-систем
• Опыт работы в Agile
• Опыт поддержки команд разработчиков и data scientists

Условия

• Годовая зарплата $125,000–$165,000
• Полный компенсационный пакет и бенефиты Steampunk
• Собеседования и ассессменты проходят с включённой камерой

Навыки

• Python
• AWS
• Hadoop
• Spark
• Kafka
• Postgres
• Cassandra
• Azkaban
• Luigi
• Airflow
• EC2
• EMR
• RDS
• Redshift
• Storm
• Spark-Streaming
• Solr
• Lucene
• Elasticsearch
• Java
• C++
• Scala
• SQL
• NoSQL
• Azure
• GCP