Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в федеральную IT-компанию Steampunk для разработки enterprise-платформ данных, сервисов и пайплайнов, миграции данных и работы с клиентами.

Задачи

• Проектировать и руководить миграцией сред данных с обеспечением производительности и надёжности
• Анализировать ETL-задачи, workflow, BI-инструменты и отчёты
• Отвечать на технические вопросы по кастомизации, интеграции и архитектуре данных
• Строить решения для баз данных и хранилищ в облаке (AWS, Azure, GCP)
• Участвовать в Agile-цикле разработки
• Развивать практику Data Exploitation

Требования

• Возможность получить статус public trust у правительства США
• 2–4 года коммерческой разработки ПО
• 2–4 года опыта в Data Engineering
• Big data: Hadoop, Spark, Kafka
• Реляционные SQL и NoSQL БД, включая Postgres и Cassandra
• Инструменты пайплайнов и workflow: Azkaban, Luigi, Airflow
• AWS: EC2, EMR, RDS, Redshift (или аналоги Azure)
• Стриминг данных: Storm, Spark-Streaming
• Поисковые инструменты: Solr, Lucene, Elasticsearch
• Python, Java, C++, Scala
• Продвинутый SQL и оптимизация запросов
• Опыт с очередями сообщений и потоковой обработкой
• Опыт работы с большими разрозненными наборами данных
• Опыт моделирования и архитектуры данных (транзакционные и хранилища)
• Опыт в Agile
• Опыт поддержки команд разработчиков и data scientists

Условия

• Зарплата $110,000–$160,000 в год
• Полный компенсационный пакет и бenefits
• Интервью и ассессменты с включённой камерой
• Равные возможности трудоустройства, участие в E-Verify

Навыки

• Python
• AWS
• Hadoop
• Spark
• Kafka
• Postgres
• Cassandra
• Azkaban
• Luigi
• Airflow
• EC2
• EMR
• RDS
• Redshift
• Storm
• Spark-Streaming
• Solr
• Lucene
• Elasticsearch
• Java
• C++
• Scala
• SQL
• NoSQL
• Azure
• GCP