Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в Steampunk для разработки enterprise-платформ данных, сервисов и пайплайнов для команды и клиентов. Роль требует архитектурной миграции данных, работы с ETL, BI и облачными хранилищами.

Задачи

• Руководить и проектировать миграцию сред данных с акцентом на производительность и надёжность
• Анализировать ETL-джобы, workflow, BI-инструменты и отчёты
• Отвечать на технические запросы по кастомизации, интеграции, enterprise-архитектуре и функциональности data-продуктов
• Создавать решения для баз данных и хранилищ в облаке (предпочтительно AWS, альтернативно Azure, GCP)
• Поддерживать Agile-цикл разработки ПО
• Развивать практику Data Exploitation

Требования

• Возможность занимать позицию public trust при правительстве США
• 2–4 года опыта работы с MS SQL Server и SSIS для построения ETL-пайплайнов
• 2–4 года коммерческой разработки ПО
• 2–4 года опыта в Data Engineering с инструментами: Hadoop, Spark, Kafka
• Опыт с реляционными SQL и NoSQL базами, включая Postgres и Cassandra
• Опыт с инструментами пайплайнов и workflow: Azkaban, Luigi, Airflow
• Опыт с AWS: EC2, EMR, RDS, Redshift (или аналоги Azure)
• Опыт с системами потоковой обработки: Storm, Spark-Streaming
• Опыт с поисковыми инструментами: Solr, Lucene, Elasticsearch
• Опыт скриптовых языков: Python, Java, C++, Scala
• Продвинутое знание SQL, написание и оптимизация запросов
• Опыт с очередями сообщений, потоковой обработкой и масштабируемыми big data хранилищами
• Опыт обработки и извлечения ценности из больших разрозненных датасетов
• Опыт работы со структурированными и неструктурированными данными
• Опыт построения сложных запросов для анализа
• Опыт с инструментами и процессами моделирования данных
• Опыт проектирования систем данных (транзакционных и хранилищ)
• Опыт агрегации результатов и подготовки отчётности из нескольких датасетов
• Опыт работы в Agile
• Опыт поддержки команд разработчиков и data scientists, строящих веб-интерфейсы, дашборды, отчёты и ML-модели

Условия

• Компенсация $110,000–$160,000 в год
• Полный компенсационный пакет с дополнительными бenefits
• Интервью и ассессменты проходят с включённой камерой
• Равные возможности для всех кандидатов
• Участие в E-Verify

Навыки

• MS SQL Server
• SSIS
• ETL
• Hadoop
• Spark
• Kafka
• Postgres
• Cassandra
• Azkaban
• Luigi
• Airflow
• AWS
• EC2
• EMR
• RDS
• Redshift
• Azure
• GCP
• Storm
• Spark-Streaming
• Solr
• Lucene
• Elasticsearch
• Python
• Java
• C++
• Scala
• SQL
• NoSQL
• BI