Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в Steampunk для разработки enterprise-платформ данных, сервисов и пайплайнов, а также работы с клиентами над миграцией и архитектурой данных.

Задачи

• Проектировать и руководить миграцией сред данных с фокусом на производительность и надёжность
• Анализировать ETL-задачи, workflow, BI-инструменты и отчёты
• Отвечать на технические вопросы по кастомизации, интеграции и корпоративной архитектуре
• Строить решения для баз данных и хранилищ в облаке (AWS, Azure или GCP)
• Поддерживать Agile-процесс разработки
• Развивать практику Data Exploitation

Требования

• Возможность получить статус public trust у правительства США
• 2–4 года опыта с MS SQL Server и SSIS для построения ETL-пайплайнов
• 2–4 года опыта коммерческой разработки ПО
• 2–4 года опыта в Data Engineering с инструментами big data (Hadoop, Spark, Kafka)
• Опыт с реляционными SQL и NoSQL базами (Postgres, Cassandra)
• Опыт с инструментами пайплайнов и workflow (Azkaban, Luigi, Airflow)
• Опыт с AWS (EC2, EMR, RDS, Redshift) или аналогами Azure
• Опыт с системами потоковой обработки (Storm, Spark-Streaming)
• Опыт с поисковыми инструментами (Solr, Lucene, Elasticsearch)
• Опыт со скриптовыми языками (Python, Java, C++, Scala)
• Продвинутое знание SQL, оптимизация запросов
• Опыт с очередями сообщений и потоковой обработкой
• Опыт работы с большими разрозненными наборами данных
• Опыт обработки структурированных и неструктурированных данных
• Опыт построения сложных запросов для анализа
• Опыт с инструментами и процессами моделирования данных
• Опыт проектирования систем данных (транзакционных и хранилищ)
• Опыт агрегации данных и подготовки отчётности из нескольких источников
• Опыт работы в Agile
• Опыт поддержки команд разработчиков и data scientists

Условия

• Годовая зарплата $110,000–$160,000
• Полный компенсационный пакет с бенефитами
• Работа в федеральном контрактинге (Homeland, Federal Civilian, Health, DoD)
• Интервью и ассессменты проходят с включённой камерой

Навыки

• MS SQL Server
• SSIS
• ETL
• Python
• Java
• C++
• Scala
• Hadoop
• Spark
• Kafka
• Postgres
• Cassandra
• Azkaban
• Luigi
• Airflow
• AWS
• EC2
• EMR
• RDS
• Redshift
• Azure
• GCP
• Storm
• Spark-Streaming
• Solr
• Lucene
• Elasticsearch
• SQL
• NoSQL
• BI