Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer для разработки корпоративных data-платформ, сервисов и пайплайнов совместно с командой и клиентами. Требуется технолог с сильными навыками коммуникации и страстью к работе с данными.

Задачи

• Проектировать и руководить миграцией data-окружений с обеспечением производительности и надёжности
• Анализировать и разбираться в ETL-джобах, workflow, BI-инструментах и отчётах
• Отвечать на технические вопросы по кастомизации, интеграции, корпоративной архитектуре и функциональности data-продуктов
• Строить решения для баз данных и хранилищ в облаке (предпочтительно AWS, альтернативно Azure, GCP)
• Поддерживать Agile-процесс разработки
• Участвовать в развитии практики Data Exploitation

Требования

• Возможность занимать должность с допуском к работе с правительством США (public trust)
• 2–4 года опыта работы с MS SQL Server и SSIS для построения ETL-пайплайнов
• 2–4 года опыта коммерческой разработки ПО
• 2–4 года опыта в Data Engineering с инструментами big data (Hadoop, Spark, Kafka и др.)
• Опыт с реляционными SQL и NoSQL базами, включая Postgres и Cassandra
• Опыт с инструментами управления пайплайнами и workflow (Azkaban, Luigi, Airflow и др.)
• Опыт с облачными сервисами AWS (EC2, EMR, RDS, Redshift) или аналогами Azure
• Опыт с системами потоковой обработки (Storm, Spark-Streaming и др.)
• Опыт с поисковыми инструментами (Solr, Lucene, Elasticsearch)
• Опыт со скриптовыми языками (Python, Java, C++, Scala и др.)
• Продвинутое знание SQL, написание и оптимизация запросов
• Опыт с очередями сообщений, потоковой обработкой и масштабируемыми big data хранилищами
• Опыт обработки и извлечения ценности из больших разрозненных наборов данных
• Опыт работы со структурированными и неструктурированными данными
• Опыт построения сложных запросов для анализа результатов
• Опыт с инструментами и процессами моделирования данных
• Опыт проектирования data-систем (транзакционных и хранилищ)
• Опыт агрегации результатов и подготовки отчётности из множества наборов данных
• Опыт работы в Agile-окружении
• Опыт поддержки проектных команд разработчиков и data scientists

Навыки

• MS SQL Server
• SSIS
• Python
• Hadoop
• Spark
• Kafka
• Postgres
• Cassandra
• Azkaban
• Luigi
• Airflow
• AWS
• EC2
• EMR
• RDS
• Redshift
• Azure
• GCP
• Storm
• Spark-Streaming
• Solr
• Lucene
• Elasticsearch
• Java
• C++
• Scala
• SQL
• NoSQL