Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для построения масштабируемых ETL-пайплайнов на стеке Microsoft Azure и Databricks, с участием в проектировании и ведении статусов проекта.

Задачи

• Собирать регулярные апдейты о прогрессе от Squad
• Консолидировать апдейты в еженедельные отчёты о статусе проекта и передавать Squad Leads на ревью
• Участвовать в раннем проектировании и определении фич
• Реализовывать надёжные пайплайны данных на стеке Microsoft и Databricks
• Создавать переиспользуемые и масштабируемые пайплайны данных
• Взаимодействовать с участниками нескольких инженерных команд для интеграции прототипов в core intelligence продукты
• Разрабатывать и вести проектные планы уровня L3 с задачами, вехами и зависимостями

Требования

• Опыт работы с реляционными и нереляционными базами данных
• Сильные аналитические навыки работы со структурированными и неструктурированными данными
• Практический опыт Azure Databricks со Spark для разработки ETL-пайплайнов
• Уверенное владение анализом данных, манипуляцией и статистическим моделированием (Spark, Python, Scala, SQL или аналоги)
• Опыт построения дашбордов в JIRA
• Опыт Azure DevOps для деплоя пайплайнов через CI/CD
• Минимум 5-7 лет практического опыта
• Степень бакалавра в computer science, software engineering, IT или смежной области
• Опыт production-использования Azure cloud stack

Условия

• Опыт в Project Management будет дополнительным преимуществом

Навыки

• Azure Databricks
• Spark
• Python
• Scala
• SQL
• JIRA
• Azure DevOps
• CI/CD
• Microsoft Azure
• ETL