Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в международную команду Merkle (dentsu) для проектирования и построения архитектуры больших данных и пайплайнов data lakehouse в облаке, а также оптимизации и продакшенизации ML-моделей.

Задачи

• Проектировать и реализовывать загрузку и обработку данных из различных источников с использованием публичных облачных сервисов
• Работать со стейкхолдерами по техническим вопросам данных и поддерживать их инфраструктурные потребности (оптимизация доставки данных, редизайн инфраструктуры для масштабируемости)
• Совместно с BI-консультантами собирать большие и сложные наборы данных под функциональные и нефункциональные требования data lakehouse
• Поддерживать ML-команды в деплое и оптимизации AI/ML-моделей и других алгоритмов
• Разрабатывать пайплайны данных для инсайтов в маркетинговой автоматизации, привлечении клиентов и других направлениях
• Использовать infrastructure as code и CI/CD для автоматизации релизных пайплайнов
• Документировать пайплайны и логику в Confluence, планировать работу по Agile в Jira
• Поддерживать pre-sales: предлагать технические решения и оценку трудозатрат

Требования

• Опыт построения и продакшенизации архитектур больших данных, пайплайнов и наборов данных
• Понимание концепций и паттернов big data, data lake, lambda architecture, stream processing, DWH и BI
• 3–7 лет опыта в роли Data Engineer
• Продвинутое программирование на Python
• Опыт с другими ООП/функциональными/скриптовыми языками: Bash, Scala, Java, R, PowerShell и др.
• Опыт с data-сервисами Azure, AWS и GCP
• Опыт с big data технологиями: Databricks, Fabric, AWS Glue, Snowflake, Dataproc, BigQuery и др.
• Опыт с реляционными БД (MS SQL, Postgres, Aurora DB) и NoSQL (DynamoDB, MongoDB, Elasticsearch, Redis)
• Опыт со стримингом: Kafka, Event Hubs, Kinesis
• Опыт с оркестрацией, compute и ETL: dbt, Airflow, Cloud Composer, AWS Step Functions, AWS Lambda, Azure Functions
• Сильные аналитические навыки работы со структурированными и неструктурированными данными
• Опыт построения процессов трансформации данных, структур данных, метаданных, зависимостей и управления нагрузкой
• Опыт настройки и использования CI/CD: Azure DevOps, GitHub Actions, Jenkins
• Точность, организованность, коммуникабельность, адаптивность и ответственность

Условия

• Гибридный формат работы, гибкие часы и возможность работы из дома
• Конкурентная зарплата, волонтёрские и wellness-дни
• Современные офисы и мультикультурная среда
• Обучение, менторство и проекты на данных
• Возможности роста в сети dentsu (70 000+ сотрудников в 145 странах)
• Инклюзивная и поддерживающая культура

Навыки

• Python
• Bash
• Scala
• Java
• R
• PowerShell
• Azure
• AWS
• GCP
• Databricks
• Fabric
• AWS Glue
• Snowflake
• Dataproc
• BigQuery
• MS SQL
• Postgres
• Aurora DB
• DynamoDB
• MongoDB
• Elasticsearch
• Redis
• Kafka
• Event Hubs
• Kinesis
• dbt
• Airflow
• Cloud Composer
• AWS Step Functions
• AWS Lambda
• Azure Functions
• Azure DevOps
• GitHub Actions
• Jenkins
• Power BI
• Tableau
• Looker
• Adobe Analytics
• Google Analytics
• Salesforce