Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer для проектирования и развития крупномасштабных систем обработки данных — data pipelines и data lakes с миллиардами событий в день. Роль предполагает релокацию в Нидерланды или Германию.

Задачи

• Проектировать и руководить разработкой крупномасштабных систем для data pipelines и data lakes, обрабатывающих миллиарды событий в день
• Проектировать и внедрять решения, обеспечивающие доступность, безопасность и масштабируемость данных, включая real-time и batch обработку
• Принимать архитектурные решения по дизайну систем, выбору технологий и развитию платформы
• Сотрудничать с product-командами, data-инженерами, backend-разработчиками и ML-инженерами для создания инструментов и фреймворков для аналитики и продуктовых фич
• Работать с бизнес-стейкхолдерами (Analytics Eng, Data Science, Machine Learning, Product) над созданием data-продуктов
• Участвовать вместе с руководством в формировании charter и технических roadmap
• Менторить инженеров в области backend-инфраструктуры и data engineering

Требования

• Опыт работы с крупномасштабными распределёнными вычислительными системами, экспертиза в data engineering и data modeling
• Опыт управления live production-средами, включая high-load системы или data-intensive workflows с фокусом на uptime и надёжность
• Экспертный уровень SQL и владение Spark, Kafka, Terraform, а также хотя бы одним языком программирования для data engineering (Python, Scala или Java)
• Сильное знание паттернов ETL/ELT, инструментов оркестрации (Airflow, dbt, Dagster) и фреймворков контроля качества данных
• Умение проектировать масштабируемые, безопасные и поддерживаемые data-модели и архитектуры, понимание data governance и требований приватности
• Практический опыт с современными технологиями хранения данных (Delta Lake, Snowflake, BigQuery, Redshift)
• Стратегическое мышление и способность выбирать между собственной разработкой и сторонними решениями
• Отличные коммуникативные навыки, умение работать с разными командами и стейкхолдерами
• Способность работать самостоятельно с минимальным руководством и эффективно управлять приоритетами в нескольких проектах

Условия

• Релокация в Нидерланды или Германию

Навыки

• SQL
• Spark
• Kafka
• Terraform
• Python
• Scala
• Java
• ETL
• ELT
• Airflow
• dbt
• Dagster
• Delta Lake
• Snowflake
• BigQuery
• Redshift