Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в подразделение Maritime & Logistics компании Kpler. Техническое владение пайплайнами и инфраструктурой обработки данных для аналитики мировой торговли в реальном времени.

Задачи

• Проектировать, строить и оптимизировать масштабируемые пайплайны данных и потоковую обработку на Python, Apache Spark, Kafka и Airflow
• Поддерживать и развивать архитектуру данных в полиглотных backend-микросервисах (Python/FastAPI, PHP, Java/Scala)
• Обеспечивать сквозное качество, свежесть и надёжность данных через автоматическую валидацию, мониторинг и контроль SLA
• Разворачивать и управлять облачной инфраструктурой данных на AWS с помощью Terraform, Docker и CI/CD
• Взаимодействовать с Product Managers, SRE, Platform Engineers и Data Scientists для превращения доменных потребностей в производительные data-продукты
• Повышать операционную и стоимостную эффективность инфраструктуры данных, оптимизируя использование облачных ресурсов и производительность пайплайнов

Требования

• 6+ лет профессионального опыта в software или data engineering с построением сложных production-систем обработки данных
• Сильное владение Python и практический опыт с распределённой обработкой данных (Apache Spark, Kafka или Airflow)
• Продвинутое знание проектирования баз данных, оптимизации SQL и моделирования данных в реляционных и NoSQL хранилищах
• Опыт управления облачной инфраструктурой на AWS с Terraform, Docker и современными CI/CD пайплайнами
• Практический опыт написания чистого поддерживаемого кода в полиглотной среде (Python, Java/Scala или PHP)

Условия

• Работа в компании Kpler с командой более 850 экспертов из 69 стран
• Возможность влиять на флагманские аналитические платформы в сферах commodities, energy и maritime
• Инклюзивная и разнообразная рабочая среда, равные возможности для всех кандидатов

Навыки

• Python
• Apache Spark
• Kafka
• Airflow
• FastAPI
• PHP
• Java
• Scala
• AWS
• Terraform
• Docker
• CI/CD
• SQL
• NoSQL
• Datadog
• Astronomer