Data Platform Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер платформы данных в продуктовую IoT-компанию Camlin. Проектирование, построение и сопровождение облачной data-платформы и пайплайнов на AWS с использованием Databricks, Spark и Kafka.

Задачи

• Проектировать, внедрять и поддерживать масштабируемые решения data-платформы на AWS
• Разрабатывать и оптимизировать обработку данных на Apache Spark и Databricks
• Строить и поддерживать потоковые решения на Apache Kafka и Amazon MSK
• Управлять облачной инфраструктурой по подходу Infrastructure as Code с фокусом на автоматизацию
• Разрабатывать и поддерживать CI/CD пайплайны для надёжного деплоя компонентов платформы
• Внедрять практики безопасности, включая управление идентификацией и доступом
• Проектировать и поддерживать стратегии Disaster Recovery и непрерывности бизнеса
• Мониторить здоровье, производительность и надёжность платформы
• Сотрудничать с инженерными командами для улучшения масштабируемости и наблюдаемости

Требования

• 3+ года опыта в Data Engineering или Data Platform engineering
• Сильное знание Apache Spark
• Опыт работы с Databricks для крупномасштабной обработки данных
• Знание сервисов AWS: S3, AWS IAM, EC2, RDS, MSK
• Понимание облачной архитектуры, безопасности и операционных практик
• Понимание концепций, архитектуры и эксплуатации Apache Kafka
• Опыт проектирования event-driven и потоковых решений
• Владение Terraform
• Приверженность подходу Infrastructure as Code First
• Опыт разработки и поддержки CI/CD пайплайнов
• Уверенное владение Python для автоматизации и обработки данных
• Понимание Disaster Recovery, резервного копирования, высокой доступности
• Свободный английский (устный и письменный)

Навыки

• AWS
• Apache Spark
• Databricks
• Apache Kafka
• Amazon MSK
• Terraform
• Python
• CI/CD
• S3
• AWS IAM
• EC2
• RDS
• Docker
• REST API
• MQTT
• RabbitMQ
• Datadog