Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в консалтинговую AI-компанию DeepLight AI (ОАЭ) для построения масштабируемых Lakehouse-решений на AWS в банковской сфере. Роль на стыке big data, облачной архитектуры и MLOps с высокими требованиями к безопасности и governance.

Задачи

• Проектировать, строить и оптимизировать масштабируемые Lakehouse-решения (Databricks, Delta Lake) на AWS
• Разрабатывать batch и real-time ETL/ELT пайплайны на PySpark, Apache Kafka и SQL для финансовых данных
• Оптимизировать производительность запросов и хранение данных в AWS (S3, Redshift, EMR, Athena, Glue)
• Совместно с Data Scientists и MLOps-инженерами строить пайплайны feature engineering, трекать эксперименты (MLflow), контейнеризировать процессы (Docker, EKS) и деплоить модели (AWS SageMaker)
• Внедрять сквозную безопасность данных, шифрование, контроль доступа и аудит-трейлы в соответствии с требованиями Центробанка
• Управлять инфраструктурой как кодом (Terraform), писать CI/CD пайплайны (GitHub Actions/CodePipeline) и чистый протестированный Python-код

Требования

• Практический опыт data engineering в банках, финансовых сервисах или финтехе
• Глубокое знание AWS data services (S3, Glue, EMR, Redshift) и распределённых движков (Apache Spark / PySpark, Apache Kafka)
• Опыт построения и управления Lakehouse-архитектурами (Databricks, Delta Lake), знание data modeling, schema evolution и ACID
• Высокий уровень Python и SQL (Scala — плюс), опыт с Docker, Kubernetes (EKS), Terraform и Git
• Сильные аналитические навыки и умение понятно объяснять сложные технические концепции

Условия

• Конкурентная зарплата
• Медицинская страховка уровня Gold
• Индивидуальная визовая поддержка
• Поддержка профессионального развития и сертификаций
• Компенсация подписок, связанных с ролью
• Работа над передовыми AI-проектами
• Ежемесячная программа поощрения сотрудников
• Возможности карьерного роста в быстрорастущей AI-компании

Навыки

• AWS
• Databricks
• Delta Lake
• PySpark
• Apache Kafka
• SQL
• S3
• Redshift
• EMR
• Athena
• Glue
• Python
• Scala
• Docker
• Kubernetes
• EKS
• Terraform
• Git
• MLflow
• AWS SageMaker
• GitHub Actions
• CodePipeline
• Apache Spark
• Apache Airflow
• Prefect
• Apache Flink
• Spark Streaming