Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в консалтинговую AI/Data-компанию DeepLight AI (ОАЭ) для построения масштабируемых Lakehouse-решений на AWS в банковском домене. Роль на стыке big data, облачной архитектуры и MLOps с высокой нагрузкой на финансовые данные.

Задачи

• Проектировать, строить и оптимизировать масштабируемые Lakehouse-решения (Databricks, Delta Lake) на AWS
• Разрабатывать batch и real-time ETL/ELT пайплайны на PySpark, Apache Kafka и SQL для финансовых данных
• Оптимизировать производительность запросов и хранение в AWS (S3, Redshift, EMR, Athena, Glue), снижать latency и затраты на вычисления
• Совместно с Data Scientists и MLOps-инженерами строить автоматизированные пайплайны feature engineering, трекать эксперименты (MLflow), контейнеризировать процессы (Docker, EKS) и деплоить модели (AWS SageMaker)
• Внедрять сквозную безопасность данных, шифрование, контроль доступа и аудит для соответствия требованиям ЦБ и data sovereignty
• Автоматизировать инфраструктуру (Terraform), писать CI/CD пайплайны (GitHub Actions/CodePipeline) и чистый протестированный код на Python

Требования

• Практический опыт data engineering в банках, финансовом секторе или финтехе, понимание транзакционных данных и регуляторных требований
• Глубокое владение AWS data-сервисами (S3, Glue, EMR, Redshift) и распределёнными движками (Apache Spark / PySpark, Apache Kafka)
• Опыт построения и сопровождения Lakehouse-архитектур (Databricks, Delta Lake), знание data modeling, schema evolution и ACID
• Уверенное владение Python и SQL (Scala — плюс), практический опыт с Docker, Kubernetes (EKS), Terraform и Git
• Сильные аналитические навыки и умение понятно объяснять сложные технические концепции командам и стейкхолдерам

Условия

• Конкурентная зарплата
• Медицинская страховка уровня Gold
• Индивидуальная визовая поддержка
• Поддержка профессионального развития и сертификаций
• Компенсация подписок, связанных с ролью
• Работа над передовыми AI-проектами
• Ежемесячная программа поощрения сотрудников
• Возможности карьерного роста в быстрорастущей AI-компании

Навыки

• AWS
• Databricks
• Delta Lake
• PySpark
• Apache Spark
• Apache Kafka
• SQL
• Python
• S3
• Redshift
• EMR
• Athena
• Glue
• MLflow
• Docker
• Kubernetes
• EKS
• SageMaker
• Terraform
• GitHub Actions
• CodePipeline
• Git
• Scala
• Apache Flink
• Spark Streaming
• Apache Airflow
• Prefect