Data Engineer | Talent Bridge Dubai

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для построения надёжных наблюдаемых пайплайнов, обеспечивающих исследования и продакшн AI. Работа в связке с AI/ML, аналитикой и продуктом для обеспечения достоверности и удобства использования данных.

Задачи

• Проектировать и эксплуатировать batch/stream пайплайны (Airflow; Spark опционально) для ETL/ELT
• Моделировать и управлять схемами; обеспечивать качество данных и lineage/governance
• Поддерживать ML-процессы с помощью DVC (версионирование данных) и MLflow или Weights & Biases
• Строить feature stores/сервисы данных; предоставлять датасеты через защищённые REST-эндпоинты
• Оптимизировать производительность и затраты на хранение/вычисления; внедрять мониторинг и алертинг
• Вести документацию и внутренние каталоги; обеспечивать self-service аналитику

Требования

• Программирование на C++ или Java
• SQL и NoSQL
• Pandas/NumPy
• PySpark
• Airflow
• Разработка API
• Docker
• MLOps: DVC; MLflow или W&B; основы упаковки и деплоя моделей
• Опыт с AWS SageMaker, Azure ML или GCP AI
• Уверенный опыт работы с Linux
• Подтверждённый опыт построения надёжных пайплайнов в продакшене

Условия

• Знакомство с Unreal Engine будет плюсом

Навыки

• C++
• Java
• SQL
• NoSQL
• Pandas
• NumPy
• PySpark
• Airflow
• Docker
• DVC
• MLflow
• Weights & Biases
• AWS SageMaker
• Azure ML
• GCP AI
• Linux
• REST API
• Spark
• Unreal Engine