Datavent

Senior Data Engineer – Cloud Data Platforms & Lakehouse

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в консалтинговую компанию AgentixLake (данные и AI). Проектирование и эксплуатация production-grade облачных data-платформ и lakehouse-решений в облаках заказчиков, от интеграции источников и моделирования до деплоя и надёжной работы.

Задачи

  • Проектировать и реализовывать batch- и streaming-пайплайны, интегрируя операционные БД, API, файлы и event-источники
  • Строить поддерживаемые модели данных и трансформации для аналитики, управляемых метрик и AI-приложений
  • Реализовывать lakehouse- или warehouse-архитектуры с выбором форматов хранения, партиционирования и стратегий обработки
  • Внедрять тесты качества данных, оркестрацию, lineage, мониторинг и процедуры восстановления; разбирать инциденты и устранять их причины
  • Управлять инфраструктурой и деплоем через контроль версий, infrastructure as code и CI/CD с контролем доступа
  • Вести техническую поставку с заказчиками и коллегами, ревьюить код и документировать решения для эксплуатации и развития платформы

Требования

  • Существенный опыт поставки и эксплуатации production data-платформ, включая ответственность за технические решения и надёжность сервиса
  • Сильный Python и SQL, качественное моделирование данных и практическое понимание распределённой обработки и оркестрации
  • Глубокий опыт хотя бы в одном крупном окружении: AWS, Snowflake, Databricks или Google Cloud, с умением оценивать альтернативы
  • Опыт с инструментами вроде dbt, Airflow или Dagster, а также с тестированием, Git, CI/CD и автоматизацией инфраструктуры
  • Умение объяснять компромиссы по производительности и стоимости, оценивать объём работ и ясно общаться с техническими и бизнес-стейкхолдерами на английском

Условия

  • Ответственность за существенную инженерную работу
  • Прямое сотрудничество с основателями и влияние на переиспользуемые паттерны поставки
  • Сочетание реализации с архитектурой платформы и практическим техническим консалтингом

Навыки

  • Python
  • SQL
  • AWS
  • Snowflake
  • Databricks
  • Google Cloud
  • dbt
  • Airflow
  • Dagster
  • Git
  • CI/CD
  • Apache Iceberg
  • Spark
  • Kafka
  • Terraform
  • RAG

Похожие вакансии

Data Quality Engineer
Datamatics TechnologiesMiddleШарджаОфис
17 нояб.
Data Quality Engineer
Datamatics TechnologiesMiddleАбу-ДабиОфис
17 нояб.
Data Quality Engineer
Datamatics TechnologiesMiddleДубайОфис
17 нояб.
Data Analytics Engineer
BlackStone eITSeniorДубайОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleДубайОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleШарджаОфис
17 нояб.
Data Engineer
Datamatics TechnologiesMiddleАбу-ДабиОфис
17 нояб.
Cloudera Data Engineer
Midis GroupMiddleДубайОфис
31 окт.
Senior BI Engineer
KamayiSeniorДубайОфис
10,000 – 13,000 AED в месяц
11 нояб.
AI & Data Analytics Specialist
Expertise RecruitmentMiddleАбу-ДабиОфис
11 нояб.