Analytics Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Analytics Engineer в Uberall, отвечающий за слой трансформации данных в Databricks lakehouse: от курируемых моделей до датасетов и дашбордов для внутренних стейкхолдеров. Роль сочетает аналитику и инженерию данных с ответственностью за надёжность и документацию данных.

Задачи

• Проектировать и строить dbt-модели, превращающие сырые источники в доверенные курируемые данные
• Применять размерное моделирование для формирования фактов и измерений
• Моделировать транзакционные источники на основе CDC и третьей нормальной формы
• Определять и поддерживать соглашения об именовании и структуру проекта
• Создавать и поддерживать дата-продукты и датасеты для внутренних стейкхолдеров
• Готовить отчётность в Metabase и Pigment
• Переводить бизнес-вопросы в модели данных совместно со стейкхолдерами
• Обеспечивать безопасный управляемый обмен данными между командами
• Отвечать за работоспособность production-пайплайнов в Databricks или Apache Airflow
• Настраивать мониторинг, алертинг и проверки качества данных
• Управлять CI/CD, миграциями схем и безопасными релизами
• Оптимизировать производительность и стоимость нагрузок на колоночных движках
• Устанавливать переиспользуемые паттерны разработки и стандарты код-ревью
• Поддерживать документацию моделей, lineage и метаданные на уровне колонок
• Участвовать в стандартах governance и data contracts
• Поддерживать загрузку данных от вендоров и третьих сторон
• Использовать AI-ассистенты для написания, тестирования, рефакторинга и документирования SQL, dbt и Python
• Исследовать AI для автоматизации документации, проверок качества данных и self-serve аналитики

Требования

• Опыт размерного моделирования для аналитических хранилищ
• Production-опыт работы с dbt
• Понимание CDC и моделирования в третьей нормальной форме для источников MySQL или PostgreSQL
• Опыт с архитектурой lakehouse и Delta Lake
• Уверенный SQL и практический Python
• Владение Git, Linux shell и процессами код-ревью
• Опыт структурирования и оркестрации workflow в Databricks или Apache Airflow
• Production-опыт с CI/CD, миграциями, мониторингом и алертингом
• Опыт с AWS и Databricks
• Умение моделировать и оптимизировать производительность колоночных движков
• Опыт загрузки данных от вендоров и третьих сторон
• Опыт процессов качества данных; знакомство с data contracts и semantic layers будет плюсом
• Опыт визуализации в Metabase, Pigment или аналогичных инструментах
• Умение понятно объяснять технические компромиссы нетехническим коллегам
• Самостоятельное планирование и выполнение сложной работы с минимальным надзором
• Раннее выявление проблем с предложением решений

Навыки

• dbt
• SQL
• Python
• Databricks
• Delta Lake
• Apache Airflow
• AWS
• MySQL
• PostgreSQL
• Metabase
• Pigment
• Git
• Linux
• CI/CD
• dimensional modeling
• CDC
• lakehouse
• data quality
• data contracts
• semantic layers