Data Engineering Lead

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Руководитель data-инженерии (player-coach) в финтех-компании qlub: отвечает за data-платформу на GCP и ведёт команду инженеров, которые её строят. Платформа питает внутреннюю отчётность, аналитику для мерчантов и AI-инструменты.

Задачи

• Руководить повседневной работой команды: планировать и приоритизировать задачи, проводить 1:1, устранять блокеры
• Задавать инженерные стандарты: code review, тестирование, соглашения об именовании, data contracts, документация, on-call
• Менторить инженеров через парное программирование, дизайн-ревью и своевременную обратную связь
• Принимать и документировать архитектурные решения по ingestion, трансформации, serving и оркестрации
• Балансировать новую функциональность с надёжностью, масштабируемостью и техдолгом, держать roadmap платформы реалистичным
• Управлять окружением GCP вокруг хранилища: Cloud Storage, Cloud Run, IAM и интеграции с внешними облачными источниками
• Отвечать за ingestion из транзакционных БД, SaaS-платформ, событий приложений и сторонних API, включая CDC, backfill, эволюцию схем и late-arriving data
• Вести dbt-проект целиком: слои staging, intermediate и mart, инкрементальные модели, тесты, документация и конвенции моделирования
• Оптимизировать BigQuery по производительности и стоимости через партиционирование, кластеризацию и тюнинг запросов с контролем бюджета
• Проектировать низколатентный аналитический serving в ClickHouse или аналогичном OLAP-хранилище: дизайн таблиц, ключи сортировки, materialized views, стратегия агрегации
• Эксплуатировать production-нагрузки Airflow: планирование, управление зависимостями, ретраи и алертинг
• Выстраивать проверки свежести, полноты и качества данных и устранять причины проблем, а не симптомы
• Руководить incident response и post-incident reviews, превращать выводы в устойчивые улучшения
• Строить CI/CD и автотесты для data-кода для безопасного вывода изменений в production
• Работать с product, analytics, finance и operations: превращать бизнес-потребности в приоритизированный план поставки и оспаривать запросы с неясной ценностью
• Совместно с security и compliance заниматься контролем доступа, обработкой PII и data governance
• Находить практические применения LLM и AI-агентов в data discovery, мониторинге качества и troubleshooting и выводить проверенные в production

Требования

• 6+ лет в data- или backend-инженерии, преимущественно на production-системах
• Минимум 1 год руководства или менторства data-инженеров в роли tech lead, team lead или senior-инженера с явным техническим ownership
• Опыт владения data-платформой или значительной её частью: архитектура, надёжность и стоимость
• Сильный Python и большой опыт построения и отладки production-пайплайнов и сервисов
• Продвинутый SQL: оконные функции, сложные трансформации, анализ производительности запросов
• 2+ года production-опыта с dbt: инкрементальные модели, макросы, тесты и документация
• Практический опыт эксплуатации Apache Airflow в production: backfill, мониторинг, troubleshooting
• Production-опыт с BigQuery: моделирование данных, партиционирование, кластеризация, оптимизация запросов и стоимости
• Рабочее знание GCP: Cloud Storage, IAM и облачная data-инфраструктура
• Твёрдое знание PostgreSQL: индексы, производительность запросов, инкрементальная выгрузка
• Опыт с Apache Flink или аналогичным stream/distributed-фреймворком
• Уверенность в Linux: Bash, cron, Docker на VM, анализ логов, SSH и базовые сети
• Сильные инженерные практики: Git, CI/CD, автотесты и code review

Условия

• Реальная ответственность за продукты, которыми пользуются миллионы гостей и тысячи ресторанов по всему миру
• Решение сложных задач в payments, hospitality и customer experience
• Быстро движущаяся среда, где хорошие идеи быстро становятся реальностью
• Тесная работа с опытными операторами, билдерами и экспертами отрасли
• Возможность оставить заметный след в одной из самых быстрорастущих ресторанных tech-компаний мира
• Базирование в Дубае, Индии или Шри-Ланке, remote или hybrid, с регулярным пересечением по Gulf Standard Time (UTC+4)

Навыки

• GCP
• BigQuery
• dbt
• Airflow
• ClickHouse
• Python
• SQL
• PostgreSQL
• Apache Flink
• Cloud Storage
• Cloud Run
• IAM
• Linux
• Bash
• cron
• Docker
• Git
• CI/CD
• CDC
• Kafka
• Debezium
• Datastream
• Airbyte
• Fivetran
• Kubernetes
• Terraform
• Tableau
• Power BI
• LLM APIs
• RAG
• Soda
• Great Expectations
• Monte Carlo
• AWS
• EC2
• S3
• RDS
• PCI DSS