Senior Data Engineer - Sponsored Content & Products (all genders)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в команду Sponsored Content & Products. Задача — строить и модернизировать высоконагруженные пайплайны данных для self-serve рекламных маркетплейсов на базе CPC, в переходе от монолита к четырём продуктовым командам.

Задачи

• Проектировать, строить и поддерживать высоконагруженные reverse-ETL пайплайны репликации между core-платформой и клиентскими reporting-инструментами
• Руководить миграцией текущих кастомных пайплайнов обработки данных на современную масштабируемую архитектуру через безопасный путь миграции
• Оценивать, корректно ли структурированы данные под downstream-сценарии, и принимать решения о размещении нагрузок в MySQL, OpenSearch, BigQuery или ClickHouse
• Совместно с backend- и analytics-инженерами проектировать высокопроизводительные масштабируемые структуры данных, отвечая за физические и логические границы моделирования
• Укреплять операционную зрелость данных: проактивный мониторинг, надёжность систем и стабильность приложений наравне с разработкой новых пайплайнов
• Поддерживать высокий стандарт стабильности инфраструктуры данных и долгосрочной поддерживаемости наравне с выпуском новых фич
• Задавать инженерные стандарты и обосновывать технические компромиссы

Требования

• Более 5 лет опыта в Data Platform Engineering
• Более 7 лет общего опыта в Software Engineering
• Уверенное владение Python для написания кастомной логики загрузки данных, драйверов валидации и кластерных программ синхронизации
• Опыт построения автоматизированных событийно-управляемых batch-архитектур, настройки статус-трекинга, asset-сенсоров и графов зависимостей задач для сложных расписаний пайплайнов
• Продвинутое понимание реляционных и аналитических движков БД, знание, когда применять транзакционные реляционные схемы (MySQL), а когда — колоночные/документные архитектуры (ClickHouse, OpenSearch, BigQuery)
• Опыт observability и телеметрии: отслеживание системных ресурсов, логирование времени работы пайплайнов, настройка алертов в Datadog
• Прагматичный подход к решению задач: безопасные стабильные шаги миграции вместо преждевременной оптимизации и over-engineering
• Умение понятно доносить сложные архитектурные концепции, технические дизайны и компромиссы по производительности
• Высокая автономность и проактивная ответственность
• Умение продуктивно работать с центральными инфраструктурными командами

Условия

• Флат-иерархия, прямая коммуникация и прагматичные решения
• Короткие пути согласования
• Командные обеды, after-work, корпоративные мероприятия
• Оформление онлайн через карьерный сайт

Навыки

• Python
• MySQL
• OpenSearch
• BigQuery
• ClickHouse
• Datadog
• Dagster
• dbt
• PHP
• Laravel
• Batch-архитектуры
• Reverse ETL
• Data Platform Engineering