Staff Data Platform Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Staff Data Engineer в команду Data Platform компании KAYAK. Отвечает за архитектуру общей платформы данных: стриминг, lakehouse-хранилище, управление схемами и семантический слой для аналитики, ML и AI-продуктов.

Задачи

• Проектировать и развивать архитектуру общей Data Platform: near-real-time стриминг, lakehouse-хранилище, управление схемами, семантический слой и распределённая инфраструктура запросов
• Реализовывать платформенные инициативы end-to-end: от постановки задачи и проектирования архитектуры до внедрения, раскатки и передачи в эксплуатацию
• Определять и продвигать технические стандарты для data contracts, эволюции схем, паттернов ингестии и production readiness
• Разрабатывать переиспользуемые паттерны и референсные архитектуры для стриминговой ингестии, компакции, retention, управления схемами и observability
• Обеспечивать надёжную наблюдаемость платформы: мониторинг пайплайнов, отслеживание consumer lag, проверки качества данных и алертинг
• Тесно взаимодействовать с Operations, Security, Engineering, Data Engineering и Product для развития платформы
• Развивать стратегию семантического слоя и метаданных для доверенной self-service аналитики и AI-driven доступа к данным
• Оценивать технологии в области стриминга, хранения, запросов, оркестрации и облачной инфраструктуры
• Менторить инженеров через design review, code review, парное программирование и технические гайды
• Брать на себя самые сложные архитектурные и операционные задачи: восстановление после сбоев, schema drift, управление партициями, деградация производительности

Требования

• 7+ лет профессионального опыта в data engineering, значительная часть — на senior или staff уровне с технической ответственностью на уровне домена
• Опыт проектирования и эксплуатации lakehouse-архитектур в масштабе: открытые табличные форматы (например, Apache Iceberg), колоночное хранение (Parquet) и облачное объектное хранилище
• Опыт построения и эксплуатации стриминговых пайплайнов: event-driven ингестия, exactly-once семантика, управление consumer lag, стратегии checkpoint и recovery, обработка сбоев в production
• Практический опыт с data contracts, управлением схемами, метаданными или семантическими слоями
• Сильные навыки Python и опыт написания поддерживаемого, тестируемого production-кода
• Опыт развёртывания и эксплуатации data-нагрузок на Kubernetes: контейнеризованная инфраструктура, тюнинг ресурсов, health checks
• Умение влиять на несколько команд, объяснять архитектурные компромиссы и продвигать их внедрение
• Опыт менторства инженеров и повышения технических стандартов через ревью, документацию и переиспользуемые паттерны
• Готовность брать на себя широкие, неоднозначные проблемные области

Условия

• Возможность работать почти откуда угодно до 20 дней в году
• Забота о ментальном здоровье: оплачиваемые сессии терапии через SpringHealth, подписка HeadSpace
• Общая неделя отдыха для всей компании раз в год
• Пятницы без встреч
• Оплачиваемый родительский отпуск
• Оплачиваемое время на волонтёрство
• Развитие карьеры: Development Dollars, программы лидерского развития, доступ к тысячам on-demand e-learning курсов
• Скидки на путешествия
• Employee Resource Groups
• 6 недель оплачиваемого отпуска + выходной на день рождения
• Бесплатные обеды 2 дня в неделю
• Взносы в пенсионный план
• Субсидии на общественный транспорт
• Программа лизинга велосипедов
• Ежемесячные социальные мероприятия, четверговые happy hours, спортивные команды
• Офис в Friedrichshain, Берлин
• Гибридный формат: 3 дня в неделю в офисе в Берлине

Навыки

• Python
• Apache Iceberg
• Parquet
• Kubernetes
• Streaming
• Data Contracts
• Schema Governance
• Metadata
• Semantic Layer
• Trino
• Apache Airflow
• AWS
• CI/CD
• GitHub Actions
• Java
• JVM
• Lakehouse
• Distributed Query Engines