Senior Software Engineer - Husky Storage

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду Husky — распределённого колоночного хранилища событий петобайтного масштаба в Event Platform Datadog. Задача — развивать платформу к открытым стандартам (Parquet, Arrow, DataFusion) и масштабировать её под AI-нагрузки.

Задачи

• Перевести формат хранения Husky на открытый Parquet и переосмыслить compaction на основе DataFusion
• Работать над снижением затрат: сжатие блочного инвертированного индекса, объединение БД с внешними объектами на уровне строк, tiering и кэширование
• Масштабировать решение для управления версионированием событий с использованием техник темпоральных БД
• Участвовать в эксплуатации сервиса и принятии решений о его дальнейшей работе
• Работать по пути записи совместно с Ingestion и выстраивать передачу данных в ADP/Lakehouse на базе Iceberg для batch/analytical нагрузок

Требования

• Опыт работы с крупномасштабными распределёнными системами и/или storage-движками
• Умение улучшать и эксплуатировать большие распределённые системы, критичные для бизнеса
• Сильные фундаментальные знания колоночных/файловых форматов хранения (Parquet, ORC, Arrow) или аналогичных систем

Условия

• RSU и ESPP
• Непрерывное профессиональное развитие, продуктовое обучение и карьерный рост
• Менторская программа и buddy-программа внутри департамента
• Инклюзивная культура, возможность вступать в Community Guilds
• Бесплатные глобальные услуги по психическому здоровью для сотрудников и их иждивенцев от 6 лет
• Медицинская страховка, стоматология, parental planning, 401(k) с match, оплачиваемый отпуск, компенсация фитнеса

Навыки

• Parquet
• Arrow
• DataFusion
• ORC
• Iceberg
• Go
• Java
• Rust
• S3
• GCS
• Azure Blob
• Kafka
• Kubernetes