Software Engineer – Query Engines

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду, разрабатывающую инфраструктуру обработки данных для Palantir Foundry. Работа над движками запросов, оптимизацией планов и интеграцией open-source систем обработки данных.

Задачи

• Проектировать и реализовывать возможности планирования и оптимизации запросов, превращая сложные вычисления в эффективные планы выполнения
• Расширять движки выполнения новыми возможностями и улучшать операторы запросов, параллелизм, управление памятью и перемещение данных
• Разрабатывать каталог Iceberg и интеграции движков в Foundry, включая метаданные таблиц, транзакции и эффективное чтение/запись
• Создавать общие семантики трансформаций и интерфейсы выполнения для рабочих нагрузок продуктов и платформенных сервисов Foundry
• Улучшать инкрементальную обработку, чтобы пайплайны переиспользовали предыдущие результаты и эффективно обрабатывали новые данные с сохранением корректности
• Оценивать и интегрировать достижения open-source систем обработки данных, проверяя их поведение и производительность на реальных нагрузках
• Исследовать проблемы корректности и производительности на уровнях планирования, выполнения и хранения, создавать тесты и бенчмарки против регрессий
• Работать с продуктовыми командами и заказчиками, переводя операционные потребности в возможности движка, интегрированные с безопасностью, управлением данными и инфраструктурой сборки Foundry

Требования

• 4+ года профессионального опыта разработки ПО и эксплуатации production-систем
• Инженерное образование в области Computer Science, математики, программной инженерии, физики или смежной области, либо эквивалентный практический опыт
• Сильные навыки программирования с подтверждённым владением одним или несколькими языками, такими как Java, Rust, Scala или C++
• Опыт разработки движков баз данных, распределённых систем обработки данных, систем хранения или сопоставимой инфраструктуры, с глубиной в областях планирования запросов, выполнения или оптимизации производительности
• Прочные основы алгоритмов, структур данных и конкурентности, опыт диагностики проблем корректности и производительности в сложных системах
• Сильные навыки письменной и устной коммуникации, умение эффективно работать в командах, воспринимать обратную связь и держать высокую планку качества

Условия

• Медицинская, стоматологическая и офтальмологическая страховка для сотрудников и их иждивенцев, а также добровольное страхование жизни
• Базовое страхование жизни, AD&D и страхование по нетрудоспособности
• Компенсация транспортных расходов
• Помощь с релокацией
• Оплачиваемый отпуск без накопления (take what you need)
• 2 недели оплачиваемого отпуска в конце каждого года
• 10 оплачиваемых праздничных дней в календарном году
• Программа поддерживающих отпусков, включая отпуск по военной службе и медицинским событиям
• Оплачиваемый отпуск для новых родителей и субсидируемая помощь по уходу за детьми
• Льготы по фертильности и планированию семьи, включая усыновление, суррогатное материнство и сохранение фертильности
• Стипендия на расходы, связанные с рождением ребёнка
• План 401k
• Гибридные опции (1-2 дня удалённо в неделю) для многих команд

Навыки

• Java
• Scala
• Rust
• Python
• C++
• Apache Spark
• Apache DataFusion
• Apache Comet
• Velox
• Apache Iceberg
• Apache Arrow
• Apache Parquet
• Gradle
• Cargo
• GitHub
• query planning
• query optimization
• distributed data processing
• storage systems
• algorithms
• data structures
• concurrency