Member of Technical Staff (Search Core, Indexing & Data Pipeline Stream)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Search Core Perplexity для потока индексации и обработки данных. Проектирование и разработка компонентов поискового движка, работающих в масштабе миллиардов страниц.

Задачи

• Проектировать и разрабатывать ключевые компоненты поискового движка, в частности пайплайны индексации и форматы хранения данных в масштабе миллиардов страниц
• Разрабатывать потоковую и батчевую обработку данных с системами YT для построения поискового индекса в высоконагруженной среде
• Выжимать максимум из производительности железа за счёт низкоуровневых оптимизаций и системного тюнинга
• Решать задачи многопоточности, конкурентности и системной оптимизации
• Проектировать и разрабатывать компоненты поискового движка, включая пайплайны индексации, алгоритмы поиска и системы ранжирования
• Разрабатывать системы потоковой и батчевой обработки данных для построения поискового индекса в высоконагруженной среде

Требования

• 3+ года практического опыта системного программирования (Rust, C++, C или аналоги)
• Ответственность за полный жизненный цикл проекта — не только быстрый внутренний цикл, но и то, как система строится, деплоится, эксплуатируется и масштабируется в продакшене
• Знание Python или других скриптовых языков
• Знание систем обработки данных (YT/Kafka/Hadoop)
• Страсть к написанию чистого, эффективного и масштабируемого системного кода
• Сильное знание алгоритмов и структур данных и умение применять их на практике
• Глубокое понимание многопоточности, включая различные подходы, сложности и компромиссы
• Опыт построения высоконагруженных, распределённых сервисов, близких к железу
• Хорошее понимание внутренностей Linux (сисколлы, сетевой стек, модель памяти, тюнинг ядра)
• Знакомство с низкоуровневыми техниками оптимизации (управление памятью, эффективность кэша, SIMD, профилирование)

Навыки

• Rust
• C++
• C
• Python
• YT
• Kafka
• Hadoop
• Linux
• SIMD
• Kubernetes
• AWS