Member of Technical Staff (Search Quality Analyst)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Аналитик в команду поисковых технологий Perplexity: работа на стыке анализа данных и инженерии — проектирование метрик, построение пайплайнов данных и повышение качества поиска и ответов.

Задачи

• Находить и диагностировать проблемы качества в поисковом пайплайне
• Проектировать метрики с нуля для отслеживания и измерения качества поиска
• Создавать датасеты для обучения моделей, включая пайплайны разметки LLM-as-a-judge
• Улучшать качество поисковых сниппетов и алгоритмы отбора страниц для индексации
• Проектировать и анализировать A/B-эксперименты для валидации улучшений

Требования

• 4+ года опыта в роли аналитика данных или смежной роли
• Сильные навыки программирования — ожидается написание production-grade кода на уровне middle backend-инженера
• Владение SQL и Python
• Практический опыт хотя бы в одном из направлений: проектирование метрик с нуля (не только анализ существующих A/B-экспериментов); построение пайплайнов разметки с использованием LLM-as-a-judge; обучение ML-моделей, вышедших в продакшн с измеримым улучшением метрик; проектирование evals с известным ground truth (например, SimpleQA, BrowseComp) или значимое улучшение таких evals

Условия

• Гибридный формат работы в Белграде, Лондоне или Берлине

Навыки

• SQL
• Python
• LLM-as-a-judge
• A/B testing
• Apache Spark
• Databricks
• ML