Member of Technical Staff (Software Engineer, Enterprise Agent Evals & Efficiency)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Enterprise Agent Evals & Efficiency в Perplexity. Задача — делать агентов надёжнее в корпоративных сценариях: строить оценки, находить причины сбоев и улучшать инструменты, контекст и выбор моделей.

Задачи

• Строить реалистичные корпоративные среды для оценки агентов: связанные приложения, датасеты, роли и права, многошаговые сценарии с воспроизводимым состоянием
• Отвечать за инфраструктуру оценки, наборы задач и автоматические грейдеры, калиброванные по человеческим оценкам
• Анализировать траектории агентов и продакшн-сбои, находить первопричины и выпускать улучшения harness, инструментов и skills
• Разрабатывать переиспользуемые skills и улучшать описания инструментов, схемы и обработку результатов
• Строить и оценивать стратегии выбора и маршрутизации моделей с балансом качества, латентности, надёжности и стоимости
• Повышать эффективность агентов через управление контекстом, загрузку skills, кеширование и стратегии исполнения
• Строить регрессионные гейты и сигналы готовности к запуску для изменений моделей, коннекторов, инструментов и harness

Требования

• 5+ лет опыта в software engineering или machine learning engineering с владением сложными продакшн-системами
• Сильные навыки системного дизайна, опыт построения надёжной масштабируемой инфраструктуры для экспериментов, оценки или data-intensive приложений
• Уверенное владение backend-языком: Python, Go или Rust, работа в мультиязычном стеке
• Практический опыт создания, оценки или улучшения LLM-приложений и агентов, включая tool use и многошаговые сценарии
• Глубокая экспертиза хотя бы в одном: инфраструктура оценки и бенчмарки; agent harnesses и интерфейсы инструментов; реалистичные тестовые среды и симуляции; выбор и маршрутизация моделей, эффективность инференса
• Сильное экспериментальное и статистическое мышление
• Опыт ведения неоднозначных кросс-командных инициатив от архитектуры до продакшна и менторства

Навыки

• Python
• Go
• Rust
• LLM
• agents
• tool use
• evaluation infrastructure
• benchmark design
• automated grading
• model routing
• caching
• context management