Super Micro Computer
Sr. Software Engineer - AI Evaluation and Knowledge
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер в команду AI Agent-платформы для обработки обращений клиентов по AI-серверам и стойкам. Отвечает за качество ответов агента, системы оценки и развитие базы знаний.
Задачи
- Проектировать и поддерживать фреймворк оценки агента (тестовые наборы, автоматическое скоринг, выборочная ручная проверка, регрессионное тестирование)
- Отвечать за Prompt Engineering и оптимизацию структурированного вывода для повышения точности шагов
- Управлять процессами качества базы знаний (ревью контента, версионирование, вывод устаревшего контента, добавление новых кейсов)
- Анализировать ошибки и галлюцинации агента, предлагать и внедрять улучшения
- Тесно работать с доменными экспертами для валидации корректности и практичности шагов диагностики
- Выстраивать обратную связь от результатов выполнения на местах в улучшения агента
- Помогать определять метрики успеха (например, first-time accuracy rate, step usability rate) и отслеживать их
- Поддерживать настройку качества RAG-ретривала и улучшение подачи знаний
Требования
- Опыт работы с LLM / Generative AI приложениями, практический опыт в оценке или качестве (желательно 2+ года)
- Уверенное знание Prompt Engineering и практических методов снижения галлюцинаций
- Опыт систематической оценки выводов LLM или агентов
- Опыт внедрения или управления RAG / базой знаний
- Сильные аналитические навыки и навыки кросс-командной коммуникации
- Умение превращать обратную связь доменных экспертов в конкретные улучшения
- Знание Python и умение писать базовые скрипты оценки или обработки данных
- Плюсом: опыт технической поддержки, диагностики или вертикальных AI Agent-приложений
- Плюсом: опыт с LLM-as-judge, автоматическими пайплайнами оценки или A/B-тестированием
- Плюсом: опыт в knowledge engineering, разметке данных или построении библиотеки кейсов
- Плюсом: опыт работы с не-AI доменными экспертами
Условия
- Зарплата $160,000 - $200,000 в год
- Комплексный пакет льгот
- Возможность участия в бонусных и equity-программах
Навыки
- LLM
- Generative AI
- Prompt Engineering
- RAG
- Python
- LLM-as-judge
- A/B testing
- Knowledge Base