Super Micro Computer

Sr. Software Engineer - AI Evaluation and Knowledge

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду AI Agent-платформы для обработки обращений клиентов по AI-серверам и стойкам. Отвечает за качество ответов агента, системы оценки и развитие базы знаний.

Задачи

  • Проектировать и поддерживать фреймворк оценки агента (тестовые наборы, автоматическое скоринг, выборочная ручная проверка, регрессионное тестирование)
  • Отвечать за Prompt Engineering и оптимизацию структурированного вывода для повышения точности шагов
  • Управлять процессами качества базы знаний (ревью контента, версионирование, вывод устаревшего контента, добавление новых кейсов)
  • Анализировать ошибки и галлюцинации агента, предлагать и внедрять улучшения
  • Тесно работать с доменными экспертами для валидации корректности и практичности шагов диагностики
  • Выстраивать обратную связь от результатов выполнения на местах в улучшения агента
  • Помогать определять метрики успеха (например, first-time accuracy rate, step usability rate) и отслеживать их
  • Поддерживать настройку качества RAG-ретривала и улучшение подачи знаний

Требования

  • Опыт работы с LLM / Generative AI приложениями, практический опыт в оценке или качестве (желательно 2+ года)
  • Уверенное знание Prompt Engineering и практических методов снижения галлюцинаций
  • Опыт систематической оценки выводов LLM или агентов
  • Опыт внедрения или управления RAG / базой знаний
  • Сильные аналитические навыки и навыки кросс-командной коммуникации
  • Умение превращать обратную связь доменных экспертов в конкретные улучшения
  • Знание Python и умение писать базовые скрипты оценки или обработки данных
  • Плюсом: опыт технической поддержки, диагностики или вертикальных AI Agent-приложений
  • Плюсом: опыт с LLM-as-judge, автоматическими пайплайнами оценки или A/B-тестированием
  • Плюсом: опыт в knowledge engineering, разметке данных или построении библиотеки кейсов
  • Плюсом: опыт работы с не-AI доменными экспертами

Условия

  • Зарплата $160,000 - $200,000 в год
  • Комплексный пакет льгот
  • Возможность участия в бонусных и equity-программах

Навыки

  • LLM
  • Generative AI
  • Prompt Engineering
  • RAG
  • Python
  • LLM-as-judge
  • A/B testing
  • Knowledge Base

Похожие вакансии

Software Engineer - AI/ML
AMETEKMiddleMount ProspectОфис
31 окт.
Software Engineer, AI Platform
Bask HealthMiddleУдалённо
12 нояб.
Staff Software Engineer, Eval Infra TL, Quality Platform, Gemini Cloud Operator, Agentic AI
GoogleLeadSunnyvaleОфис
207,000 – 300,000 USD в год
12 нояб.
AI Full Stack Solutions Engineer
Public Service Enterprise GroupSeniorNewarkГибрид
121,200 – 199,200 USD в год
7 нояб.
Full Stack AI Engineer
EquifaxSeniorBoiseОфис
12 нояб.
Full-Stack AI Engineer
New York UniversitySeniorNew YorkГибрид
170,000 – 190,000 USD в год
11 нояб.
AI / Full-Stack Engineer
QualityAIMiddleГибрид
200,000 – 250,000 USD в год
4 нояб.
Full Stack AI Engineer
EquifaxSeniorBoiseОфис
12 нояб.
Full Stack AI Engineer/Developer - Onsite
NTT DATA Global Services CorporationSeniorОфис
104,904 – 218,550 USD в год
25 окт.
Senior AI Software Engineer
AmphenolSeniorValley GreenОфис
11 нояб.