AI Engineer, Evals & Agent Quality

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

AI-инженер в стартап Town, создающий персонального AI-ассистента. Отвечает за системы оценки качества (evals) и маршрутизацию моделей, измеряя качество работы ассистента на многошаговых агентных траекториях.

Задачи

• Строить обобщённую систему evals, измеряющую качество ассистента на всех поверхностях и на многошаговых агентных траекториях
• Создавать golden datasets и цикл разметки, поддерживающий их в актуальном состоянии для валидации улучшений и предотвращения регрессий
• Разрабатывать маршрутизацию моделей и инструменты онлайн-оценки для выбора лучших моделей
• Делать измеримым каждое изменение промптов и системы, чтобы команда могла быстро двигаться без поломок
• Совместно с инженерами продукта инструментировать качество и замыкать цикл от сигнала до исправления

Требования

• Опыт построения или владения системами LLM evals либо офлайн/онлайн-измерения качества в масштабе
• Строгий подход к измерению качества; бэкграунд MLE или applied-ML желателен, но не обязателен
• Практическое знание ландшафта eval-инструментов и фреймворков и понимание, что когда применять
• Умение рассуждать о маршрутизации моделей и компромиссах между ними
• Ориентация на исправление проблем, а не только на дашборды и метрики
• Уровень senior или staff, комфорт в greenfield-проектах

Условия

• Офис в Financial District, Сан-Франциско, пять дней в неделю лично
• Небольшая команда с высокой концентрацией талантов
• Инвестиции от Andreessen Horowitz, Forerunner Ventures, First Round Capital и Conviction; привлечено более $73M
• Основатели: Jean-Denis Greze (CEO), бывший CTO Plaid, и Tony Vincent (CPO), бывший Director of Applied AI Product в Google

Навыки

• LLM evals
• model routing
• online evaluation
• golden datasets
• labeling
• prompt engineering
• applied ML