Staff Software Engineer, Agent Quality

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-основатель новой команды в Databricks AI Research, отвечающей за оценку и непрерывное улучшение AI-агентов. Задача — построить инфраструктуру, инструменты и процессы оценки агентов, замыкая цикл между результатами оценки и улучшением агентов.

Задачи

• Создать базовую инфраструктуру оценки для Genie Agents: бенчмаркинг, детекция регрессий, измерение качества для исследовательских и продуктовых команд
• Построить цикл обратной связи, связывающий результаты оценки с улучшением агентов — от продакшн-сигналов и обучения до итеративной разработки
• Определять долгосрочное техническое направление инфраструктуры оценки качества агентов
• Проектировать и масштабировать инфраструктуру, инструменты и рабочие процессы разработчиков для строгой оценки агентов
• Работать на стыке исследований и продукта, превращая идеи в надёжные внутренние платформы

Требования

• 6+ лет индустриального опыта построения программных систем
• Сильные навыки программирования на Python, опыт создания продакшн- или исследовательской инфраструктуры
• Опыт построения или эксплуатации распределённых систем, дата-пайплайнов или крупномасштабной инфраструктуры с фокусом на надёжность, корректность и операционную зрелость
• Умение проектировать прагматичные, но строгие системы, дающие достоверные и воспроизводимые сигналы для сложных приложений
• Комфортная работа в условиях неопределённости на границе исследований и продукта, партнёрство с исследователями и инженерами
• Высокая планка технического качества, сильное чувство ответственности и умение влиять на roadmap и исполнение в нескольких командах

Условия

• Диапазон оплаты $200,000—$265,000 USD
• Годовой бонус за производительность, акции и льготы
• Компания со штаб-квартирой в Сан-Франциско и 30+ офисами по миру

Навыки

• Python
• distributed systems
• data pipelines
• CI/CD
• observability
• benchmarking
• LLM evals
• agent quality