AI/ML Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

AI/ML инженер в AI-команду, которая строит системы выявления и исправления сбоев в продакшн-агентах. Отвечает за интеллектуальную часть детекции ошибок, их оценку и генерацию исправлений.

Задачи

• Выявлять тонкие сбои агентов: пропуски, формально корректные, но неверные ответы, паттерны в больших объёмах трейсов
• Использовать сигналы поведения пользователей (переформулировки, отказы, повторы) для поиска неочевидных проблем
• Разрабатывать методы оценки качества детекции при отсутствии размеченной ground truth
• Строить надёжные пайплайны генерации патчей: воспроизведение сбоя, проверка исправления, отказ от ненадёжных изменений
• Повышать экономическую эффективность детекции за счёт выбора подходящих моделей и методов
• Регулярно изучать продакшн-трейсы клиентов и находить точки для улучшения

Требования

• Опыт от 0 до 10 лет, включая выпускников и кандидатов без диплома
• Опыт выпуска продуктов или систем, которыми пользуются люди
• Практический опыт с продакшн-LLM, оценками (evaluations), подходом LLM-as-judge и эмбеддингами
• Умение оценивать результаты исследований и отличать значимые улучшения от шума, в том числе без ground truth
• Право на работу в США без визовой поддержки (обязательно)
• Опыт эксплуатации AI-агентов в продакшене — плюс

Условия

• Зарплата от $120 000 до $200 000 в год
• Визовая поддержка не предоставляется
• Работа в офисе в Сан-Франциско, США

Навыки

• LLM
• evaluations
• LLM-as-judge
• embeddings
• AI agents