Transparent Search Group
Full-Stack Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Full-Stack Engineer в Judgment Labs — инфраструктура для мониторинга поведения AI-агентов. Нужен инженер, который ведёт продукт end-to-end: от слоя данных и UI до SDK и платформенной инфраструктуры, около 30% времени — работа с клиентами.
Задачи
- Развивать механизм запуска масштабных параллельных исследований агента по тысячам production-трейсов и объединения результатов в один ответ
- Строить платформу для верификации изменений агента: hosted-среды симуляции, воспроизведение траекторий и мониторинг нежелательного поведения
- Делать длинные трейсы агента, вызовы инструментов и ошибки понятными за минуты
- Разрабатывать swarm UX для наблюдения и перенаправления параллельных исследований
- Владеть циклом улучшения: превращать production-траектории в датасеты, judges и регрессионные проверки
- Разрабатывать SDK и terminal-first опыт, а также платформенную инфраструктуру: workspaces, роли, права, биллинг и лимиты
Требования
- 3-7 лет опыта построения и масштабирования end-to-end production-систем от слоя данных до UI
- Практический опыт работы с LLM или агентами либо готовность быстро этому научиться
- Комфорт в прямой работе с клиентами (около 30% роли)
- Сильные навыки решения задач в быстро меняющейся и неопределённой среде
- Чёткая, прямая и убедительная коммуникация
- Нахождение в San Francisco или готовность к релокации; работа в офисе 5 дней в неделю
Условия
- Полный соцпакет
- Членство в Equinox
- Личный шеф-повар
- Прямое влияние на продуктовый роадмап
- Компенсация от $200,000 (около 3 лет опыта) до $300,000 (3-7 лет); для исключительных кандидатов — индивидуально
- Full-time
- Визовая поддержка — в индивидуальном порядке для исключительных кандидатов
Навыки
- LLM
- Agents
- SDK
- Observability
- Evals