Software Engineer, Agent Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

AI Engineer в Retool, который отвечает за поведение AI-функций в продакшене: качество, безопасность, вариативность и отказоустойчивость моделей. Работа на стыке продукта, инфраструктуры и оценки качества LLM-систем.

Задачи

• Отвечать за поведение AI-функций на нескольких продуктовых поверхностях: качество, безопасность, вариативность и режимы отказа
• Проектировать и развивать стратегии промптинга, retrieval, routing и tool-use с учётом недетерминированности
• Строить и поддерживать системы оценки качества моделей на основе статистических сигналов, распределений и трендов
• Выявлять, диагностировать и устранять недетерминированные сбои: галлюцинации, частичную корректность, дрейф инструкций, чувствительность к контексту
• Определять и внедрять guardrails, fallback-механизмы и пути деградации
• Совместно с product и infra командами решать, когда вероятностное поведение достаточно хорошее для релиза
• Влиять на выбор моделей, их поведение и дизайн инструментов с учётом качества, стоимости, latency и надёжности

Требования

• 6+ лет профессионального опыта в разработке с ответственностью за сложные продакшен-системы
• Подтверждённый опыт владения поведением AI/LLM за пределами базовой интеграции, включая снижение вариативности и работу с режимами отказа
• Умение рассуждать о вероятностных системах и компромиссах (качество vs стоимость, recall vs precision, скорость vs надёжность)
• Опыт проектирования или поддержки evaluation-фреймворков, golden datasets, детекции регрессий или human-in-the-loop циклов обратной связи
• Сильная продуктовая интуиция и понимание, что такое «хороший» результат при недетерминированных выходах
• Способность работать самостоятельно в неоднозначных задачах и задавать стандарты качества
• Готовность быстро итерироваться и менять решения на основе данных и наблюдаемого поведения системы

Условия

• Гибридный формат работы
• Широкий пакет бенefits для всех сотрудников
• Найм на все роли в США и на отдельные роли в Великобритании
• Работа в небольшой senior-команде над AI-возможностями продукта

Навыки

• TypeScript
• Node.js
• React
• LLM
• RAG
• agentic systems
• vector databases
• embeddings
• retrieval pipelines
• fine-tuning
• model routing
• post-training