Staff Software Engineer, Applied AI

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Digital Workers, создающую автономных агентов для identity-операций и безопасности внутри Okta. Задача — строить harness и системы оценки, чтобы агенты были надёжными и безопасными.

Задачи

• Строить agent harness для планирования, использования инструментов, памяти, сжатия контекста, прерывания и восстановления при длительной работе.
• Интегрировать API моделей OpenAI и Anthropic, выбирать модели по качеству, задержке и стоимости с обработкой сбоев.
• Оценивать существующие harness и достраивать только недостающие части, связывая harness с AWS workflow execution и состоянием согласований.
• Держать авторизацию и чувствительные записи за проверками политик приложения, требовать подтверждения итогового состояния.
• Строить датасеты для оценки и replay-тесты для валидных находок, решений доступа, настройки приложений и онбординга AI-агентов.
• Измерять false positives, пропущенные риски, небезопасные действия, completion rate и стоимость; превращать продакшн-сбои в регрессионные тесты.
• Тестировать prompt injection, устаревшие данные, конфликтующие инструкции и небезопасное использование инструментов; защищать границы тенантов в retrieval и памяти.
• Улучшать промпты, retrieval, инструменты и маршрутизацию моделей; оценивать fine-tuning и другие методы post-training при обоснованной пользе и одобренном использовании данных.

Требования

• Сильные навыки Python-инженерии и опыт выпуска LLM-приложения с использованием инструментов.
• Практический опыт построения agent workflows или систем оценки для tool-using LLM-приложений (Claude Agent SDK, OpenAI Codex SDK, Strands Agents, LangChain Deep Agents, LangGraph или кастомная реализация).
• Опыт интеграции API моделей, structured outputs и асинхронных сервисов; особенно релевантен опыт с OpenAI или Anthropic.
• Глубина в agent execution или системах оценки с рабочим кодом и анализом сбоев.
• Умение отличать правдоподобный ответ модели от подтверждённой находки или проверенного действия.
• Для уровня Staff: вести домен (harness, evaluations или model quality) и реализовывать его критичные компоненты.

Условия

• Годовая базовая зарплата $194,000–$267,000 для кандидатов в San Francisco Bay Area.
• Equity (где применимо), бонус и бенефиты: health, dental, vision, 401(k), flexible spending account, оплачиваемый отпуск и parental leave.
• Иммерсивный in-person онбординг.
• Работа в команде, которая напрямую взаимодействует с сооснователем и CEO Okta Тоддом Маккинноном.

Навыки

• Python
• FastAPI
• AWS Step Functions
• Amazon Bedrock AgentCore
• PostgreSQL
• Amazon RDS
• pgvector
• OpenAI API
• Anthropic API
• LangChain
• LangGraph
• Claude Agent SDK
• OpenAI Codex SDK
• Strands Agents
• ClickHouse
• BigQuery
• LLM
• AI agents
• prompt engineering
• RAG
• fine-tuning