Staff Software Engineer, Frontier Security Team

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Staff-инженер в команду Frontier Security AI компании Snowflake. Задача — проектировать и развивать Agentic Harness и платформу оценки AI-агентов, доводя новые возможности LLM от прототипа до надёжного продукта для enterprise-клиентов.

Задачи

• Архитектура и разработка Agentic Harness для выполнения сложных многошаговых AI-воркфлоу поверх моделей, инструментов, данных и сервисов
• Проектирование стабильных интерфейсов для вызова инструментов, построения контекста, управления состоянием, памятью, правами, ретраями, фолбэками и human review
• Обеспечение качества агентов end-to-end: evaluation-харнессы, репрезентативные датасеты, автоматические грейдеры, пайплайны экспериментов и release gates
• Превращение размытых жалоб вида «агент стал работать хуже» в измеримые failure modes, воспроизводимые тесты и устойчивые исправления
• Анализ продакшн-траекторий агентов для выявления сбоев в reasoning, retrieval, использовании инструментов, контексте, оркестрации и коде приложения
• Замыкание цикла между инцидентами в продакшене, root-cause анализом, покрытием evaluation и предотвращением регрессий
• Разработка offline- и online-метрик: завершение задач, корректность, groundedness, безопасность, latency, надёжность и стоимость
• Построение инфраструктуры симуляции и replay для golden-set тестов, adversarial-сценариев, сравнения моделей и крупномасштабных экспериментов
• Повышение эффективности агентов через маршрутизацию моделей, prompt- и semantic-кэширование, сжатие контекста, управление результатами инструментов и оптимизацию токенов
• Вывод новых возможностей моделей в продакшн в виде безопасных, наблюдаемых multi-tenant сервисов с понятными операционными контролями
• Установление стандартов проектирования evaluation: сэмплирование, качество ground truth, калибровка грейдеров, предотвращение утечек и статистическая значимость
• Определение технического направления для нескольких команд и ведение проектов, выходящих за рамки одного сервиса
• Менторство инженеров, повышение качества архитектурных ревью и непосредственное участие в реализации и отладке

Требования

• 9+ лет опыта в software engineering, включая техническое лидерство над сложными продакшн-системами
• Практический опыт вывода в продакшн и эксплуатации LLM-приложений, AI-агентов или воркфлоу на базе моделей
• Сильный бэкграунд в распределённых системах, архитектуре сервисов, высоконагруженных API, конкурентности и обработке отказов
• Опыт построения agent runtime, workflow engine, developer platform, системы evaluation или похожей инфраструктуры
• Подтверждённая способность оценивать недетерминированные системы без опоры на единственную агрегированную метрику
• Свободное владение Python и сильное владение хотя бы одним системным или прикладным языком: Java, Go, Rust или TypeScript
• Практическое знание tool calling, structured generation, retrieval, context engineering, управления промптами и model API
• Опыт с продакшн-observability: структурированные трейсы, replay, метрики, логи и диагностика инцидентов
• Умение балансировать качество агентов с latency, надёжностью, безопасностью и стоимостью инференса
• Опыт определения технического направления и достижения результатов на стыке организаций
• Степень бакалавра в Computer Science, Engineering или смежной области либо эквивалентный практический опыт
• Чёткая письменная и устная коммуникация с инженерными, продуктовыми и руководящими аудиториями

Условия

• Бонус: опыт построения evaluation- или observability-инфраструктуры для agentic coding, data engineering или аналитических систем
• Бонус: проектирование программ human evaluation, скоринговых рубрик, процессов аннотации и методов калибровки грейдеров
• Бонус: работа с multi-agent оркестрацией, долгоживущими агентами, асинхронными воркфлоу и durable execution
• Бонус: разработка синтетических задач, симуляций, adversarial-тестов, red-team упражнений и safety guardrails
• Бонус: построение retrieval-систем с vector search, hybrid search, семантической индексацией, ранжированием и кэшированием
• Бонус: эксплуатация multi-tenant систем, обрабатывающих чувствительные корпоративные данные
• Бонус: работа с обучением моделей, fine-tuning, reinforcement learning и оптимизацией на основе обратной связи
• Бонус: оценка и онбординг frontier-моделей по измеряемым продуктовым результатам
• Бонус: опыт с базами данных, SQL-движками, data-платформами, Kubernetes и cloud-native инфраструктурой
• Информация о зарплате и бенефитах для позиций в США — на карьерном сайте Snowflake

Навыки

• Python
• Java
• Go
• Rust
• TypeScript
• LLM
• AI agents
• distributed systems
• high-throughput APIs
• concurrency
• tool calling
• structured generation
• retrieval
• context engineering
• prompt management
• model APIs
• observability
• tracing
• replay
• metrics
• Kubernetes
• SQL
• vector search
• hybrid search
• semantic indexing
• caching
• multi-tenant
• fine-tuning
• reinforcement learning
• cloud-native