Software Engineer II , SSO Intelligence

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Continuum (автономная безопасность кода). Владеет системами оценки и релиза моделей, промптов и агентной архитектуры, определяющими что и когда выходит в продакшн.

Задачи

• Строить автоматизированные пайплайны оценки изменений моделей, промптов, инструментов и агентной архитектуры Continuum
• Подготавливать реалистичные окружения, запускать развёрнутых агентов, оценивать результаты и сравнивать кандидатов с базовыми линиями
• Проектировать систему A/B-тестирования и онлайн-оценки: shadow evaluation, canary-релизы, контролируемые эксперименты
• Реализовывать назначение групп, логирование экспозиции, guardrail-метрики, критерии остановки и откат
• Определять метрики качества, безопасности, задержки, стоимости и надёжности, строить дашборды с регрессиями
• Превращать прототипы в продакшн-фичи совместно с учёными и инженерами по безопасности
• Отвечать за интеграцию со стороны науки: API, контракты данных, версионирование, телеметрия, релизные тесты, требования к tenancy, durability, масштабированию и восстановлению после сбоев

Требования

• 3+ года профессионального опыта разработки ПО (не стажировки)
• 2+ года опыта проектирования или архитектуры новых и существующих систем (паттерны, надёжность, масштабирование)
• 1+ год опыта разработки крупномасштабных многоуровневых многопоточных распределённых приложений на C#, C++, Java или Perl
• 1+ год опыта объектно-ориентированного проектирования
• Степень бакалавра или эквивалент в Computer Science, инженерии, математике или смежной области
• Опыт программирования хотя бы на одном языке
• Крепкие инженерные основы и опыт с ML или инфраструктурой оценки
• Практический опыт дизайна экспериментов, A/B-тестирования или онлайн-оценки
• Комфорт на стыке исследований и продакшна

Условия

• Медицинская страховка (medical, dental, vision, рецепты, Basic Life & AD&D, опция Supplemental life)
• EAP, поддержка психического здоровья, Medical Advice Line, Flexible Spending Accounts
• Компенсация усыновления и суррогатного материнства
• 401(k) с matching
• Оплачиваемый отпуск и отпуск по уходу за ребёнком
• Sign-on payments и RSU

Навыки

• ML
• LLM evaluation
• A/B testing
• experiment design
• agent systems
• ML pipelines
• C#
• C++
• Java
• Perl
• Object Oriented Design
• API
• telemetry