Royal Bank America
AI Engineer - Monitoring, Observability, and Governance
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер по эксплуатации и разработке сторонних приложений для мониторинга, наблюдаемости и governance корпоративных GenAI-систем в on-premises OpenShift. Отвечает за guardrails, оценку качества и безопасности LLM/RAG-приложений, дашборды и алертинг.
Задачи
- Разрабатывать, разворачивать и поддерживать сторонние приложения в полностью on-premises окружении OpenShift
- Создавать API и интеграции, связывающие инструменты guardrails и observability с корпоративными GenAI-приложениями
- Внедрять и поддерживать операционный мониторинг производительности, безопасности, задержек и метрик качества приложений
- Разрабатывать и калибровать workflow оценки на основе моделей, включая аннотацию и обратную связь
- Использовать фреймворки оркестрации, такие как LangChain, для guardrails, управления промптами и scoring-процессов
- Создавать дашборды наблюдаемости и системы алертинга
- Устранять проблемы в продакшене и улучшать масштабируемость, надёжность и производительность
- Поддерживать новые агентные и многошаговые AI-workflow
- Руководить и наставлять членов команды, развивая инженерные стандарты и кросс-функциональную поставку
Требования
- Степень бакалавра или магистра в Computer Science, Data Science, MIS или смежной области, либо эквивалентный опыт
- 10+ лет опыта в software engineering: проектирование, разработка и масштабирование продакшен-приложений
- Сильный опыт разработки на Python, включая библиотеки для данных и машинного обучения
- Опыт развёртывания и поддержки контейнеризованных нагрузок в OpenShift или Kubernetes
- Опыт вывода LLM- или RAG-приложений в продакшен
- Понимание AI-рисков, поведения агентов и фреймворков governance
- Опыт создания API и интеграции сторонних платформ
- Опыт работы с OpenAI API и фреймворками оркестрации, такими как LangChain
- Понимание оптимизации производительности инференса и наблюдаемости
- Опыт внедрения AI guardrails и фреймворков оценки на основе моделей
- Опыт работы в Agile-средах
- Подтверждённое техническое лидерство и влияние на стейкхолдеров
Условия
- Офисная культура с чёткими ожиданиями по присутствию и гибкостью в зависимости от роли и бизнес-задач
- Диапазон оплаты: $102,900.00 - $179,900.00 в год, предложение определяется опытом, образованием и навыками
- Участие в ежегодном discretionary-плане вознаграждения
- Право на льготы: оплачиваемый отпуск, ресурсы и поддержка сотрудников
- 1-я смена (США), 40 часов в неделю
Навыки
- Python
- OpenShift
- Kubernetes
- LLM
- RAG
- LangChain
- OpenAI API
- Galileo
- LangSmith
- Splunk
- LlamaIndex
- Haystack
- API
- Agile
- DevOps
- AI guardrails
- observability
- prompt management
- fine-tuning
- annotation pipelines