Senior/Staff AI Engineer, Quality & Evals (m/f/x)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в берлинский AI-стартап Cortea для построения инфраструктуры оценки и наблюдаемости production-агентов на LLM в аудиторских процессах. Роль на стыке backend, data-инфраструктуры и качества AI-систем.

Задачи

• Строить online- и offline-системы оценки LLM-агентов: пайплайны с golden datasets, ground-truth данными, human review и результатами экспериментов
• Создавать автоматические quality gates для проверки изменений промптов, контекста, моделей и логики агентов до продакшена
• Анализировать большие объёмы трейсов и исполнений агентов в колоночных и аналитических БД (BigQuery, ClickHouse) для поиска failure modes, регрессий качества, проблем latency, надёжности и оптимизации затрат
• Строить механизмы хранения и replay данных для долгосрочного анализа поведения агентов в продакшене
• Управлять инструментами наблюдаемости для трейсинга, мониторинга, отладки и управления экспериментами
• Совместно с backend-инженерами повышать скорость и надёжность retrieval- и reasoning-агентов

Требования

• Сильный опыт в Python и/или backend-разработке
• Понимание оценки LLM- и агентных систем: детерминированные проверки, ground truth, LLM-as-judge, human review, метрики качества
• Опыт развёртывания и эксплуатации систем в облаке, желательно GCP
• Практический опыт построения end-to-end систем оценки retrieval- или ML-пайплайнов и работы с инструментами наблюдаемости/экспериментов (Braintrust, MLflow, Langfuse, Weights & Biases)
• Уверенная работа с аналитическими БД, хранилищами данных, колоночными стораджами и высокообъёмными данными событий/трейсов
• Понимание system design, надёжности, наблюдаемости, мониторинга, логирования, отладки и операционных компромиссов
• Senior-уровень инженерных суждений: принятие архитектурных решений, коммуникация компромиссов, создание расширяемых систем
• Комфорт с неопределённостью и first-principles мышление

Условия

• Высокое влияние и рост в масштабирующемся AI-стартапе
• Миссионерская культура с first-principles мышлением
• Конкурентная зарплата плюс значимый equity
• Щедрый бюджет на инструменты для кодинга
• Гибкий отпуск, командные обеды, ретриты, офис в центре Берлина
• Процесс: intro-звонок, техническое интервью, culture deep dive, on-site день в Берлине

Навыки

• Python
• LLM
• LLM-as-judge
• GCP
• BigQuery
• ClickHouse
• Braintrust
• MLflow
• Langfuse
• Weights & Biases
• retrieval
• ML pipelines
• Temporal
• ETL/ELT
• observability
• system design