Senior AI Evals Engineer (AI Quality & Safety) - Libra-Legal AI Assistant (m/w/d)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Первый специалист по evals в новой команде Libra (Legal AI Assistant): отвечает за измерение качества AI-фич — датасеты, рубрики, LLM-as-judge, харнессы и автоматическую оптимизацию, определяя, достойна ли фича релиза.

Задачи

• Строить и развивать eval-платформу: датасеты, судьи, харнессы, регрессионные гейты, единое представление стоимости и качества на Python, FastAPI и Langfuse
• Сделать платформу self-service, чтобы AI-инженеры сами оценивали и настраивали свои фичи
• Определять метрики качества для research, drafting, summarisation и retrieval с учётом юрисдикций
• Проектировать рубрики и стандарт LLM-as-judge, версионировать критерии и перекалибровывать судей
• Глубоко разбирать результаты и трейсы, находить причины сбоев и автоматизировать исправления
• Инструментировать приложение, чтобы промпты, гиперпараметры и архитектура харнесса стали рычагами автоматической оптимизации (GEPA, DSPy)
• Оптимизировать качество на евро: находить конфигурации, где меньшая модель не уступает дорогой
• Проектировать и red-team'ить guardrails: необоснованные советы, выдуманные цитаты, утечки юрисдикций и языков, prompt injection

Требования

• Минимум 5 лет в software engineering, из них не менее 1 года создания LLM-продуктов в продакшене
• Сильный Python: FastAPI, современный тулинг, data stack (pandas, numpy, notebooks)
• Практический опыт проектирования evaluations: датасеты, рубрики, LLM-as-judge, бенчмарки, разметка людьми
• Опыт работы с безопасностью и приватностью данных, включая привилегированные материалы
• Ежедневное использование AI coding agents (Claude Code, Codex, Cursor)
• Искренний интерес к юридической доменной области
• Отличная коммуникация на английском
• Плюс: автоматическая оптимизация промптов или пайплайнов (GEPA, DSPy), расширенный data science toolkit (кластеризация эмбеддингов)
• Степень бакалавра или эквивалент в технической области (CS, Software Engineering, Statistics, Data Science); продвинутая степень — плюс

Условия

• Постоянная занятость с первого дня
• Удалённая работа до 3 дней в неделю (8 дней в месяц в офисе), гибкий график
• Работа из любой точки ЕС до 20 дней в течение 12 месяцев
• 30 дней отпуска с 2027 года (26 дней в 2026)
• Дополнительный день отпуска в год на волонтёрство
• E-learning через LinkedIn, языковые курсы goFluent и другие возможности обучения
• Лизинг велосипеда или e-bike через JobRad
• Корпоративная пенсионная программа
• Бюджет €300 на IT-оборудование для дома
• Современный офис в Берлине
• Структурированный онбординг с buddy-программой

Навыки

• Python
• FastAPI
• Langfuse
• LLM-as-judge
• GEPA
• DSPy
• pandas
• numpy
• Claude Code
• Codex
• Cursor
• prompt injection
• embeddings clustering