Senior AI Evals Engineer (AI Quality & Safety) - Libra-Legal AI Assistant (m/w/d)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Первый инженер в новой команде Libra (подразделение Wolters Kluwer), отвечающей за измерение качества AI-функций юридического ассистента: датасеты, рубрики, LLM-as-judge, харнессы и автоматическая оптимизация. Работа на стыке AI-инженерии, оценки качества и безопасности LLM-продуктов.

Задачи

• Строить и развивать eval-платформу: датасеты, judges, харнессы, регрессионные гейты, контроль стоимости и качества на Python, FastAPI и Langfuse
• Делать платформу self-service, чтобы AI-инженеры сами оценивали и настраивали свои фичи
• Определять метрики качества для research, drafting, summarization и retrieval с учётом юрисдикций
• Проектировать рубрики и стандарты для LLM-as-judge, версионировать критерии и перекалибровывать судей
• Разбирать результаты и трейсы, находить причины сбоев и автоматизировать исправления
• Инструментировать приложение для автоматической оптимизации (GEPA, DSPy) по доверенной fitness-функции
• Оптимизировать качество на евро: находить конфигурации, где меньшая модель не уступает дорогой
• Проектировать и red-team'ить guardrails: необоснованные советы, выдуманные цитаты, утечки юрисдикций и языков, prompt injection

Требования

• Минимум 5 лет в software engineering, из них не менее 1 года создания LLM-продуктов в продакшене
• Сильный Python: FastAPI, современный тулинг, стек данных (pandas, numpy, notebooks)
• Практический опыт проектирования evaluations: датасеты, рубрики, LLM-as-judge, бенчмарки, разметка
• Опыт работы с безопасностью и приватностью данных, включая привилегированные материалы
• Ежедневное использование AI coding agents (Claude Code, Codex, Cursor)
• Искренний интерес к юридической доменной области
• Высшее техническое образование (CS, Software Engineering, Statistics, Data Science); продвинутая степень — плюс
• Отличная коммуникация на английском
• Плюс: автоматическая оптимизация промптов и пайплайнов (GEPA, DSPy), embedding clustering для проверки покрытия датасетов

Условия

• Постоянная занятость с первого дня
• Удалённая работа до 3 дней в неделю, гибкий график
• Возможность работать из любой страны ЕС до 20 дней в году
• 30 дней отпуска с 2027 года (26 дней в 2026)
• Дополнительный день отпуска на волонтёрство
• E-learning через LinkedIn, языковые курсы goFluent и другие возможности обучения
• Лизинг велосипеда или e-bike через JobRad
• Корпоративная пенсионная программа
• Бюджет €300 на IT-оборудование для дома
• Современный офис в Берлине
• Структурированный онбординг с buddy-программой

Навыки

• Python
• FastAPI
• Langfuse
• LLM-as-judge
• GEPA
• DSPy
• pandas
• numpy
• prompt injection
• guardrails
• Claude Code
• Codex
• Cursor
• LLM