Remote | Senior Software Engineer – LLM Evaluation (US/Canada/WEU based)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Частичная консультационная занятость для опытных software-инженеров: оценка больших языковых моделей, разработка бенчмарков для кода и исследование AI-ассистированной разработки. Удалённо, кандидаты из США, Канады или Западной Европы.

Задачи

• Курировать качественные примеры кода для обучения и бенчмаркинга моделей
• Разрабатывать точные решения инженерных задач
• Исправлять и улучшать код на Python, JavaScript, ReactJS, C/C++, Java, Rust и Go
• Оценивать сгенерированный AI код на техническую корректность, эффективность, масштабируемость и надёжность
• Выявлять слабые места реализаций и повторяющиеся паттерны ошибок
• Строить агентов для оценки качества кода и механизмы автоматической проверки решений
• Оценивать возможности моделей на всём жизненном цикле разработки: прототипирование, архитектура, API-дизайн, запуск, мониторинг, поддержка
• Сотрудничать с исследовательскими и кросс-функциональными командами, участвовать в формировании датасетов и стратегий оценки
• Предоставлять структурированные обоснования решений по оценке

Требования

• 3+ года профессионального опыта в software-инженерии
• Сильные навыки full-stack разработки
• Опыт создания масштабируемого production-кода
• Понимание архитектуры ПО и системного дизайна
• Глубокие знания разработки, отладки и оценки качества кода
• Владение одним или несколькими языками: Python, JavaScript, Java, C++, Rust или смежные
• Опыт с ReactJS, C или Go может быть релевантен
• Понимание API-дизайна и production-реализации
• Знакомство с мониторингом и операционной поддержкой ПО
• Сильные аналитические навыки и навыки решения задач
• Отличные письменные и устные коммуникационные навыки
• Умение давать чёткие структурированные обоснования оценки
• Комфортная удалённая работа с исследовательскими и техническими командами
• Кандидат должен находиться в США, Канаде или подходящих странах Западной Европы

Условия

• Part-time контракт с независимым подрядчиком
• Полностью удалённо
• Минимальная загрузка 10 часов в неделю, до 40 часов в неделю
• Начальная длительность проекта около 1 месяца
• Возможно продление по результатам работы
• Медицинские и оплачиваемые отпуска не предусмотрены
• Процесс отклика занимает примерно 15–30 минут
• Требуется прохождение AI-видеоинтервью
• Компенсация не указана

Навыки

• Python
• JavaScript
• ReactJS
• C
• C++
• Java
• Rust
• Go
• API design
• software architecture
• monitoring