Remote | Senior Software Engineer - AI Evaluation / Coding Agents — $100–$150/hour

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Фриланс-проект для опытных инженеров-программистов: оценка и улучшение продвинутых AI-систем генерации кода через ревью кода, тестирование на реальных репозиториях и разработку рубрик оценки.

Задачи

• Ревью кода, сгенерированного AI-агентами
• Оценка корректности, надёжности и поддерживаемости реализаций
• Определение уместности выбранных технических подходов
• Выявление тонких ошибок реализации и инженерных слабостей
• Разработка и доработка технических рубрик оценки
• Разметка данных предпочтений и оценки
• Анализ изменений кода в контексте реальных репозиториев
• Выявление повторяющихся паттернов ошибок
• Построение и поддержка пайплайнов генерации и оценки данных
• Совместная работа с исследовательскими и инженерными командами
• Подготовка письменных отчётов и рекомендаций по результатам оценки

Требования

• 5+ лет практического опыта в разработке ПО
• Уверенное владение Python, TypeScript, JavaScript, Go, Java или другим основным production-языком
• Опыт работы с крупными реальными кодовыми базами
• Сильные навыки ревью кода и технического анализа
• Понимание современных практик разработки ПО
• Опыт работы с GitHub-процессами
• Знакомство с CI/CD и production-процессами
• Умение анализировать незнакомые репозитории
• Сильные навыки письменной коммуникации и структурированного технического мышления
• Опыт использования современных LLM или AI-инструментов для кодинга
• Опыт с RLHF, preference data, дизайном рубрик или post-training — плюс
• Опыт оценки LLM или coding-агентов — преимущество

Условия

• Независимый контракт (contractor)
• Удалённая работа, только Северная Америка
• Оплата $100–$150 в час
• Гибкая занятость примерно 20–40 часов в неделю
• Пересечение с Pacific Time не менее 6 часов в день
• Ожидаемая длительность проекта около 3 месяцев
• Старт как можно скорее
• Процесс отбора: AI-интервью ~25 минут, практическое задание ~30 минут, интервью с hiring manager ~20 минут

Навыки

• Python
• TypeScript
• JavaScript
• Go
• Java
• GitHub
• CI/CD
• LLM
• RLHF
• preference data
• rubric design
• post-training