Remote Software Engineer - Python/Typescript

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик для оценки и улучшения AI-моделей, генерирующих код. Работа с кодинг-агентами в реальных репозиториях: ревью сгенерированного кода, выявление ошибок и создание критериев оценки качества.

Задачи

• Оценивать сгенерированный AI код и решения в реальных репозиториях
• Проверять поведение агента, использование инструментов и изменения кода на корректность и качество
• Выявлять технические ошибки, слабые подходы и повторяющиеся сбои моделей
• Сравнивать результаты моделей и объяснять, почему одно решение лучше другого
• Создавать и уточнять рубрики и критерии оценки задач по программированию
• Формировать качественные данные оценки и предпочтений для улучшения моделей
• Строить и поддерживать пайплайны и инфраструктуру для генерации, сбора и оценки данных
• Обобщать результаты работы в понятные отчёты и рекомендации для команды
• Тесно сотрудничать с исследователями и инженерами, превращая качественные суждения в масштабируемые процессы

Требования

• 5+ лет практического опыта разработки ПО
• Уверенное владение Python, TypeScript/JavaScript, Go или другим основным production-языком
• Опыт работы с крупными реальными кодовыми базами
• Сильные навыки код-ревью и технического суждения
• Умение чётко объяснять, почему реализация корректна, некорректна или может быть улучшена
• Сильные навыки письменной коммуникации
• Опыт использования современных LLM или AI-инструментов для программирования
• Опыт с оценкой LLM, кодинг-агентами, RLHF, данными предпочтений, дизайном рубрик или post-training — плюс, но не обязателен

Условия

• Оплата по рыночной ставке, требуется указать ожидаемую почасовую ставку
• Занятость 40 часов в неделю, желательно минимум 6 часов пересечения с Pacific Time
• Формат: независимый подрядчик
• Длительность: около 3 месяцев
• Старт: как можно скорее
• Локация: Северная Америка, LATAM или Индия
• Процесс отбора: AI-интервью (~25 минут), практическое задание по оценке кода/AI (~30 минут), интервью с нанимающим менеджером (~20 минут)

Навыки

• Python
• TypeScript
• JavaScript
• Go
• LLM
• AI coding tools
• RLHF
• rubric design
• post-training