Remote Software Engineer - Python/Typescript

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик для оценки и улучшения AI-моделей, генерирующих код. Работа с coding-агентами в реальных репозиториях: ревью сгенерированного кода, выявление ошибок и создание критериев оценки качества.

Задачи

• Оценивать AI-сгенерированный код и решения в реальных репозиториях
• Проверять поведение агента, использование инструментов и изменения кода на корректность и качество
• Выявлять технические ошибки, слабые подходы и повторяющиеся режимы отказа моделей
• Сравнивать выводы моделей и объяснять, почему одно решение лучше другого
• Создавать и уточнять рубрики и критерии оценки задач по программированию
• Готовить качественные данные оценки и предпочтений для улучшения моделей
• Строить и поддерживать пайплайны и инфраструктуру для генерации, сбора и оценки данных
• Обобщать результаты работы в понятные отчёты и рекомендации для команды
• Тесно сотрудничать с исследователями и инженерами, превращая качественные суждения в масштабируемые процессы

Требования

• 5+ лет практического опыта в разработке ПО
• Уверенное владение Python, TypeScript/JavaScript, Go или другим основным production-языком
• Опыт работы с крупными реальными кодовыми базами
• Сильные навыки код-ревью и технического суждения
• Умение чётко объяснять, почему реализация корректна, некорректна или может быть улучшена
• Сильные навыки письменной коммуникации
• Опыт использования современных LLM или AI-инструментов для программирования
• Плюсом будет опыт с оценкой LLM, coding-агентами, RLHF, данными предпочтений, дизайном рубрик или post-training

Условия

• Оплата по рыночной ставке (нужно указать ожидаемую почасовую ставку)
• Занятость 40 часов в неделю, минимум 6 часов пересечения с Pacific Time
• Формат: независимый подрядчик
• Длительность: около 3 месяцев
• Старт: как можно скорее
• Локация: Северная Америка, LATAM или Индия
• Процесс отбора: AI-интервью (~25 мин), практическое задание по оценке кода/AI (~30 мин), интервью с hiring manager (~20 мин)

Навыки

• Python
• TypeScript
• JavaScript
• Go
• LLM
• AI coding tools
• RLHF