Remote Software Engineer - Python/Typescript

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик для оценки и улучшения AI-моделей, генерирующих код: работа с кодинг-агентами в реальных репозиториях, ревью сгенерированного кода и формирование сигналов для обучения моделей.

Задачи

• Оценивать сгенерированный AI код и решения в реальных репозиториях
• Проверять поведение агента, использование инструментов и изменения кода на корректность и качество
• Выявлять технические ошибки, слабые подходы и повторяющиеся сбои моделей
• Сравнивать выводы моделей и объяснять, почему одно решение лучше другого
• Создавать и уточнять рубрики и критерии оценки задач по программированию
• Формировать качественные данные оценки и предпочтений для улучшения моделей
• Строить и поддерживать пайплайны и инфраструктуру для генерации, сбора и оценки данных
• Обобщать результаты работы в понятные отчёты и рекомендации для команды
• Тесно сотрудничать с исследователями и инженерами, превращая качественные суждения в масштабируемые процессы

Требования

• 5+ лет практического опыта в разработке ПО
• Уверенное владение Python, TypeScript/JavaScript, Go или другим основным production-языком
• Опыт работы с крупными реальными кодовыми базами
• Сильные навыки код-ревью и технического суждения
• Умение чётко объяснять, почему реализация корректна, некорректна или может быть улучшена
• Сильные навыки письменной коммуникации
• Опыт использования современных LLM или AI-инструментов для кодинга
• Плюсом будет опыт с оценкой LLM, кодинг-агентами, RLHF, данными предпочтений, дизайном рубрик или post-training

Условия

• Удалённая работа
• Оплата по рыночной ставке, требуется указать ожидаемую почасовую ставку
• Предпочтительно 40 часов в неделю с пересечением не менее 6 часов по Pacific Time
• Формат: независимый подрядчик
• Длительность: около 3 месяцев
• Старт: как можно скорее
• Процесс отбора: AI-интервью (~25 минут), практическое задание по оценке кода/AI (~30 минут), интервью с нанимающим менеджером (~20 минут)

Навыки

• Python
• TypeScript
• JavaScript
• Go
• LLM
• AI coding tools
• RLHF
• rubric design
• post-training