Software Engineer - Python/Typescript

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик для оценки и улучшения AI-моделей кодирования: работа с кодирующими агентами в реальных репозиториях, ревью сгенерированного кода и формирование сигналов оценки для обучения моделей.

Задачи

• Оценивать сгенерированный AI код и решения в реальных репозиториях
• Проверять поведение агента, использование инструментов и изменения кода на корректность и качество
• Выявлять технические ошибки, слабые подходы и повторяющиеся режимы отказа моделей
• Сравнивать выводы моделей и объяснять, почему одно решение лучше другого
• Создавать и уточнять рубрики и критерии оценки для задач кодирования
• Формировать качественные данные оценки и предпочтений для улучшения моделей кодирования
• Строить и поддерживать пайплайны и инфраструктуру для генерации, сбора и оценки данных
• Обобщать результаты работы с данными в понятные отчёты и рекомендации для команды
• Тесно сотрудничать с исследователями и инженерами, переводя качественные суждения в масштабируемые процессы

Требования

• 5+ лет практического опыта разработки ПО
• Уверенное владение Python, TypeScript/JavaScript, Go или другим основным production-языком
• Опыт работы с крупными реальными кодовыми базами
• Сильные навыки код-ревью и технического суждения
• Умение чётко объяснять, почему реализация корректна, некорректна или может быть улучшена
• Сильные навыки письменной коммуникации
• Опыт использования современных LLM или AI-инструментов для кодирования
• Плюсом будет опыт с оценкой LLM, кодирующими агентами, RLHF, данными предпочтений, дизайном рубрик или post-training

Условия

• Оплата по рыночной ставке, требуется указать ожидаемую почасовую ставку
• Занятость 40 часов в неделю, желательно минимум 6 часов пересечения с Pacific Time
• Формат: независимый подрядчик
• Длительность: около 3 месяцев
• Старт: как можно скорее
• Процесс отбора: AI-интервью (~25 минут), практическое упражнение по оценке кода/AI (~30 минут), интервью с нанимающим менеджером (~20 минут)

Навыки

• Python
• TypeScript
• JavaScript
• Go
• LLM
• AI coding tools
• RLHF
• rubric design
• post-training