Software Engineer - Python/Typescript

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик в AGI-инфраструктурную компанию Turing для оценки и улучшения AI-моделей кодинга. Работа с кодинг-агентами в реальных репозиториях: ревью сгенерированного кода, выявление ошибок и создание сигналов оценки для обучения моделей.

Задачи

• Оценивать AI-сгенерированный код и решения в реальных репозиториях
• Ревьюить поведение агента, использование инструментов и изменения кода на корректность и качество
• Выявлять технические ошибки, слабые подходы и повторяющиеся режимы отказа моделей
• Сравнивать выводы моделей и объяснять, почему одно решение лучше другого
• Создавать и уточнять рубрики и критерии оценки для задач кодинга
• Готовить качественные данные оценки и предпочтений для улучшения моделей кодинга
• Строить и поддерживать пайплайны и инфраструктуру для генерации, сбора и оценки данных
• Обобщать результаты работы с данными в понятные отчёты и рекомендации
• Тесно сотрудничать с исследователями и инженерами, превращая качественные суждения в масштабируемые процессы
• Делиться чёткими и применимыми выводами с AI-исследователями и инженерами

Требования

• 5+ лет практического опыта в разработке ПО
• Уверенное владение Python, TypeScript/JavaScript, Go или другим крупным production-языком
• Опыт работы с крупными реальными кодовыми базами
• Сильные навыки код-ревью и техническое суждение
• Умение чётко объяснять, почему реализация корректна, некорректна или может быть улучшена
• Сильные навыки письменной коммуникации
• Опыт использования современных LLM или AI-инструментов для кодинга
• Плюсом будет опыт с LLM-оценкой, кодинг-агентами, RLHF, данными предпочтений, дизайном рубрик или post-training

Условия

• Оплата по рыночной ставке (нужно указать ожидаемую почасовую ставку)
• Занятость 40 часов в неделю, минимум 6 часов пересечения с Pacific Time
• Формат: независимый подрядчик
• Длительность: около 3 месяцев
• Старт: как можно скорее
• Локация: Северная Америка, LATAM или Индия
• Процесс отбора: AI-интервью (~25 минут), практическое упражнение по коду/AI (~30 минут), интервью с нанимающим менеджером (~20 минут)

Навыки

• Python
• TypeScript
• JavaScript
• Go
• LLM
• AI coding tools
• RLHF