Remote | Senior Software Engineer – LLM Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Частичная консультационная позиция для опытных senior-инженеров: оценка больших языковых моделей, разработка бенчмарков для кода и исследование AI-ассистированной разработки ПО.

Задачи

• Курировать качественные примеры кода для обучения и бенчмаркинга моделей
• Разрабатывать эталонные решения инженерных задач
• Исправлять и улучшать код на Python, JavaScript, ReactJS, C/C++, Java, Rust и Go
• Оценивать сгенерированный ИИ код на техническую корректность, эффективность, масштабируемость и надёжность
• Выявлять слабые места реализаций и повторяющиеся паттерны ошибок
• Предоставлять структурированные обоснования решений по оценке
• Проектировать механизмы автоматической проверки инженерных решений
• Создавать агентов для оценки качества кода
• Оценивать возможности моделей на всём жизненном цикле разработки ПО, включая архитектуру, API-дизайн, запуск и мониторинг
• Сотрудничать с исследователями и кросс-функциональными командами
• Участвовать в формировании датасетов и стандартов качества оценки

Требования

• Несколько лет профессионального опыта в разработке ПО
• Минимум 2 года непрерывного full-time опыта в топовой продуктовой компании
• Сильные навыки full-stack разработки
• Опыт создания масштабируемого production-кода
• Глубокое понимание архитектуры ПО и системного дизайна
• Знание отладки и оценки качества кода
• Опыт ревью и улучшения сложного production-кода
• Владение одним или несколькими языками: Python, JavaScript, C/C++, Java, Rust, Go
• Опыт с ReactJS приветствуется
• Понимание API-дизайна и production-реализации
• Знакомство с мониторингом и операционной поддержкой
• Сильные аналитические навыки и навыки решения задач
• Отличные навыки письменной и устной коммуникации
• Умение работать удалённо с исследовательскими и техническими командами

Условия

• Part-time контракт в качестве независимого подрядчика
• Полностью удалённая работа
• Минимальная загрузка 10 часов в неделю
• Гибкая загрузка до 40 часов в неделю
• Требуется частичное пересечение с рабочими часами PST
• Начальная длительность проекта около 1 месяца
• Старт проекта на следующей неделе
• Возможно продление по результатам работы
• Медицинские и оплачиваемые отпуска не предусмотрены

Навыки

• Python
• JavaScript
• ReactJS
• C/C++
• Java
• Rust
• Go
• LLM
• API design
• system design
• debugging
• code review
• monitoring