Remote | Senior Software Engineer – LLM Evaluation & Repository Validation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Частичная консультационная позиция для опытных Senior Software Engineer с экспертизой уровня tech lead. Работа с публичными репозиториями: анализ issues, настройка окружений, оценка качества тестов и проверка того, как LLM справляются с реальными задачами по исправлению багов.

Задачи

• Анализировать issues в поддерживаемых публичных репозиториях и отбирать технически значимые задачи для оценки LLM
• Триажить issues по сложности, воспроизводимости и инженерной значимости
• Настраивать сложные репозитории для локального запуска и создавать воспроизводимые окружения разработки и тестирования
• Контейнеризировать проекты с помощью Docker и решать проблемы зависимостей и конфигурации окружения
• Модифицировать и запускать реальные кодовые базы локально, оценивать решения моделей на задачах исправления багов
• Оценивать покрытие unit-тестами и качество тестов, выявлять недостающие edge cases
• Разрабатывать или дорабатывать тесты для более надёжной валидации
• Сотрудничать с исследовательскими командами по выбору репозиториев и задач
• Участвовать в оценке сложности бенчмарков и покрытия датасетов
• При необходимости давать техническое руководство junior-инженерам

Требования

• Опыт software engineering уровня senior или tech lead
• Сильная экспертиза хотя бы в одном из: Python, JavaScript, Java, Go, Rust, C, C++, C#, Ruby
• Уверенная работа с незнакомыми и сложными кодовыми базами
• Сильное владение Git и workflow разработки на основе репозиториев
• Практический опыт с Docker и настройкой окружений
• Умение запускать, модифицировать, отлаживать и тестировать production-quality код локально
• Понимание тестирования ПО и проектирования unit-тестов
• Умение оценивать качество кода, покрытие тестами и корректность реализации
• Опыт работы с качественными публичными репозиториями (500+ stars)
• Сильные навыки отладки и триажа issues
• Ясная письменная коммуникация и техническое мышление
• Опыт участия в open-source или его оценки — преимущество
• Опыт LLM-исследований или оценки — преимущество, но не обязателен
• Опыт с developer tools или агентами автоматизации ПО — плюс

Условия

• Part-time контракт с независимым подрядчиком
• Полностью удалённая работа
• Занятость около 20 часов в неделю
• Требуется частичное пересечение с рабочими часами PST
• Начальная длительность контракта около 3 месяцев
• Ожидаемый старт проекта — на следующей неделе
• Медицинские и оплачиваемые отпуска не предусмотрены
• Возможность руководить junior-инженерами или поддерживать их

Навыки

• Python
• JavaScript
• Java
• Go
• Rust
• C
• C++
• C#
• Ruby
• Git
• Docker
• LLM evaluation
• unit testing
• open-source