Software Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по данным и оценке ML-моделей в технологической компании (найм через Raydar). Проектирование датасетов, методов оценки и фреймворков измерения для обучения и проверки языковых моделей.

Задачи

• Проектировать целевые выборки данных, выявляющие слабые места поведения моделей в разных предметных областях.
• Создавать и дорабатывать рубрики оценки и reward-сигналы для пайплайнов обучения моделей.
• Изучать поведение аннотаторов и проводить эксперименты для улучшения возможностей моделей.
• Разрабатывать количественные методы оценки качества, разнообразия и влияния датасетов.
• Отвечать за пайплайны данных, поставляющие естественные и синтетические обучающие материалы.
• Совместно с исследовательскими партнёрами превращать цели обучения в понятные спецификации данных и оценки.

Требования

• 1–4 года опыта в разработке ПО или ML-инженерии.
• Сильные навыки Python и опыт построения надёжных пайплайнов данных, инструментов экспериментов или систем оценки.
• Практический опыт оценки языковых моделей, post-training, reward modeling или смежной ML-инфраструктуры.
• Научное мышление: постановка контролируемых тестов и выводы из неполных результатов.
• Опыт создания или аудита обучающих данных и оценки их влияния на качество модели.
• Способность быстро осваивать незнакомые домены и рассуждать в них.

Условия

• Базовая зарплата: 260 000–290 000 USD в год.
• Опционы (equity).
• Участие в прибыли (profit sharing).
• Офис в Сан-Франциско, полная занятость, работа on-site.

Навыки

• Python
• ML
• LLM evaluation
• post-training
• reward modeling
• data pipelines
• experimentation