Senior Software Engineer, ML Evaluation & Introspection Infrastructure

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду Behavior Analysis компании Aurora. Задача — строить инфраструктуру оценки и интроспекции ML-моделей автономного вождения: пайплайны сравнения версий моделей, embedding-поиск по данным и инструменты анализа.

Задачи

• Строить и масштабировать пайплайны оценки, сравнивающие версии моделей на больших датасетах вождения: offline-эвалы, метрики по срезам, детекция регрессий, отчёты model-vs-model.
• Владеть пайплайнами эмбеддингов и векторного поиска по данным вождения с версионированием под каждую модель.
• Строить инфраструктуру интроспекции моделей (attention, attribution, ablations).
• Определять, как LLM, VLM и агенты меняют ML-анализ: триаж, разметка, кластеризация и суммаризация сценариев вождения и результатов эвалов.
• Работать вместе с ML-инженерами над выбором метрик и делать их надёжными, наблюдаемыми и дешёвыми для прогона на каждой модели.
• Разрабатывать веб-приложение и CLI для поиска датасетов, тренировочных запусков, эвалов и их стоимости.

Требования

• 5+ лет профессионального опыта разработки backend, data или ML-инфраструктуры.
• Сильный Python и уверенное владение SQL.
• Опыт проектирования и эксплуатации крупномасштабных batch- или data-пайплайнов в облаке, включая backfill, ретраи и управление стоимостью.
• Опыт построения систем измерения или оценки: метрики, эксперименты, платформы оценки или аналитики.
• Опыт распределённых вычислений и оркестрации контейнеров (Kubernetes, AWS Batch или аналоги).

Условия

• Гибридный формат: минимум 3 дня в неделю в офисе, для некоторых ролей до 5 дней.
• Годовая зарплата $162,000–$260,000 для позиции в Mountain View, CA.
• Годовой бонус, equity-компенсация и бенефиты.

Навыки

• Python
• SQL
• Kubernetes
• AWS Batch
• LLM
• VLM
• embeddings
• vector search
• distributed compute
• data pipelines