Senior Software Engineer — ML Inference & Numerics

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду, отвечающую за запуск и оптимизацию инференса LLM на собственном AI-ускорителе Tensordyne. Фокус на численной оптимизации, точности и производительности моделей, а также на построении агентных workflow для автоматизации экспериментов.

Задачи

• Строить агентные workflow: давать агентам инструменты для инспекции моделей, изменения реализаций и численных настроек, запуска эмуляции и экспериментов на железе, диагностики сбоев
• Быстро внедрять поддержку новых моделей и доводить их до валидированного производительного исполнения на ускорителе
• Оптимизировать численные параметры: точность, аккумуляцию, квантование, взаимодействие с ядрами, KV-кэшами, памятью и распределённым исполнением
• Делать численное качество измеримым: строить софт для конвертации и эмуляции, сравнивать активации и выходы с эталонными моделями, отслеживать регрессии точности
• Вести полный цикл разработки: дизайн, реализация, тестирование и поставка, строить понятные API для агентов
• Работать с архитекторами железа над влиянием численных форматов и арифметики на реальные модели
• Улучшать SDK и поддержку моделей на основе полученных результатов

Требования

• Глубокое понимание инференса LLM end-to-end: prefill, decode, attention, KV-кэши, MoE, батчинг, параллелизм
• Сильные навыки разработки на Python, опыт владения крупными системами и поставки сложных фич в продакшн
• Опыт работы с агентными инструментами и понимание, как заставить агентов эффективно работать в большой софтверной организации
• Умение формулировать гипотезы, тестировать их и доводить проблемы до решения через границы компонентов
• Сильные коммуникативные навыки: спецификации, дизайн-документы, ревью
• Понимание, как перечисленные аспекты инференса отражаются на вычислениях, памяти и коммуникациях на ускорителе

Условия

• Полный соцпакет и бенефиты для сотрудника и семьи
• Конкурентная компенсация и гибкие опции расходов
• Программы признания заслуг
• Работа в хорошо финансируемом быстрорастущем стартапе
• Штаб-квартиры в Sunnyvale (CA) и Мюнхене, удалённые сотрудники по Северной Америке и Европе

Навыки

• Python
• LLM inference
• prefill
• decode
• attention
• KV cache
• MoE
• batching
• quantization
• vLLM
• SGLang
• ML compilers
• TPU
• Trainium
• Inferentia
• Tenstorrent
• Groq
• Cerebras