AI Research Engineer (Kernel & Inference Optimization) - 100% Remote Worldwide

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-исследователь в команду AI-моделей Tether. Занимается оптимизацией инференса и kernel-оптимизациями для мобильных и edge-устройств, обеспечивая высокую пропускную способность и низкую задержку.

Задачи

• Проектировать и разворачивать современные архитектуры сервинга моделей с высокой пропускной способностью и низкой задержкой, оптимизируя потребление памяти на разных платформах, включая устройства с ограниченными ресурсами и edge-платформы
• Проводить и мониторить контролируемые тесты инференса в симулированных и живых production-средах, отслеживая задержку, пропускную способность, потребление памяти и частоту ошибок
• Готовить качественные тестовые датасеты и сценарии симуляции под реальные задачи развёртывания на маломощных устройствах
• Анализировать вычислительную эффективность и выявлять узкие места в пайплайне сервинга, устраняя проблемы с батчингом, сетевыми задержками и высоким потреблением памяти
• Совместно с кросс-функциональными командами интегрировать оптимизированные фреймворки сервинга и инференса в production-пайплайны для edge и on-device приложений

Требования

• Степень в области Computer Science или смежной области; желательно PhD в NLP, Machine Learning или смежной области с публикациями на конференциях A*
• Знание Metal Shading Language (MSL) и опыт написания кастомных compute-шейдеров с нуля
• Опыт низкоуровневых kernel-оптимизаций и оптимизации инференса на мобильных устройствах с измеримым улучшением задержки, пропускной способности и памяти
• Глубокое понимание современных архитектур сервинга моделей и техник оптимизации инференса
• Экспертиза в написании GPU-ядер для мобильных устройств и понимание фреймворков и движков сервинга моделей
• Опыт разработки и развёртывания end-to-end пайплайнов инференса
• Способность применять эмпирические исследования для решения задач оптимизации задержки, вычислительных узких мест и ограничений памяти
• Опыт проектирования и оптимизации высокопроизводительных inference-движков с использованием Tensor Parallelism, Pipeline Parallelism и Expert Parallelism
• Глубокое понимание математики и структуры Diffusion Models и Vision Transformers
• Понимание Pruning, Quantization, Flash attention, KV Cache, Speculative Decoding (Eagle)

Условия

• 100% удалённая работа по всему миру
• Работа в глобальной команде из разных уголков мира
• Возможность внести вклад в инновационную финтех-платформу

Навыки

• Metal Shading Language
• GPU kernels
• Tensor Parallelism
• Pipeline Parallelism
• Expert Parallelism
• Diffusion Models
• Vision Transformers
• Pruning
• Quantization
• Flash attention
• KV Cache
• Speculative Decoding
• Eagle