Tether
AI Inference Engineer QVAC (100% remote Worldwide)
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер, отвечающий за C++-слой инференса локального AI-стека QVAC: запуск моделей на пользовательском железе быстро, стабильно и предсказуемо. Работа с рантаймом, памятью, пропускной способностью и долгими сессиями, портирование и оптимизация движков инференса под edge-устройства.
Задачи
- Разворачивать ML-модели на edge-устройствах с использованием llama.cpp и ggml
- Портировать и улучшать движки инференса для эффективной работы на разных GPU-архитектурах
- Оптимизировать рантайм: скорость загрузки моделей, потребление памяти, баланс throughput/latency, стабильность долгих сессий
- Определять и развивать ключевые абстракции, от которых зависят функции инференса
- Тесно сотрудничать с исследователями: помогать с кодом, обучением и переносом моделей из research в production
- Интегрировать AI-функции в существующие продукты
Требования
- Сильные навыки программирования на C++
- Опыт работы с движками инференса Llama.cpp и ggml
- Опыт работы с GPU-фреймворками: CUDA, Vulkan, Metal или OpenCL
- Понимание концепций глубокого обучения и архитектур моделей
- Опыт с transformers, LLM, diffusion-моделями
- Способность быстро осваивать новые технологии
- Степень в Computer Science, AI, Machine Learning или смежной области и опыт в AI R&D
Условия
- 100% удалённая работа по всему миру
- Глобальная распределённая команда
- Работа над приватными on-device AI-продуктами
Навыки
- C++
- llama.cpp
- ggml
- CUDA
- Vulkan
- Metal
- OpenCL
- transformers
- LLM
- Diffusion models
- JavaScript