Software Engineer, AI Infrastructure - LVM Inference & Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер AI-инфраструктуры в Ambient.ai: построение и масштабирование систем инференса, оценки и непрерывного улучшения моделей (computer vision, LLM, LVM, мультимодальные) на терабайтах видео в реальном времени.

Задачи

• Проектировать, строить и поддерживать AI-инфраструктуру для инференса computer vision, LLM, LVM и мультимодальных моделей в реальном времени
• Создавать масштабируемые системы для запуска моделей на больших объёмах видео и сенсорных данных
• Оптимизировать инференс по latency, throughput, загрузке GPU, надёжности и стоимости
• Разрабатывать evaluation-харнессы и системы бенчмаркинга для оценки качества моделей, производительности и регрессий
• Строить инфраструктуру для непрерывной оценки, экспериментов и деплоя моделей
• Совместно с research-учёными выводить в продакшн новейшие достижения в CV, LLM, LVM, RAG и мультимодальном AI
• Улучшать архитектуру model-serving: батчинг, кэширование, роутинг, квантизация, параллелизм, использование железа
• Разрабатывать data engines и feedback loops для сбора обучающих данных и улучшения качества моделей
• Создавать инструменты observability, мониторинга и отладки продакшн AI-систем
• Формировать best practices по деплою, оценке и эксплуатации AI-систем в enterprise-среде

Требования

• 2+ года индустриального опыта построения инфраструктуры, распределённых систем, ML-платформ или продакшн AI-систем
• BS/MS в Computer Science или смежной технической области либо эквивалентный практический опыт
• Сильный бэкграунд в программировании, особенно на Python, и фундаментальные навыки software engineering
• Опыт проектирования и построения масштабируемой ML-инфраструктуры для обучения, инференса, оценки и деплоя
• Практический опыт запуска deep learning моделей в продакшне, желательно LLM, LVM, vision-language или мультимодальных
• Понимание техник оптимизации инференса: батчинг, кэширование, квантизация, параллелизм, оптимизация памяти, загрузка GPU, снижение latency
• Опыт с model-serving фреймворками: vLLM, Triton Inference Server или аналоги
• Опыт построения evaluation-фреймворков, тестовых харнессов, бенчмарков, регрессионных тестов или систем измерения качества моделей
• Сильный бэкграунд в machine learning и deep learning; опыт в computer vision — большой плюс
• Опыт проектирования data engines или пайплайнов для сбора, управления и курирования данных обучения и оценки
• Знакомство с интеграцией LLM, LVM, RAG-пайплайнов, embedding-моделей и мультимодальных моделей в продакшн-приложения
• Опыт с облачной инфраструктурой, контейнерами, оркестрацией, распределёнными системами и GPU-нагрузками
• Сильные навыки коллаборации и коммуникации с research-учёными, продуктовыми и инфраструктурными командами
• Проактивный подход к решению задач, ownership и адаптивность к новым AI-технологиям

Условия

• Full-time, гибрид: 3 дня в неделю в офисе Redwood City, остальные сотрудники Bay Area присоединяются по пятницам
• Stock options для регулярных full-time сотрудников
• Комплексный пакет health + welfare (Medical, Dental, Vision, Life, EAP, Legal Services, 401k)
• Гибкий отпуск, включая Winter Break между Рождеством и Новым годом
• Доставка новейшей техники и мерча на дом
• Мероприятия для общения с коллегами, походы, музыка, еда

Навыки

• Python
• vLLM
• Triton Inference Server
• CUDA
• NCCL
• PyTorch
• TensorRT
• ONNX
• RAG
• vector databases
• embedding models
• LLM
• LVM
• computer vision
• multimodal AI
• GPU
• distributed systems
• quantization
• model serving
• Kubernetes
• containers
• cloud infrastructure