Principal Staff Software Engineer, Systems Infrastructure

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Ведущий инженер (Principal Staff) в команду LLM Serving AI Infrastructure в LinkedIn. Отвечает за архитектуру и развитие платформы крупномасштабного инференса LLM: производительность, эффективность GPU, надёжность и стоимость AI-нагрузок.

Задачи

• Определять долгосрочную техническую стратегию и архитектуру крупномасштабной инфраструктуры serving и инференса LLM
• Руководить проектированием, разработкой и развитием высокопроизводительных online- и offline-платформ инференса для LLM и других продвинутых AI-моделей
• Добиваться существенного улучшения latency, throughput, утилизации GPU, надёжности, масштабируемости и стоимости инфраструктуры
• Проектировать serving-системы, эффективно работающие на больших GPU-флотах и поддерживающие разнообразные модели, продукты и продакшн-нагрузки
• Оптимизировать исполнение моделей по всему стеку: архитектура модели, serving runtime, компилятор, ядра, память, сеть и аппаратный уровень
• Внедрять техники оптимизации моделей: квантизация, pruning, сжатие, батчинг, кэширование, оптимизация памяти
• Повышать эффективность GPU через низкоуровневую работу: оптимизация CUDA и Triton, улучшение ядер, тюнинг runtime, планирование, hardware-aware performance engineering
• Принимать ключевые архитектурные компромиссы между latency, throughput, качеством модели, ёмкостью, надёжностью, developer experience и стоимостью
• Работать совместно с ML, инфраструктурными, продуктовыми и исследовательскими командами для выявления системных узких мест serving и формирования долгосрочного roadmap AI-инфраструктуры
• Оценивать и внедрять новые технологии инференса, serving-архитектуры, ускорители и open-source фреймворки
• Участвовать в развитии open-source технологий serving LLM: SGLang, vLLM, Triton, TensorRT, Ray и аналогичных
• Вести сложные кросс-организационные инициативы от архитектуры и дизайна до продакшн-запуска, внедрения и операционной зрелости
• Менторить senior-технических лидеров, повышать планку инженерии и влиять на стратегию AI-инфраструктуры в LinkedIn

Требования

• Степень BA/BS в Computer Science или смежной технической области либо эквивалентный практический опыт
• 10+ лет индустриального опыта в software engineering, распределённых системах, инфраструктуре, ML-системах или смежных областях
• 5+ лет опыта в роли архитектора, технического лидера или senior technical leadership с формированием архитектуры и технического направления в сложных системах или нескольких командах
• Опыт проектирования, построения и масштабирования крупномасштабных продакшн ML-систем, платформ serving моделей, AI-инфраструктуры или распределённых систем
• Опыт построения или оптимизации GPU-инференса: CUDA, Triton, оптимизация ядер, оптимизация runtime, hardware-aware performance tuning
• Практический опыт программирования на одном или нескольких языках: C++, Python, Go, Java или Rust, с ведением технически сложных инициатив на уровне команд и организаций

Условия

• Гибридный формат работы: из дома и из офиса LinkedIn в отдельные дни по потребностям команды
• Диапазон оплаты $207,000–$340,000 в год; фактический пакет зависит от навыков, опыта, сертификаций и локации
• Общий компенсационный пакет может включать годовой performance bonus, акции, льготы и другие incentive-программы
• LinkedIn — равноправный работодатель, предоставляет разумные accommodations для кандидатов с инвалидностью

Навыки

• LLM serving
• AI inference
• GPU infrastructure
• CUDA
• Triton
• GPU kernel optimization
• Distributed systems
• Quantization
• Pruning
• Compression
• Batching
• Caching
• Memory optimization
• SGLang
• vLLM
• TensorRT
• Ray
• XLA
• TVM
• C++
• Python
• Go
• Java
• Rust
• Machine Learning systems
• Multi-GPU systems
• Mixed precision