Software Engineer - AI Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду AI Platform LinkedIn, отвечающую за масштабирование обучения, feature engineering и инференса AI-моделей с сотнями миллиардов параметров на тысячах GPU. Работа над распределённым обучением, feature-платформой, serving-инфраструктурой и MLOps.

Задачи

• Проектировать, реализовывать и оптимизировать производительность крупномасштабного распределённого обучения и serving для рекомендательных и LLM-моделей
• Улучшать наблюдаемость и понятность систем с фокусом на продуктивность разработчиков и устойчивость систем
• Совместно с коллегами и лидами определять, приоритизировать и быстро реализовывать значимые фичи
• Разрабатывать высокопроизводительный data I/O и решать проблемы в open-source библиотеках (PyTorch, Huggingface и др.)
• Обеспечивать распределённое обучение моделей с сотнями миллиардов параметров, отладку и оптимизацию deep learning обучения
• Развивать контейнеризованную оркестрацию пайплайнов, профилирование и обновление внутренних версий фреймворков (CUDA, cuDNN, NCCL, TensorFlow, PyTorch и др.)
• Разрабатывать инфраструктуру Feature Platform для online, offline и nearline окружений (миллионы QPS, мультитерабайты данных)
• Строить низколатентные высокопроизводительные приложения для serving больших и сложных LLM и персонализационных моделей
• Внедрять GPU-инференс и CUDA-оптимизации, on-device и online обучение
• Развивать инфраструктуру MLOps и экспериментов: AI Metadata, Observability, Orchestration, Ramping

Требования

• Bachelor’s Degree in Computer Science или смежной технической дисциплине, либо эквивалентный практический опыт
• 1+ лет опыта в индустрии по построению/лидированию deep learning систем
• Опыт с Java, C++, Python, Go, Rust, C# и/или функциональными языками (Scala и др.)
• Опыт и квалификация в Machine Learning, AI
• 2+ лет релевантного опыта (предпочтительно)
• MS или PhD в Computer Science или смежной дисциплине (предпочтительно)
• Опыт построения ML-приложений, LLM serving, GPU serving (предпочтительно)
• Опыт с поисковыми системами или крупномасштабными распределёнными системами (предпочтительно)
• Опыт с распределёнными движками обработки данных (Flink, Beam, Spark) и feature engineering (предпочтительно)
• Опыт в инфраструктуре распределённого ML-обучения: Horovod, PyTorch FSDP, DeepSpeed, Huggingface, PyTorch Lightning, LLMs, GNNs, MLFlow, Kubeflow (предпочтительно)
• Знакомство с контейнерами и оркестрацией (Kubernetes) (предпочтительно)
• Опыт с deep learning фреймворками и тензорными библиотеками: PyTorch, TensorFlow, JAX/FLAX (предпочтительно)

Условия

• Гибридный формат работы: из дома и из офиса LinkedIn в отдельные дни
• Диапазон оплаты $120,000 - $195,000 в год
• Итоговый компенсационный пакет может включать годовой performance bonus, акции и льготы
• Щедрые программы здоровья и wellness, отпуск для сотрудников всех уровней
• Работа с open-source сообществом, множество коммиттеров в команде
• Возможность строить карьеру и личный бренд в AI-индустрии

Навыки

• Java
• C++
• Python
• Go
• Rust
• C#
• Scala
• Machine Learning
• Deep Learning
• PyTorch
• TensorFlow
• Huggingface
• Horovod
• Ray
• vLLM
• DeepSpeed
• PyTorch Lightning
• PyTorch FSDP
• JAX
• FLAX
• CUDA
• cuDNN
• NCCL
• RDMA
• TorchRec
• Flash Attention
• Spark
• Beam
• Flink
• Kubernetes
• MLFlow
• Kubeflow
• LLM
• GNN
• Distributed Systems
• Feature Engineering
• GPU Inference
• Recommendation Systems
• Information Retrieval
• Big Data