Software Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду платформы Foundational Model Service, которая предоставляет инженерным командам Cisco доступ к LLM, SLM и embedding-моделям. Отвечает за serving моделей, тюнинг рантаймов, оптимизацию ускорителей и надёжность платформы с SLA 99.9%.

Задачи

• Развивать направление model serving и roadmap, включая выбор и тюнинг рантаймов vLLM, NVIDIA NIM и других
• Руководить квантованием и оптимизацией под ускорители разных GPU-вендоров с валидацией производительности, качества, ёмкости и стоимости
• Разрабатывать и улучшать платформенные сервисы, API, шлюзы и операционный инструментарий вокруг инференса моделей
• Развивать фреймворки оценки, бенчмаркинга и нагрузочного тестирования, гейтящие релизы моделей по SLO
• Определять критерии промоушена моделей по качеству, безопасности, latency, throughput и потреблению ресурсов
• Оценивать влияние fine tuning, distillation и quantization на поведение в продакшене
• Формировать поведение маршрутизации и ёмкости: prefix caching, KV aware routing, разделение prefill и decode
• Улучшать model registry, упаковку, оценку, релиз и процессы разработки через IaC, GitHub Actions и agentic workflows
• Дорабатывать артефакты моделей при требованиях совместимости или производительности рантайма
• Развивать observability: здоровье платформы, производительность моделей, ёмкость, adoption и использование
• Мониторить продакшен, быть эскалационной точкой в on-call, вести постмортемы и root cause analysis
• Координироваться с командами клиентов, продукта, дизайна и инженерии: сбор требований, прогноз ёмкости, трекинг майлстоунов
• Применять AI к операциям платформы: anomaly detection, автоматизированное восстановление, предиктивные операции
• Вести фичи и проекты от технического дизайна до завершения с минимальным надзором
• Писать чистый код и юнит-тесты, ревьюить код на качество, threat models, масштаб, надёжность и скорость релиза
• Быть техническим ресурсом, менторить инженеров, проводить design review и делиться знаниями
• Создавать технические дизайны, runbook'и, пользовательскую документацию, апдейты по проектам и планы устранения проблем

Требования

• 7+ лет опыта в системной, платформенной или software-инженерии либо эквивалентный практический опыт
• Продакшен-опыт разработки и эксплуатации AI-инфраструктуры
• Глубокое понимание внутренностей LLM, SLM, embedding и reranker-моделей: context length, batching, token throughput, потребление памяти
• Практический опыт serving моделей на рантаймах vLLM, NVIDIA NIM или Triton
• Подтверждённые результаты в построении сервисов вокруг моделей: API, шлюзы, операционный инструментарий
• Глубина в оценке и бенчмаркинге моделей и принятии релизных решений на основе результатов
• Опыт проведения артефактов моделей через оценку, оптимизацию, упаковку и продакшен-serving
• Глубокое понимание supervised fine tuning, parameter efficient fine tuning, distillation и quantization
• Владение концепциями распределённого обучения на GPU, mixed precision и стратегиями параллелизма
• Продакшен-опыт работы с Kubernetes для GPU-нагрузок в масштабе
• Администрирование и траблшутинг Linux
• Программирование на Python или Go
• Свободное владение CI/CD и Infrastructure as Code, например Terraform или Ansible
• Владение инструментами мониторинга и observability: Prometheus, Grafana или Splunk
• Опыт менторства инженеров и установления технических стандартов
• Способность быстро осваивать новые системы и вести незнакомую работу
• Готовность участвовать в on-call ротации для критичного сервиса
• Чёткая письменная коммуникация и привычка документировать свою работу
• Степень бакалавра в Computer Science, Information Systems или смежной области либо эквивалентный практический опыт

Условия

• Стартовая зарплатная вилка $167,700.00 – $245,200.00 (без учёта бонусов, equity и льгот)
• Медицинская, стоматологическая и офтальмологическая страховка
• 401(k) с matching-взносом от Cisco
• Оплачиваемый родительский отпуск
• Страхование краткосрочной и долгосрочной нетрудоспособности, базовое страхование жизни
• Возможность получения грантов restricted stock units Cisco
• 10 оплачиваемых праздников в год плюс 1 floating holiday для non-exempt сотрудников
• Оплачиваемый выходной на день рождения, оплачиваемый year-end shutdown и 4 оплачиваемых дня на личное wellness
• 16 дней оплачиваемого отпуска в год для non-exempt сотрудников (начисление 4.92 часа за период)
• Flexible vacation time off для exempt сотрудников без жёсткого лимита
• 80 часов sick leave при найме и каждый 1 января, перенос до 80 неиспользованных часов
• Дополнительные оплачиваемые дни для решения критичных семейных вопросов
• Опционально 10 оплачиваемых дней в год на волонтёрство
• Годовые бонусы для non-sales ролей
• On-call распределён по команде

Навыки

• vLLM
• NVIDIA NIM
• Triton
• Kubernetes
• GPU
• Linux
• Python
• Go
• CI/CD
• Terraform
• Ansible
• Prometheus
• Grafana
• Splunk
• LLM
• SLM
• embedding models
• reranker models
• quantization
• fine tuning
• distillation
• PyTorch
• Hugging Face
• LoRA
• QLoRA
• PEFT
• FSDP
• DeepSpeed
• MLflow
• Weights and Biases
• ArgoCD
• Helm
• GitOps
• Envoy
• APISIX
• NGINX
• ROCm
• CUDA
• AMD accelerators
• lm-eval
• DeepEval
• RAG
• agent systems
• Infrastructure as Code
• GitHub Actions
• prefix caching
• KV aware routing
• disaggregated serving
• distributed inference
• mixed precision
• model registry
• observability
• anomaly detection