Senior Software Engineer, ML API – AI Inference

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду AI inference Cerebras: разработка и развитие ML API-слоя гетерогенной системы serving (GPU prefill + decode на Wafer-Scale Engine), обеспечение консистентного поведения API для моделей и бэкендов.

Задачи

• Проектировать, реализовывать, тестировать и эксплуатировать фичи chat completions, генерации текста, стриминга, конфигурации моделей, tool calling, structured outputs и мультимодальных входов
• Писать дизайн-документы, оценивать технические компромиссы, разбивать проекты на вехи и координировать реализацию с инженерами и партнёрскими командами
• Обеспечивать консистентную семантику запросов и ответов между GPU prefill, Cerebras decode и другими бэкендами inference
• Интегрировать foundation-модели, токенизаторы, chat templates, конфигурации генерации и методы сэмплинга в платформу serving
• Расширять inference-сервисы и их интеграцию с vLLM, PyTorch, Hugging Face, LLGuidance и компонентами Cerebras runtime
• Реализовывать routing, передачу состояния, обработку ошибок, ретраи, отмену и управление жизненным циклом запросов для disaggregated inference
• Диагностировать узкие места и улучшать time to first token, латентность стриминга, пропускную способность и эффективность ресурсов
• Строить conformance-тесты, наборы валидации моделей, интеграционные тесты и бенчмарки производительности
• Улучшать метрики, трейсинг, логирование, алерты и диагностические инструменты; разбирать инциденты и устранять первопричины
• Проводить ревью дизайна и кода, менторить инженеров и делиться экспертизой

Требования

• 5+ лет опыта разработки ПО, включая самостоятельное владение production-сервисами, распределёнными системами или крупными компонентами
• Сильный Python и владение Go, C++, Rust или другим языком для production-сервисов
• Опыт проектирования и поставки фич, охватывающих несколько компонентов, с документированием дизайна и координацией реализации
• Опыт создания и развития production API: валидация, обработка ошибок, совместимость, тестирование; знакомство с REST, gRPC или streaming-протоколами
• Опыт интеграции ПО через границы сервисов, фреймворков, рантаймов или инфраструктуры
• Опыт эксплуатации сервисов на Linux с контейнерами, Kubernetes или аналогами и CI/CD
• Умение диагностировать проблемы корректности, надёжности и производительности в распределённых компонентах
• Сильные коммуникативные навыки и опыт ведения технической поставки небольшого проекта, ревью и менторства
• Умение превращать неоднозначные требования в поддерживаемое ПО
• Степень бакалавра в Computer Science, Computer Engineering, Electrical Engineering или смежной области либо эквивалентный опыт

Условия

• Работа над прорывной AI-платформой без ограничений GPU
• Публикация и open source передовых AI-исследований
• Работа на одном из самых быстрых AI-суперкомпьютеров в мире
• Стабильность занятости при энергии стартапа
• Простая небюрократическая культура, уважающая индивидуальные убеждения
• Equal opportunity employer

Навыки

• Python
• Go
• C++
• Rust
• REST
• gRPC
• streaming protocols
• Linux
• containers
• Kubernetes
• CI/CD
• vLLM
• PyTorch
• Hugging Face
• LLGuidance
• SGLang
• Triton
• TensorRT-LLM
• tokenization
• chat templates
• structured generation
• constrained decoding
• KV-cache transfer
• prefix caching
• chunked prefill
• GPU inference
• CUDA
• ROCm
• quantization
• BF16
• FP8
• FP4
• INT8
• INT4