Senior Software Engineer (AI Inference & Runtime Platform)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в AZX, отвечающий за слой, где физически исполняется AI-нагрузка: inference control plane на open-weight моделях и платформа sandbox-изоляции для недоверенного кода агентов. Работа с Kubernetes, GPU-инфраструктурой, Rust и FastAPI, полная удалёнка с требованием права на работу в США.

Задачи

• Управлять serving-слоем для open-weight моделей: развёртывание и конфигурация движков, стратегия cold-start, SLO по моделям, дисциплина обновлений и канареечных релизов
• Администрировать Kubernetes-слой для inference- и sandbox-нагрузок: операторы и CRD, автомасштабирование (KEDA/Karpenter), планирование и шаринг GPU, жизненный цикл нод
• Отвечать за stateful data plane: hosted vector stores для семантической памяти и graph stores для графов знаний — развёртывание, бэкапы, масштабирование и восстановление с протестированными ресторами
• Курировать sandbox-рантайм и его host-side control plane: жизненный цикл, exec, snapshot/fork, teardown, метеринг и модель угроз границы изоляции
• Руководить FastAPI control-plane сервисами, Terraform/OpenTofu, Bicep и дашбордами
• Поддерживать слой, на котором строятся backend-сервисы: отлаживать их сервисы и обеспечивать их работу с вашими дашбордами
• Управлять open-source-позицией: строить по OSS-стандартам и релизить по мере зрелости с ревью PR, документацией и воспроизводимыми сборками

Требования

• 5+ лет продакшн-разработки систем на системном языке; Rust — основной, но подойдут глубокие знания Go, C/C++ или Zig с желанием перейти на Rust
• Опыт эксплуатации Kubernetes-нагрузок, от которых зависят другие: контроллеры или операторы, планирование, автомасштабирование, жизненный цикл нод
• Сильные навыки threat-моделирования границ изоляции (namespaces, cgroups, seccomp, гипервизоры) и применения security best practices для агентного исполнения: least privilege, отсутствие креденшелов в sandbox, аудит-трейлы, human approval на write-действия
• Практический опыт развёртывания или эксплуатации инфраструктуры serving open-weight LLM (vLLM/SGLang или аналоги), включая упаковку моделей в надёжные метерируемые продакшн-эндпоинты
• Дисциплина производительности в распределённых системах: сначала измерения, потом оптимизация
• Практическая глубина в части стека: Rust (tokio), Python/FastAPI, Kubernetes-операторы (controller-runtime/Kubebuilder/CRD), KEDA, Karpenter, GPU device plugins/DRA
• Знакомство с технологиями изоляции (Firecracker, Kata, gVisor или аналоги), управлением секретами и контролем egress (Vault/KMS), хостингом stateful-систем (vector stores pgvector/Qdrant, graph stores Neo4j) с бэкапами и failover
• Комфортная работа в облаках и на GPU-субстратах — AWS/Azure/GCP и managed GPU clouds — с IaC (Terraform/OpenTofu, Bicep) и observability (OpenTelemetry)
• Степень бакалавра; магистратура — плюс
• Право на работу в США на полную ставку (спонсорство визы не предоставляется)

Условия

• Полностью удалённая культура с кластером коллег в Сиэтле
• Конкурентная компенсация раннего стартапа (зависит от навыков, опыта и локации)
• Право на бонус
• Медицинская страховка с покрытием для иждивенцев
• Гибкий оплачиваемый отпуск
• Опционы (equity)
• Поездки 2 раза в год на корпоративные саммиты
• Процесс интервью: письменное тестовое задание и живая двухчасовая техническая сессия

Навыки

• Rust
• Go
• C/C++
• Zig
• Python
• FastAPI
• Kubernetes
• Kubernetes operators
• controller-runtime
• Kubebuilder
• CRD
• KEDA
• Karpenter
• GPU scheduling
• GPU device plugins
• DRA
• vLLM
• SGLang
• Firecracker
• Kata
• gVisor
• seccomp
• cgroups
• namespaces
• Vault
• KMS
• pgvector
• Qdrant
• Neo4j
• AWS
• Azure
• GCP
• Terraform
• OpenTofu
• Bicep
• OpenTelemetry
• tokio