ZipStaff
AI Platform Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер платформы для агентного AI в Fortune 10 компании в сфере здравоохранения и фармацевтики. Отвечает за построение и эксплуатацию production-платформы, на которой работают другие инженеры, включая её надёжность, безопасность и стоимость.
Задачи
- Строить и эксплуатировать production-платформу агентного AI: оркестрация, model gateway, реестр агентов, retrieval, guardrails, оценка качества и observability
- Реализовывать production-оркестрацию мультиагентных систем, включая управление состоянием и дизайн retry/fallback
- Эксплуатировать model serving и gateway: маршрутизация, fallback, rate limiting, учёт токенов и использование open-weight моделей
- Строить retrieval-augmented generation: векторные хранилища, embedding-модели, чанкинг, гибридный и семантический поиск, реранкинг и оценка качества grounding
- Реализовывать инфраструктуру агентов: Model Context Protocol (MCP), контракты tool/function-calling, реестры агентов, контроль прав и разделение reasoning и acting агентов
- Проектировать практики оценки и LLMOps: eval-харнессы, офлайн- и онлайн-оценка, регрессионные наборы, детекция дрейфа и галлюцинаций, трекинг экспериментов
- Применять guardrails и AI-безопасность: защита от prompt-injection, jailbreak и утечек данных, детекция и редактирование PII в промптах и ответах
- Настраивать observability для вызовов LLM и агентов (телеметрия токенов, задержек и стоимости) и мониторинг сигналов качества с алертингом
Требования
- Гражданство США или грин-карта; спонсорство не предоставляется
- 8+ лет в software или platform engineering с практическим production-опытом владения AI/ML-инфраструктурой
- Опыт построения и эксплуатации агентных или LLM-систем в production, а не только прототипов
- Оркестрация LLM и агентов: LangGraph, LangChain, LlamaIndex, CrewAI, AutoGen или Google ADK
- Опыт model serving и gateway (LiteLLM, Portkey, Kong AI Gateway, TrueFoundry или Vertex AI Model Garden), включая маршрутизацию, fallback, rate limiting, учёт токенов, обслуживание open-weight моделей (Llama, Mistral, Gemma, Qwen) через vLLM, TGI, Ollama или Vertex endpoints и адаптеры LoRA/QLoRA
- Опыт RAG с Vertex Vector Search, Pinecone, Weaviate, pgvector или Elasticsearch
- Опыт оценки и LLMOps с RAGAS, DeepEval, Promptfoo или OpenAI Evals и трекинга экспериментов с MLflow, LangSmith, Langfuse, Arize Phoenix или Braintrust
- Опыт guardrails и AI-безопасности с NeMo Guardrails, Guardrails AI, Model Armor или Lakera
- Observability (OpenTelemetry-трейсинг для вызовов LLM и агентов); Kubernetes и контейнеры; предпочтительно GCP (GKE, Vertex AI, Cloud Run); Terraform, CI/CD и практики SRE для production AI-сервисов
- Уверенный Python
Условия
- Контракт с возможностью перехода в штат (contract-to-hire)
- Полностью удалённая работа
- Медицинская страховка
- Стоматологическая страховка
- Страхование зрения
- 401(k) с matching
- Оплачиваемый отпуск
- Реферальная программа
Навыки
- Python
- LangGraph
- LangChain
- LlamaIndex
- CrewAI
- AutoGen
- Google ADK
- LiteLLM
- Portkey
- Kong AI Gateway
- TrueFoundry
- Vertex AI Model Garden
- vLLM
- TGI
- Ollama
- LoRA
- QLoRA
- Llama
- Mistral
- Gemma
- Qwen
- Vertex Vector Search
- Pinecone
- Weaviate
- pgvector
- Elasticsearch
- RAGAS
- DeepEval
- Promptfoo
- OpenAI Evals
- MLflow
- LangSmith
- Langfuse
- Arize Phoenix
- Braintrust
- NeMo Guardrails
- Guardrails AI
- Model Armor
- Lakera
- OpenTelemetry
- Kubernetes
- Docker
- GCP
- GKE
- Vertex AI
- Cloud Run
- Terraform
- CI/CD
- MCP
- Go
- Java