Staff Software Engineer - AI/ML Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Staff-инженер в команду AI/ML Platform, которая строит внутреннюю AI-платформу Fanatics: gateway, agent runtime, registry, retrieval, evaluation и cost analytics на lakehouse петабайтного масштаба. Роль hands-on: определять архитектуру и стандарты, писать код и вести самые сложные части платформы.

Задачи

• Владеть сквозной архитектурой AI control plane: gateway, agent runtime, registry, retrieval, evaluation и cost; задавать техническое направление, выстраивать roadmap и принимать решения build-vs-buy
• Строить enterprise LLM gateway: multi-provider routing, failover, кэширование, rate limiting, оптимизация токенов и управление ключами с возможностью self-hosted open-weight моделей
• Строить экосистему Agent/MCP на managed runtime (например, AWS Bedrock AgentCore): корпоративные системы как governed tools через MCP, control-plane registry для discovery, ownership, versioning и lifecycle, no-code путь от прототипа до production-агента через общий чат-портал
• Владеть unified retrieval layer и data platform за ним: ingestion, chunking, embedding и indexing пайплайны, vector и search бэкенды, воспроизводимые, наблюдаемые и с quality-gates на петабайтном масштабе
• Строить evaluation и feedback loop: offline evals, tracing и regression gates в CI/CD, превращение production-сбоев и правок пользователей в новые eval-кейсы и root-cause attribution по промптам, retrieval, инструментам и моделям
• Отвечать за governance и cost: RBAC, agent identity, least-privilege доступ к корпоративным данным, audit logging, cost attribution по use-case и портфель enterprise AI-инструментов
• Задавать инженерные стандарты, менторить инженеров и представлять архитектуру и её trade-offs senior-руководству

Требования

• 8–12 лет разработки production-ПО, включая 2+ года на AI/ML платформе; Bachelor's или Master's в Computer Science, Engineering или смежной области
• Staff-level impact: системный дизайн нескольких сервисов, решения на уровне команд и платформы, на которой строят другие инженеры
• Уверенный Python и FastAPI плюс один из Java, GoLang, Scala или TypeScript
• Практический опыт с Terraform, Kubernetes, Airflow, Postgres, Grafana и Prometheus
• Знакомство с AWS data science toolkit и библиотеками вроде PyTorch для партнёрства с data scientists
• Практический опыт с LLM и generative AI на Bedrock или Vertex: model routing, RAG, tool calling, structured outputs, context engineering
• Опыт agentic-систем и интеграций MCP server/client; agent runtimes вроде AWS Bedrock AgentCore
• Опыт data engineering для retrieval: chunking, embedding, indexing пайплайны, vector/search бэкенды (например, OpenSearch), open lakehouse table formats и методы измерения качества retrieval
• Опыт LLM evaluation и observability: дизайн eval-датасетов, tracing, LLM-as-judge scoring, regression testing, инструменты вроде Langfuse или Arize Phoenix
• Опыт security и governance для AI-платформ: RBAC, OAuth2/OIDC, least privilege, оптимизация затрат и usage metering
• Умение ясно писать и выступать перед руководством

Условия

• Salary Range: $190,000—$237,500 USD (base pay, без учёта short-term и long-term incentive compensation)
• При определении base pay учитываются локация, опыт, квалификация и обучение
• Информация о бенефитах: https://benefitsatfanatics.com/

Навыки

• Python
• FastAPI
• Java
• GoLang
• Scala
• TypeScript
• Terraform
• Kubernetes
• Airflow
• Postgres
• Grafana
• Prometheus
• AWS
• PyTorch
• LLM
• Generative AI
• AWS Bedrock
• Vertex
• RAG
• Tool calling
• Structured outputs
• Context engineering
• MCP
• AWS Bedrock AgentCore
• vLLM
• SGLang
• llama.cpp
• OpenSearch
• Langfuse
• Arize Phoenix
• RBAC
• OAuth2
• OIDC
• DataHub
• ChatGPT Enterprise
• Claude Enterprise
• Glean