Senior LLMOps / AI Platform Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер платформы LLM/GenAI в IC Markets Global: построение, развёртывание и эксплуатация production-инфраструктуры для self-hosted LLM, оптимизация инференса на GPU и поддержка AI-сервисов в Kubernetes.

Задачи

• Развёртывать и эксплуатировать self-hosted LLM с помощью vLLM, SGLang, Ollama
• Оптимизировать инференс LLM по latency, throughput, конкурентности, памяти GPU, KV cache и стоимости
• Управлять GPU-нагрузками на нескольких NVIDIA GPU
• Развёртывать и поддерживать AI-сервисы в Kubernetes / AWS EKS с использованием Docker и Helm
• Внедрять механизмы надёжности LLM: health checks, мониторинг, автоматическое восстановление, стратегии перезапуска и обновления моделей
• Настраивать observability с помощью Langfuse/LangSmith, OpenTelemetry, Prometheus и Grafana
• Развёртывать и оптимизировать RAG-системы, embedding-модели и векторные базы данных (Qdrant, Milvus)
• Поддерживать AI-агентов и workflow на LangChain и LangGraph
• Создавать и поддерживать CI/CD-пайплайны для AI-сервисов и инфраструктуры
• Диагностировать production-проблемы в LLM, GPU, Kubernetes, сетях и AI-приложениях

Требования

• Сильный опыт Python и FastAPI
• Опыт vLLM, Hugging Face и развёртывания self-hosted LLM
• Kubernetes, Docker, Helm и AWS
• Инференс на NVIDIA GPU и оптимизация производительности
• LangChain / LangGraph / LangSmith
• RAG, embeddings и векторные базы данных (Qdrant)
• Observability и мониторинг LLM
• PostgreSQL / Redis
• GitHub Actions / CI/CD
• Сильные навыки production-диагностики

Навыки

• Python
• FastAPI
• vLLM
• SGLang
• Ollama
• Hugging Face
• NVIDIA GPU
• Kubernetes
• AWS EKS
• Docker
• Helm
• Langfuse
• LangSmith
• OpenTelemetry
• Prometheus
• Grafana
• RAG
• Embeddings
• Qdrant
• Milvus
• LangChain
• LangGraph
• PostgreSQL
• Redis
• GitHub Actions
• CI/CD