Moring AI
AI Observability Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер по наблюдаемости (observability) для AI-платформы крупного финансового предприятия. Отвечает за логи, трейсы, метрики и AI-специфичные сигналы агентов на базе LLM, разворачивает LangSmith и инструментирует систему через OpenTelemetry.
Задачи
- Владеть архитектурой наблюдаемости AI-платформы: логи, трейсы, метрики и AI-специфичные сигналы end-to-end
- Разворачивать и эксплуатировать LangSmith (и аналоги вроде Langfuse, Arize Phoenix) в окружении заказчика и интегрировать с существующим стеком наблюдаемости
- Инструментировать платформу и агентов через OpenTelemetry: трейсы рассуждений агентов, вызовов LLM, инструментов, MCP и retrieval-шагов с едиными семантическими конвенциями
- Строить пайплайны OTel collector: сбор, обработка, сэмплирование, редактирование чувствительных данных и экспорт в нужные бэкенды
- Разрабатывать инструментарий вокруг наблюдаемости: SDK-хелперы и декораторы, дашборды по стоимости, задержкам, токенам и качеству, алерты и отчёты для аудита
- Связывать наблюдаемость с оценкой качества: собирать продакшн-трейсы в eval-датасеты и выявлять регрессии качества
- Строить учёт затрат и использования: токены и расходы по модели, команде, фиче и агенту
- Обеспечивать работу наблюдаемости в ограниченной корпоративной сети: приватные эндпоинты, окружения без egress, self-hosted бэкенды, правила хранения данных
- Определять SLO платформы и runbook'и для on-call инженеров, улучшать их по реальным инцидентам
- Обучать команду и инженеров заказчика работе с построенными инструментами
Требования
- 6+ лет в software или platform engineering с глубоким фокусом на наблюдаемости
- Очень сильные фундаментальные знания логов, трейсов и метрик: как они создаются, собираются, хранятся, запрашиваются и коррелируются
- Глубокий опыт OpenTelemetry: SDK, collector, библиотеки инструментирования, семантические конвенции, сэмплирование, propagation контекста; опыт проектирования OTel-пайплайнов
- Опыт построения или эксплуатации платформ наблюдаемости для cloud-native систем: Kubernetes, микросервисы, Prometheus, Grafana, Loki или Elastic, Jaeger или Tempo, Datadog, Splunk
- Практический опыт с LangSmith или аналогом (Langfuse, Arize Phoenix, Braintrust, Weights and Biases Weave) и понимание специфики наблюдаемости LLM-приложений: недетерминизм, стоимость токенов, захват промптов и ответов, вызовы инструментов, оценка
- Сильный Python
- Хорошее знание AWS (EKS, CloudWatch, IAM, networking) и Kubernetes
- Опыт on-call для систем, которые инструментировал
- Опыт работы в крупных предприятиях — плюс, в регулируемых (финансы, страхование, здравоохранение) — особенно; понимание требований к редактированию и хранению данных
- Умение объяснить не-инженеру, что показывает трейс и почему это важно
- Право на работу в США (GC/EAD/US Citizen)
Условия
- Full-time individual contributor
- Зарплата 60-90K + опционы
- Командировки до 10% к заказчику
- On-site в Newark, New Jersey
- Ранняя стадия, небольшая команда, прибыльная компания
Навыки
- OpenTelemetry
- LangSmith
- Langfuse
- Arize Phoenix
- Braintrust
- Weights and Biases Weave
- Python
- Kubernetes
- AWS
- EKS
- CloudWatch
- IAM
- Prometheus
- Grafana
- Loki
- Elastic
- Jaeger
- Tempo
- Datadog
- Splunk
- LLM
- MCP