Senior / Staff Software Engineer — AI Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в AI Platform команду Snorkel AI: строить инфраструктуру для крупномасштабных агентных и LLM-нагрузок — синтетические данные, оценка, оркестрация и распределённые вычисления. Роль для тех, кто сочетает сильные навыки в распределённых системах с опытом эксплуатации AI/ML-систем в продакшене.

Задачи

• Проектировать и строить инфраструктуру для крупномасштабных агентных нагрузок, включая многошаговых агентов, работающих с инструментами, внешними сервисами, песочницами и симулированными средами
• Строить масштабируемые системы генерации синтетических данных и автоматической разметки для создания и оценки датасетов
• Проектировать инфраструктуру оценки поведения AI-систем по моделям, промптам, инструментам и многошаговым траекториям, включая воспроизводимые эксперименты, бенчмарки и регрессионный контроль
• Строить системы оркестрации и распределённых вычислений для запуска тысяч и миллионов AI-экспериментов и симуляций на гетерогенных вычислительных средах
• Разрабатывать инфраструктуру симуляционных сред для агентов: провижининг, изоляция, управление жизненным циклом и масштабируемое исполнение
• Строить и эксплуатировать LLM-инфраструктуру: маршрутизация, rate limiting, ретраи, кэширование, failover между провайдерами, атрибуция затрат
• Инструментировать агентные и модельные нагрузки для наблюдаемости и отладки: трейсы, вызовы инструментов, состояние среды, результаты оценки, латентность, надёжность и стоимость
• Проектировать системы, делающие недетерминированные нагрузки воспроизводимыми и измеримыми
• Улучшать developer experience для AI-экспериментов: API, SDK, абстракции workflow и инструменты для перехода от локальной разработки к продакшену
• Сотрудничать с research, product и engineering командами, превращая экспериментальные AI-workflow в надёжные платформенные возможности

Требования

• 5+ лет разработки продакшен-систем, опыт в AI/ML-инфраструктуре, ML-платформах, распределённых системах, data-платформах или backend-инфраструктуре
• Опыт эксплуатации недетерминированных AI/ML-нагрузок в продакшене или на значительном масштабе
• Опыт построения инфраструктуры для экспериментов, оценки, разработки моделей, синтетических данных, агентных workflow, обучения, инференса или продакшен ML-систем
• Уверенное владение Python и опыт создания продакшен API, сервисов и инструментов для разработчиков
• Сильный опыт в распределённых системах и облачных платформах (предпочтительно AWS), включая оркестрацию вычислений, хранение, сети, изоляцию и обработку сбоев
• Опыт с workflow- или распределёнными фреймворками: Prefect, Airflow, Dagster, Ray, Kubernetes или аналогичными
• Понимание основ продакшен-систем: наблюдаемость, телеметрия, надёжность, производительность, отладка, incident response и управление затратами
• Способность рассуждать о качестве AI-систем за пределами традиционных сервисных метрик: дизайн оценки, воспроизводимость экспериментов, поведенческие регрессии, вариативность моделей и агентов
• Опыт ведения сложных инженерных инициатив, влияния на стейкхолдеров и измеримого результата
• Способность работать в быстром темпе и сильные навыки технической коммуникации
• Свободное владение современными AI- и developer-инструментами и готовность быстро осваивать новые модели, фреймворки и техники

Условия

• Значительная ответственность за инфраструктуру, определяющую скорость экспериментов и продакшена AI-систем в Snorkel
• Работа над сложными инфраструктурными задачами: надёжная эксплуатация недетерминированных систем, воспроизведение поведения агентов, оценка длинных траекторий, масштабирование симуляций
• Архитектурные решения команды определят развитие AI-систем Snorkel на годы вперёд
• Возможности роста: углубление технической экспертизы, лидерские роли, освоение новых навыков
• Компания с проверенными рынком решениями, надёжным финансированием и быстрым масштабированием
• Equal Employment Opportunity employer

Навыки

• Python
• AWS
• Kubernetes
• Prefect
• Airflow
• Dagster
• Ray
• LLM
• agentic workflows
• distributed systems
• synthetic data
• evaluation
• observability
• tracing
• rate limiting
• caching
• sandboxing
• reinforcement learning
• ML platforms
• APIs
• SDKs