Staff Software Engineer, Systems Infrastructure - Agent Evaluation

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер уровня Staff в Core AI LinkedIn, отвечающий за техническое видение, архитектуру и развитие Evaluation Operating System — платформы оценки AI-агентов и GenAI-продуктов. Роль на стыке распределённых систем, data-платформ и машинного обучения.

Задачи

• Определять техническое видение, архитектуру и исполнение Evaluation Operating System (EOS)
• Проектировать и строить масштабную инфраструктуру оценки качества, надёжности, безопасности и производительности AI-агентов и GenAI-продуктов
• Разрабатывать надёжную и масштабируемую tracing-инфраструктуру для AI-агентов LinkedIn с возможностями отладки трейсов
• Проектировать масштабируемые data pipelines для сбора, обработки, разметки и управления большими объёмами AI-взаимодействий, evaluation-данных, golden-датасетов и синтетических данных
• Строить и развивать системы оценки на базе LLM-as-judge, reward-моделей и других автоматических оценщиков
• Разрабатывать фреймворки экспериментов и тестирования: adversarial testing, champion/challenger эксперименты, agent arena
• Выстраивать real-time observability, мониторинг и feedback loops для выявления регрессий, дрейфа моделей и деградации качества в продакшене
• Работать в тесной связке с AI-продуктовыми командами, ML-инженерами и инфраструктурными партнёрами для интеграции оценки в жизненный цикл разработки AI
• Вести несколько высокоприоритетных кросс-функциональных инициатив, влиять на техническую стратегию и архитектурные решения
• Менторить инженеров, повышать техническую планку и формировать инженерную культуру растущей AI-платформенной организации
• Строить и платформизировать Recursive Self Improving Agents

Требования

• Bachelor’s Degree in Computer Science или смежная техническая дисциплина, либо эквивалентный практический опыт
• 4+ лет опыта в индустрии с руководством/построением deep learning систем
• 4+ лет опыта с Java, C++, Python, Go, Rust, C# и/или функциональными языками, например Scala
• Практический опыт разработки распределённых или других крупномасштабных систем
• Практический опыт построения или оценки AI-агентов в продакшене
• Опыт работы с географически распределёнными коллегами (предпочтительно)
• Опыт построения ML-приложений, LLM serving, GPU serving (предпочтительно)
• Опыт работы с поисковыми системами или аналогичными крупномасштабными распределёнными системами (предпочтительно)
• Экспертиза в ML-инфраструктуре, включая MLFlow, Kubeflow и крупномасштабные распределённые системы (предпочтительно)
• Опыт с движками распределённой обработки данных: Flink, Beam, Spark и feature engineering (предпочтительно)
• Опыт соавторства или поддержки open-source проектов (предпочтительно)
• Знакомство с контейнерами и системами оркестрации контейнеров (предпочтительно)
• Экспертиза в deep learning фреймворках и тензорных библиотеках: PyTorch, Tensorflow, JAX/FLAX (предпочтительно)

Условия

• Гибридный формат работы: из дома и из офиса LinkedIn в отдельные дни
• Диапазон оплаты $175,000 - $287,000 в год
• Итоговый компенсационный пакет может включать годовой performance bonus, акции, льготы и другие incentive-программы
• Щедрые программы здоровья и wellness, а также отпуск для сотрудников всех уровней
• Равные возможности трудоустройства и инклюзивная среда

Навыки

• Distributed Systems
• Backend Systems Infrastructure
• Java
• Golang
• Rust
• Python
• C++
• C#
• Scala
• Machine Learning
• Deep Learning
• LLM-as-a-judge
• Reward Models
• AI Agents
• GenAI
• Data Pipelines
• Synthetic Data Generation
• Adversarial Testing
• Champion/Challenger Testing
• Tracing Infrastructure
• Observability
• Monitoring
• MLFlow
• Kubeflow
• Flink
• Beam
• Spark
• Feature Engineering
• PyTorch
• TensorFlow
• JAX
• FLAX
• GPU Serving
• LLM Serving
• Information Retrieval
• Recommendation Systems
• Big Data
• Containers
• Kubernetes