Staff Software Engineer, Ray Data

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Ray Data — распределённый движок обработки данных на Python для AI-нагрузок. Проектирование и оптимизация систем распределённого исполнения, масштабирование пайплайнов данных для обучения и инференса.

Задачи

• Проектировать, разрабатывать и улучшать ключевые системы Ray Data с фокусом на производительность, масштабируемость и надёжность
• Проектировать и оптимизировать распределённое исполнение на разных стадиях пайплайнов данных в гетерогенных средах
• Создавать решения для загрузки и обработки данных для production-нагрузок обучения и инференса
• Решать сложные задачи распределённого исполнения, планирования, управления ресурсами, партиционирования данных, отказоустойчивости и оптимизации производительности
• Принимать системные архитектурные решения и оценивать компромиссы: распределение ресурсов, модели исполнения, batch vs streaming, consistency vs availability
• Работать с клиентами и AI-native компаниями, помогая масштабировать их AI-нагрузки

Требования

• 6+ лет опыта разработки production-систем, инфраструктуры или developer-facing систем, сильный опыт инженерии на Python
• 6+ лет личного владения ключевыми архитектурными решениями в распределённом движке данных или вычислений, а не только эксплуатации чужой платформы
• Глубокий опыт с внутренним устройством распределённых систем: планирование, отказоустойчивость, партиционирование данных, распределённое исполнение, оптимизация производительности или внутренности БД и query engine
• Опыт обоснования системных компромиссов и защиты архитектурных решений: batch vs streaming, статическое vs динамическое распределение ресурсов, consistency vs availability
• Увлечённость решением нерешённых задач в крупномасштабной AI-инфраструктуре

Условия

• Миссия — сделать масштабируемые вычисления простыми; Ray — AI Compute Engine в основе мощных AI-платформ
• Технологии используются в OpenAI, Uber, Spotify, Instacart, Cruise
• Инвесторы: Andreessen Horowitz, NEA, Addition; привлечено $250M+
• Партнёрства с Azure, CoreWeave и Google Cloud
• Конкурентная зарплата и опционы, покрытие health/dental/vision (многие планы до 99% за счёт работодателя)
• Гибкий отпуск, оплачиваемый родительский отпуск, поддержка ментального здоровья

Навыки

• Python
• Ray
• distributed systems
• data processing
• batch inference
• multimodal data
• performance optimization
• scheduling
• fault tolerance
• data partitioning