Principal Software Engineer, Data Processing Optimization

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик в команду DataPelago, создающую универсальный движок обработки данных Nucleus и ускоритель для Apache Spark. Роль сфокусирована на оптимизации логических и физических планов запросов для параллельных движков на CPU и GPU.

Задачи

• Исследовать, проектировать, реализовывать и внедрять методы оптимизации логических и физических планов запросов для массово-параллельных движков обработки данных
• Разрабатывать техники планирования и оптимизации запросов для достижения лидирующей производительности на гетерогенных ускоренных вычислителях
• Интегрировать ускорение обработки данных и оптимизацию планов DataPelago с открытыми движками, включая Apache Spark и Apache Flink
• Обеспечивать производительность продукта в реальных окружениях и рабочих нагрузках заказчиков
• Определять метрики качества планов, производительности и надёжности и вести команду к их постоянному улучшению
• Осуществлять техническое лидерство на всех этапах разработки продукта и постпродажной поддержки, владеть развитием ключевых компонентов
• Сотрудничать с инженерами и product management при определении фич, архитектуры, интерфейсов и сроков, менторить младших коллег

Требования

• Степень бакалавра по computer science; магистратура или PhD предпочтительны, особенно в области систем баз данных
• 15+ лет опыта разработки методов планирования и оптимизации запросов для корпоративных платформ обработки данных; желательно 5+ лет на параллельных платформах вроде Apache Spark, Presto/Trino или Apache Flink
• Глубокое знание семантики SQL и экспертиза в обработке SQL; дополнительно приветствуется обработка на Python
• Твёрдое понимание баз данных, хранилищ данных и query engines
• Глубокое знание современного состояния оптимизации запросов по публикациям и open-source; приветствуются собственные open-source вклады и/или публикации
• Понимание архитектуры, развёртывания и эксплуатации платформ обработки данных в data engineering, подготовке данных и аналитике
• Подтверждённый опыт всех этапов разработки и постпродажной поддержки enterprise- или SaaS-продуктов, умение эффективно применять AI
• Опыт владения определением и поставкой крупных продуктовых возможностей через техническое лидерство и кросс-командное взаимодействие
• Сильные навыки коммуникации и коллаборации

Условия

• Целевой диапазон зарплаты 227 800 – 338 800 USD
• Итоговая компенсация зависит от локации, квалификации, опыта и образования и может выходить за указанный диапазон
• Комплексный пакет бенефитов: медицинская страховка, страхование жизни, пенсионные планы, оплачиваемый отпуск, различные виды отпусков, премии по результатам, план покупки акций сотрудниками и/или RSU
• Бенефиты могут различаться по странам и регионам

Навыки

• SQL
• Python
• Apache Spark
• Apache Flink
• Ray
• query optimization
• query planning
• distributed systems
• compilers
• GPU
• CPU
• data warehouses
• query engines
• SaaS