Principal Software Engineer, Data Processing OSS

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер-разработчик ядра обработки данных DataPelago, работающий с OSS-платформами Apache Spark, Flink, Gluten и Velox. Задача — расширять функциональность, производительность и надёжность движка через upstream- и downstream-вклад в open-source.

Задачи

• Влиять на архитектуру интеграции движка обработки данных с open-source платформами
• Руководить проектированием функциональных и производительных улучшений Apache Gluten, Velox и их интеграции с движком
• Самостоятельно проектировать, реализовывать, тестировать, оптимизировать и поддерживать компоненты движка
• Анализировать технологические роадмапы Apache Gluten, Velox и аналогов и находить возможности для лидерства продукта
• Взаимодействовать с командами engineering, product management, open-source сообществом и customer success
• Внедрять лучшие практики code review, тестирования, CI/CD и решения инцидентов

Требования

• 15+ лет релевантного опыта или степень бакалавра/магистра в Computer Science или смежной области
• 3+ года глубокого опыта разработки ключевых компонентов Apache Spark, Flink, Doris, Gluten, Velox, DataFusion или аналогов
• 3+ года опыта профилирования и оптимизации производительности компонентов движков обработки данных
• Знание архитектуры и внутреннего устройства Apache Spark, Flink, Presto/Trino
• Опыт проектирования и успешного релиза высокопроизводительных движков обработки данных для крупных продакшн-развёртываний
• Отличное владение C, C++ и Java
• Большой опыт разработки в Linux
• Сильные аналитические навыки и страсть к оптимизации производительности

Условия

• Целевой диапазон зарплаты 227 800 – 338 800 USD
• Медицинская и страховая страховка, пенсионные планы, оплачиваемый отпуск
• Бонусы по результатам работы, employee stock purchase plan и/или RSU
• Пакет льгот зависит от региона и регулируется местным законодательством

Навыки

• Apache Spark
• Apache Flink
• Apache Gluten
• Velox
• Apache Doris
• Apache DataFusion
• Presto
• Trino
• C
• C++
• Java
• Linux
• CI/CD
• GPU
• distributed systems
• query optimization