Senior Systems Software Engineer - Accelerated Spark Applications

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в группу Apache Spark Acceleration в NVIDIA. Разработка и эксплуатация хостингового Spark-сервиса с GPU-ускорением на Kubernetes и AWS, включая control plane, GPU Spark runtime и маршрутизатор CPU/GPU нагрузок.

Задачи

• Проектировать, разрабатывать и эксплуатировать control plane хостингового Spark-сервиса на Kubernetes: Java REST API, Spark Connect runner, Kyuubi, деплой через Helm и Flux
• Отвечать за code review одного или нескольких сервисов end-to-end и поддерживать их готовность к релизам
• Развивать cuDF Spark runtime и маршрутизатор CPU/GPU нагрузок на Scala и Java, включая интеграцию с Delta Lake, Apache Iceberg и Unity Catalog
• Расследовать продакшн-инциденты на кластерах с более чем тысячей одновременных задач совместно с командой заказчика и upstream-командами и доводить исправления до конца
• Настраивать метрики, дашборды и алерты, участвовать в on-call дежурствах и поддерживать runbooks в актуальном состоянии
• Давать рекомендации командам по инфраструктуре, CI и стратегии тестирования

Требования

• Степень BS, MS или PhD в Computer Science, Computer Engineering или смежной области (или эквивалентный опыт)
• 9+ лет опыта в разработке ПО
• Сильные знания распределённых систем и владение Java или Scala, а также C++ или Python
• Практический опыт эксплуатации сервисов на Kubernetes, on-premise или в облаке
• Опыт владения или ревью долгоживущего сервера: REST front ends, прокси или request routers, JDBC или Thrift сервисы
• Опыт поддержки enterprise или внутренних продакшн-заказчиков, включая on-call
• Опыт использования AI-инструментов в разработке ПО

Условия

• Конкурентная зарплата: базовая ставка 184 000 – 287 500 USD в год
• Право на equity и пакет льгот
• Работа в инклюзивной среде равных возможностей

Навыки

• Java
• Scala
• C++
• Python
• Kubernetes
• AWS
• Apache Spark
• Spark Connect
• Kyuubi
• Helm
• Flux
• cuDF
• Delta Lake
• Apache Iceberg
• Unity Catalog
• REST
• JDBC
• Thrift
• CUDA