Staff Software Engineer, Lakeflow Pipelines DR

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Staff-инженер в команду Lakeflow Disaster Recovery в Databricks. Проектирование и реализация распределённых систем для репликации и восстановления пайплайнов между регионами.

Задачи

• Проектировать и реализовывать кросс-региональную репликацию и восстановление пайплайнов Lakeflow, streaming-таблиц и materialized views
• Обеспечивать распределённую согласованность между зависимостями пайплайнов, версиями таблиц и транзакционными логами
• Разрабатывать сценарии failover и failback с консервативными гарантиями корректности
• Заниматься deep clone, сверкой метаданных, observability и failure-injection тестированием
• Проводить высокоточные симуляции восстановления, game-day тесты и формальный анализ режимов отказа

Требования

• Увлечённость распределёнными системами, базами данных, системами хранения, streaming-системами или reliability engineering
• Сильные навыки разработки на Java, Scala, C++, Go, Python или аналогичном production-языке
• Понимание согласованности, транзакций, идемпотентности, репликации, checkpointing и data lineage
• Способность определять многолетнее техническое видение и двигаться к нему инкрементальными production-решениями
• Желательно 8+ лет опыта работы со связанными системами
• Опционально: PhD или продвинутый исследовательский опыт в области баз данных, распределённых систем или систем хранения

Условия

• Годовая премия по результатам работы
• Equity
• Комплексный пакет льгот
• Возможность строить основы отказоустойчивых вычислений Lakehouse

Навыки

• Java
• Scala
• C++
• Go
• Python
• Distributed Systems
• Databases
• Storage Systems
• Streaming
• Replication
• Checkpointing
• Data Lineage
• Transactions
• Idempotency
• Failover