Principal Software Engineer, Data Infrastructure

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Principal-инженер в команду платформы данных Happen Bank. Отвечает за архитектуру и разработку фреймворков и инфраструктуры платформы данных на Databricks, на которых строятся пайплайны Data Engineering, Data Science и Analytics.

Задачи

• Владеть архитектурой ингестии: техническое видение и архитектура декларативного конфигурационного фреймворка загрузки данных из реляционных БД и объектных хранилищ в raw-слой
• Разрабатывать масштабируемые платформенные фреймворки: переиспользуемые версионируемые библиотеки для policy-driven защиты данных с правилами, управляемым доступом, аудитом и обратной совместимостью
• Задавать стандарты инфраструктуры и деплоя: IaC-практики для безопасного деплоя, отката и жизненного цикла, рекомендации по compute, стоимости и сайзингу для нагрузок в миллиарды строк
• Обеспечивать надёжность и наблюдаемость платформы: мониторинг, алертинг, сверка, восстановление и валидация данных от источника до приёмника
• Принимать обоснованные технологические решения: проводить PoC с измеримыми критериями, документировать архитектурные решения и взаимодействовать с вендорами
• Вести кросс-функциональную поставку платформы: переводить неоднозначные задачи в требования, интерфейсы, зависимости и поэтапные планы, работать с Data Engineering, Data Governance, InfoSec, DBA и владельцами источников
• Повышать инженерные стандарты: менторить senior и staff инженеров, вести дизайн- и код-ревью, задавать практики тестирования, документации и релиз-менеджмента

Требования

• 10+ лет опыта в software или data platform engineering, включая проектирование и поставку платформенных фреймворков, библиотек или инфраструктуры для нескольких команд
• Высшее образование (бакалавр и выше) или эквивалентный опыт
• Сильный опыт с infrastructure as code, включая Terraform и CI/CD пайплайны для платформ данных
• Глубокий опыт построения ингестии из разных источников: реляционные БД, файлы, API, кастомные системы; инкрементальная обработка, CDC, эволюция схем, защита продакшн-источников от избыточной нагрузки
• Продвинутые навыки программирования на Python, SQL и JVM-языке (Scala или Java), опыт разработки Spark UDF и переиспользуемых библиотек с тестированием, упаковкой и версионированием
• Глубокий практический опыт с Databricks: Delta Lake, Unity Catalog, Auto Loader, workflows, конфигурация compute и governance, либо эквивалентный опыт
• Сильные знания security и privacy engineering для чувствительных данных: шифрование, управление ключами, токенизация, RBAC, аудит-логи
• Опыт проектирования и эксплуатации крупномасштабных систем данных на миллиарды строк: нагрузочное тестирование, оптимизация стоимости, мониторинг и восстановление
• Отличные письменные и устные коммуникационные навыки: технические дизайны, architecture decision records, контракты интерфейсов, документация, влияние на senior-стейкхолдеров без прямой власти
• Опыт применения AI-инструментов в сложной инженерной работе с сохранением сильного суждения о безопасности, точности и поддерживаемости

Условия

• Гибридный формат: офис по вторникам, средам и четвергам в San Francisco
• Релокация предоставляется в зависимости от уровня должности
• Базовый оклад 197 000–230 000 в год
• Долгосрочные награды (equity) и годовой бонус
• Медицинская, стоматологическая и оптическая страховка для сотрудников и семей
• 401(k) match, программы здоровья и велнеса
• Гибкая политика отпусков для salaried-сотрудников
• Оплачиваемый родительский отпуск до 16 недель

Навыки

• Databricks
• Delta Lake
• Unity Catalog
• Auto Loader
• Terraform
• CI/CD
• Python
• SQL
• Scala
• Java
• Spark
• CDC
• Encryption
• Key management
• Tokenization
• RBAC
• Audit logging
• Data governance
• Data quality
• Data lineage
• Databricks Asset Bundles