Staff Software Engineer - Reporting, Data Platform & Observability

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Staff-инженер в команду Reporting and Data Platform компании OneTrust. Hands-on роль: проектирование и эксплуатация распределённых backend-сервисов на Java/Spring Boot и data-пайплайнов на Python/PySpark/Databricks с фокусом на надёжность, масштабируемость и observability.

Задачи

• Владеть сложными фичами и техническими улучшениями от исследования до продакшн-релиза, внося существенный вклад в backend-сервисы и data-пайплайны
• Расследовать неоднозначные проблемы, находить первопричины, оценивать trade-offs и внедрять прагматичные решения
• Ревьюить код и технические дизайны, документировать ключевые решения и поведение систем
• Проектировать и реализовывать production-сервисы на Java, Spring Boot и Maven: API, асинхронные workflow, генерация отчётов, агрегация, экспорт, планирование
• Разрабатывать event-driven функциональность на Kafka, работать с кэшированием, реляционным хранилищем и интеграциями между сервисами
• Улучшать производительность, масштабируемость, отказоустойчивость и эффективность сервисов
• Строить и поддерживать ingestion- и transformation-пайплайны на Python, PySpark, Azure Databricks и Delta Lake для batch и streaming нагрузок
• Оптимизировать Spark joins, партиционирование, Delta-операции, утилизацию кластера и производительность запросов
• Обеспечивать tenant isolation, data-quality контроли и мониторинг свежести, полноты и корректности данных
• Улучшать observability сервисов, event-driven workflow и data-пайплайнов через метрики, структурированные логи, трейсы и бизнес-телеметрию
• Строить дашборды, мониторы и алерты в Datadog и Grafana с использованием OpenTelemetry, Prometheus и Micrometer
• Участвовать в on-call ротации и incident-response, диагностировать продакшн-проблемы и обеспечивать устойчивое их устранение
• Снижать количество повторяющихся алертов и операционную рутину: улучшать качество алертов, создавать runbook'и и диагностические инструменты
• Мониторить доступность, error rate, latency, ingestion lag, свежесть данных, throughput событий, consumer lag, здоровье job'ов и Spark-ресурсов

Требования

• Сильный профессиональный опыт разработки и эксплуатации production-систем в роли автономного individual contributor
• Сильное владение Java и Spring Boot, опыт проектирования и эксплуатации распределённых систем и микросервисов
• Production-опыт с асинхронными или event-driven системами, предпочтительно Apache Kafka
• Сильный опыт с Python, PySpark, Apache Spark и Delta Lake, а также production-опыт с Azure Databricks или аналогичной managed Spark-платформой
• Практический опыт TDD, стратегий автоматизированного тестирования и quality gates
• Сильное понимание метрик, логов, distributed tracing, дашбордов, мониторинга и алертинга, включая Datadog и Grafana
• Опыт создания или реагирования на инциденты PagerDuty, алерты Datadog или аналогичные workflow, готовность участвовать в on-call ротации
• Опыт использования AI-инструментов разработки (Devin, Claude или аналоги) для получения production-ready кода, тестов и документации
• Сильные навыки design thinking и умение сокращать delivery-цикл через ясную архитектуру, небольшие инкременты и переиспользуемые паттерны
• Способность самостоятельно диагностировать сложные проблемы производительности и надёжности и ясно коммуницировать технические trade-offs
• Предпочтительно: опыт с batch и streaming пайплайнами и оптимизацией Spark/Databricks нагрузок по производительности, надёжности и стоимости
• Предпочтительно: опыт с Databricks SQL, Databricks SDK, Delta-операциями и миграциями схем
• Предпочтительно: знакомство с Azure Blob Storage, Azure Identity и Azure Key Vault
• Предпочтительно: опыт эксплуатации reporting, analytics, dashboard или крупномасштабных export-систем
• Предпочтительно: опыт с Kubernetes, контейнерами, CI/CD и infrastructure as code
• Предпочтительно: опыт определения SLI, SLO и error budgets, использование трендов инцидентов и алертов для приоритизации
• Предпочтительно: понимание data governance, шифрования, audit-ability и tenant isolation
• Предпочтительно: опыт инкрементальной модернизации существующих production-систем

Условия

• Office-first культура: три дня в неделю в офисе для большинства ролей
• Комплексное медицинское страхование
• Гибкий PTO
• Equity RSU
• Ежегодные performance-бонусы
• Поддержка пенсионного счёта
• 14+ недель оплачиваемого родительского отпуска
• Возможности карьерного развития
• Оплата компанией экзаменов на privacy-сертификацию
• Годовой диапазон базовой оплаты для кандидатов из Калифорнии, Колорадо, Коннектикута, Невады, Нью-Йорка, Род-Айленда и Вашингтона: $139,725—$209,588
• Возможны дискреционные бонусы, equity и/или комиссии

Навыки

• Java
• Spring Boot
• Maven
• Kafka
• Python
• PySpark
• Apache Spark
• Delta Lake
• Azure Databricks
• Databricks SQL
• Databricks SDK
• Datadog
• Grafana
• OpenTelemetry
• Prometheus
• Micrometer
• PagerDuty
• Azure Blob Storage
• Azure Identity
• Azure Key Vault
• Kubernetes
• CI/CD
• Infrastructure as Code
• TDD
• Distributed Tracing
• Microservices