Sr. Software Engineer - Ingestion Core team

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Ingestion Core в Databricks. Задача — строить распределённую платформу для инкрементального приёма данных петабайтного масштаба из разнообразных источников в Delta Lake.

Задачи

• Строить распределённую инфраструктуру для приёма данных из разных источников, поддержка streaming-инжеста, инкрементальной обработки и репликации
• Снижать end-to-end latency, повышать пропускную способность и уменьшать затраты на пути данных от источника до Delta Lake
• Проектировать и оптимизировать streaming- и распределённые нагрузки по throughput, стоимости, latency, надёжности и масштабу
• Оптимизировать streaming-нагрузки, исследуя и применяя ML-подходы
• Создавать мониторинг и observability (для клиентов и внутренние) с видимостью процессов инжеста и инфраструктуры
• Сотрудничать с партнёрскими командами для поддержки сценариев RAG и AI-агентов
• Разрабатывать Agentic SDK с сильными evaluation-практиками

Требования

• 5+ лет опыта написания production-кода на одном из: Java, Scala, Go, C++, Python
• Опыт проектирования, разработки и деплоя крупномасштабных распределённых и асинхронных систем
• Опыт с распределёнными системами, streaming, Spark, базами данных, обработкой данных или CDC
• Опыт построения или эксплуатации систем, где важны масштаб, throughput, latency, надёжность и стоимость
• Уверенное использование AI-инструментов и определение эффективных evals для ускорения цикла разработки

Условия

• Диапазон оплаты $166,000—$225,000 USD
• Возможны годовой performance bonus, equity и льготы
• Компания Databricks — Data and AI платформа, 30+ офисов по миру

Навыки

• Java
• Scala
• Go
• C++
• Python
• Spark
• Delta Lake
• streaming
• distributed systems
• CDC
• SQL
• Oracle
• SQL Server
• MySQL
• Postgres
• SQS
• ADLS
• GCS
• JSON
• Parquet
• CSV
• RAG
• AI agents