Arlo Technologies
Sr. Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior Staff Data Engineer в Arlo для проектирования и масштабирования data-платформы на Databricks. Отвечает за архитектуру данных, пайплайны и data governance, задаёт инженерные стандарты и работает с продуктовыми, аналитическими и data science командами.
Задачи
- Определять и развивать архитектуру данных на Databricks Lakehouse с использованием medallion-паттернов (Bronze/Silver/Gold) для batch и streaming нагрузок
- Проектировать, строить и поддерживать масштабируемые ETL/ELT пайплайны на Python, PySpark и SQL
- Внедрять и управлять Unity Catalog: каталоги, схемы, контроль доступа, lineage, аудит и безопасный обмен данными
- Определять и обеспечивать практики data governance: качество данных, управление метаданными, классификация, хранение, приватность и соответствие требованиям
- Строить и поддерживать CI/CD пайплайны для data-воркфлоу (Git, GitHub Actions/Azure DevOps/Jenkins, Databricks Asset Bundles), включая автотесты и деплой
- Внедрять проверки качества данных, мониторинг и алертинг
- Мониторить и оптимизировать Databricks-джобы по производительности, надёжности и стоимости
- Менторить инженеров, вести design review и вносить вклад в data roadmap
Требования
- 5–6 лет опыта в data engineering, построение production data-пайплайнов и архитектур
- Сильный практический опыт с Databricks (Spark, Delta Lake, Workflows)
- Практический опыт с Unity Catalog (контроль доступа, lineage, проектирование каталогов и схем)
- Понимание концепций data governance: качество данных, каталогизация, lineage, приватность и комплаенс (GDPR, CCPA)
- Продвинутые навыки Python (PySpark) и SQL
- Опыт с CI/CD и практиками DataOps
- Опыт data-моделирования и работы с крупной облачной платформой (AWS, Azure или GCP)
- Сильные коммуникативные навыки и умение работать кросс-функционально
- Степень бакалавра в Computer Science, Engineering или смежной области
Условия
- Зарплата $140,000–160,000 в год
- Возможны бонусы, equity и полный пакет льгот
- Равные возможности трудоустройства и инклюзивная среда
- Разумные accommodations для соискателей с инвалидностью
Навыки
- Databricks
- Spark
- Delta Lake
- Unity Catalog
- Python
- PySpark
- SQL
- ETL
- ELT
- Data governance
- CI/CD
- Git
- GitHub Actions
- Azure DevOps
- Jenkins
- Databricks Asset Bundles
- AWS
- Azure
- GCP
- Data modelling
- DataOps