Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в Retail Insight для построения и поддержки надёжных масштабируемых data-систем для клиентов из US retail. Роль hands-on: пайплайны на Databricks, архитектура данных, качество и наблюдаемость, работа с data scientists и аналитиками.

Задачи

• Строить и поддерживать масштабируемые data-пайплайны, разрабатывать и оптимизировать batch- и streaming-процессы
• Участвовать в проектировании и реализации архитектуры данных
• Внедрять проверки качества данных, мониторинг и наблюдаемость пайплайнов
• Соблюдать стандарты безопасности, контроля доступа и governance, установленные platform-командой
• Сотрудничать с data scientists и аналитиками для поставки data-продуктов
• Вместе с Lead Data Engineer переводить бизнес-требования в технические решения
• Участвовать в code review и поддерживать высокую планку инженерного качества
• Помогать оптимизировать облачные затраты и производительность платформы
• Вести документацию платформы и участвовать в выборе инструментов и непрерывных улучшениях

Требования

• Солидный опыт в data engineering, включая построение и поддержку production-grade пайплайнов на Databricks
• Опыт с Databricks Unity Catalog и Databricks Asset Bundles
• Сильные практические знания Apache Spark, Delta Lake и Databricks Workflows
• Владение Python и SQL, понимание моделирования данных, ETL/ELT и распределённой обработки данных
• Опыт с Azure data platform: Azure Data Factory, ADLS Gen2, Azure DevOps или эквиваленты на AWS/GCP
• Опыт внедрения проверок качества данных и мониторинга пайплайнов
• Сильные коммуникативные навыки и умение работать с техническими и нетехническими коллегами
• Готовность к командировкам
• Степень в computer science, data engineering или смежной области либо эквивалентный практический опыт

Условия

• Гибридный и гибкий формат работы, work from anywhere, летние часы и дополнительные дни отдыха
• 26 дней PTO, оплачиваемые волонтёрские дни, поддержка wellbeing и ментального здоровья
• Доступ к обучающей платформе, планы карьерного роста, поддержка в организации домашнего рабочего места
• Медицинская, стоматологическая и vision-страховка, пенсионный план с match 6%
• Ежегодная компенсация телефона, доступ к спортзалу на месте, настраиваемые бенефиты

Навыки

• Databricks
• Databricks Unity Catalog
• Databricks Asset Bundles
• Apache Spark
• Delta Lake
• Databricks Workflows
• Python
• SQL
• ETL/ELT
• Azure Data Factory
• ADLS Gen2
• Azure DevOps
• AWS
• GCP
• Terraform
• Bicep
• dbt
• Kafka
• Event Hubs