Senior Batch Data Engineer (Alibaba Cloud Stack)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Batch Data Engineer для полного владения корпоративным batch-хранилищем данных на Alibaba Cloud. Проектирование и оптимизация T-1 пайплайнов для дашбордов, аналитики и AI/ML-сервисов с использованием AI-инструментов.

Задачи

• Проектировать, строить и поддерживать масштабируемые ETL/ELT batch-пайплайны на Alibaba Cloud DataWorks и MaxCompute
• Проектировать и строить слои корпоративного хранилища (ODS, DWD, DWS, ADS) с помощью модульных SQL/Python-скриптов и AI-инструментов
• Разрабатывать и оптимизировать процессы загрузки, трансформации и batch-обработки данных в архитектурах Lakehouse и Data Warehouse (MaxCompute, Hologres, DataWorks, DTS)
• Обеспечивать надёжность данных, высокую производительность запросов, стабильность схем и экономичную работу с облачными ресурсами
• Внедрять AI-инструменты (Claude, GitHub Copilot, prompt engineering) в ежедневный workflow для генерации кода, рефакторинга SQL и валидации данных
• Применять AI-методологии тестирования для написания unit-тестов, симуляции сценариев данных и аудита точности перед релизом
• Внедрять строгие правила качества данных, автоматические скрипты сверки и проверки внутри DataWorks-джобов
• Строить проактивные алерты и мониторинг (интеграция с Lark) для выявления дрейфа данных, поломок схем и сбоев пайплайнов
• Поддерживать downstream-аналитику, BI-отчётность и AI/LLM-сервисы чистыми и достоверными данными
• Нести полную ответственность за стабильность ежедневных T-1 batch-пайплайнов, планирование джобов, исторические бэкфиллы и устранение legacy-проблем
• Выступать двуязычным техническим мостом, свободно взаимодействуя на английском и китайском с техническими лидами, продакт-менеджерами и разработчиками

Требования

• 5+ лет практического опыта с data-сервисами Alibaba Cloud: DataWorks, MaxCompute, DTS, Hologres, FC Functions, Data Agents и архитектурами MaxCompute Lakehouse
• Продвинутое владение SQL и Python для data engineering, оптимизации производительности и баз данных
• Подтверждённый опыт моделирования многослойных корпоративных структур данных (ODS, DWD, DWS, ADS) и управления batch Lakehouse-архитектурами
• Свободное владение английским и китайским языками в устной и письменной форме для технической коллаборации с региональными командами
• Сильное чувство ответственности, высокая скорость работы, проактивная коммуникация и установка «deliver fast, iterate continuously»

Условия

• Опыт использования AI-ассистентов (Copilot, LLM) для ускорения ETL-разработки, код-ревью и оптимизации запросов приветствуется
• Опыт построения интеграций алертинга и мониторинга с Lark или аналогичной платформой приветствуется
• Опыт применения AI-методологий тестирования перед релизом в продакшн приветствуется

Навыки

• Alibaba Cloud
• DataWorks
• MaxCompute
• DTS
• Hologres
• FC Functions
• Data Agents
• MaxCompute Lakehouse
• SQL
• Python
• ETL
• ELT
• ODS
• DWD
• DWS
• ADS
• Lark
• Claude
• GitHub Copilot
• prompt engineering
• LLM