Wipro Limited
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer в Wipro для проектирования и оптимизации масштабируемых data pipelines и современных data-платформ на Python и Azure Databricks.
Задачи
- Проектировать, разрабатывать и поддерживать масштабируемые data pipelines на Python и Azure Databricks
- Строить и оптимизировать ETL/ELT-процессы для загрузки, трансформации и обработки больших данных
- Разрабатывать data-решения на Apache Spark в среде Databricks
- Интегрировать данные из множества структурированных и неструктурированных источников
- Обеспечивать качество, надёжность, безопасность и governance данных
- Взаимодействовать с Data Scientists, аналитиками, архитекторами и бизнес-заказчиками
- Выполнять performance tuning и оптимизацию обработки больших данных
- Разрабатывать и поддерживать data-модели, метаданные и документацию
- Мониторить и устранять проблемы production data pipelines
- Поддерживать внедрение CI/CD и автоматизацию деплоя data-решений
Требования
- Сильный опыт в Python и Azure Databricks
- Практический опыт в cloud-based data engineering и обработке больших данных
- Опыт трансформации данных с использованием сервисов Azure и Databricks
- Опыт работы с Apache Spark
- Опыт построения ETL/ELT-процессов
Навыки
- Python
- Azure Databricks
- Azure
- Apache Spark
- ETL
- ELT
- CI/CD