Senior Technical Lead

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

PySpark-разработчик для проектирования и поддержки крупномасштабных распределённых систем обработки данных и пайплайнов. Работа с большими объёмами структурированных и неструктурированных данных через Apache Spark.

Задачи

• Проектировать и строить масштабируемые ETL/ELT-пайплайны для переноса и трансформации данных в data lake или хранилище
• Писать оптимизированные PySpark-скрипты (DataFrames, Datasets, Spark SQL) для обработки терабайт/петабайт данных
• Отлаживать и оптимизировать Spark-задачи: управление партициями, кэширование, broadcast-переменные, минимизация shuffle
• Участвовать в проектировании архитектуры данных, схем и форматов хранения (Parquet, Delta Lake, ORC)
• Интегрировать Spark-приложения с облачным хранилищем (AWS S3, Azure ADLS, Google Cloud Storage) и базами данных
• Разворачивать data-воркфлоу через оркестраторы и поддерживать качество кода через unit-тесты

Требования

• Python (продвинутый уровень)
• SQL (продвинутый уровень)
• Apache Spark / PySpark, Hadoop, Hive
• Облачные платформы: AWS (EMR, Glue), Azure (Databricks, Synapse) или GCP (Dataproc)
• Форматы и хранилища: Delta Lake, Parquet, Avro, HDFS, Snowflake, Amazon S3
• Оркестрация: Apache Airflow, Prefect или Luigi

Навыки

• Python
• SQL
• Apache Spark
• PySpark
• Hadoop
• Hive
• AWS
• AWS EMR
• AWS Glue
• Azure
• Databricks
• Synapse
• GCP
• Dataproc
• Delta Lake
• Parquet
• Avro
• HDFS
• Snowflake
• Amazon S3
• Apache Airflow
• Prefect
• Luigi