Data Engineer (f/m/x)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду Data & AI компании NETCONOMY. Проектирование и реализация масштабных data-решений на Google Cloud Platform для клиентов.

Задачи

• Строить эффективные и масштабируемые ETL/ELT-процессы для загрузки, трансформации и выгрузки данных из баз данных, API и стриминговых платформ в BigQuery и Cloud Storage
• Реализовывать приём данных и обработку в реальном времени с помощью Dataflow (Apache Beam) и Pub/Sub для batch- и streaming-сценариев
• Разрабатывать SQL-трансформации в Dataform с версионированием, тестированием и автоматическим планированием с проверками качества
• Писать оптимизированные по стоимости запросы BigQuery с партиционированием, кластеризацией и денормализацией
• Оркестрировать сложные workflow с помощью Cloud Composer (Apache Airflow) и Cloud Functions для событийной обработки данных
• Внедрять централизованное управление данными и метаданными в Dataplex с автоматической каталогизацией и отслеживанием lineage
• Мониторить и оптимизировать пайплайны по производительности, масштабируемости и стоимости с помощью Cloud Monitoring и Cloud Logging
• Взаимодействовать с data scientists и аналитиками для понимания требований к данным и получения практических инсайтов
• Следить за новинками GCP в области data-сервисов, BigQuery и лучшими практиками data engineering

Требования

• 3+ года практического опыта работы Data Engineer с подтверждённой экспертизой в Google Cloud Platform (GCP)
• Сильный опыт с BigQuery (SQL, партиционирование, кластеризация, оптимизация) и Dataflow (Apache Beam)
• Сильные навыки программирования на Python, опыт с библиотеками для работы с данными (PySpark, pandas)
• Экспертный уровень SQL для сложных трансформаций, оптимизации и анализа
• Опыт работы с Dataform для модульных SQL-трансформаций и управления пайплайнами
• Понимание принципов хранилищ данных, ETL/ELT, размерного моделирования и управления данными
• Опыт интеграции данных из различных API и стриминговых систем (Pub/Sub)
• Опыт работы с Cloud Composer для оркестрации workflow
• Отличные коммуникативные навыки и навыки командной работы на английском (минимум B2)
• Способность работать самостоятельно и в составе agile-команды

Условия

• Гибкие модели работы: свободный график и гибридный формат (офис или дом)
• Структурированный онбординг и менторинг, индивидуальные возможности обучения
• Ежегодная внутренняя конференция Company Summit и нетворкинг
• Социальные мероприятия: пицца-вечера, спорт, рождественские вечера, праздники
• Ежемесячная компенсация на питание и скидки в ресторанах-партнёрах
• Поддержка экологичного транспорта

Навыки

• Google Cloud Platform
• BigQuery
• Dataflow
• Apache Beam
• Pub/Sub
• Python
• PySpark
• pandas
• SQL
• Dataform
• Cloud Composer
• Apache Airflow
• Cloud Functions
• Dataplex
• Cloud Monitoring
• Cloud Logging
• BigLake
• Terraform
• CI/CD
• Looker
• Looker Studio
• Power BI
• Vertex AI