Senior Specialist - Data Engineering

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Специалист по data engineering в команду доставки: проектирование, разработка и поддержка ETL-процессов и BI-отчётности для критичных корпоративных систем. Работа с бизнесом и кросс-функциональными командами над требованиями к аналитике и построением пайплайнов.

Задачи

• Проектировать и разрабатывать масштабируемые и надёжные пайплайны для загрузки, обработки и трансформации больших объёмов данных из разных источников
• Совместно с data scientists, аналитиками и стейкхолдерами собирать требования к данным и переводить их в технические спецификации и модели данных
• Оптимизировать и настраивать пайплайны по производительности, надёжности и масштабируемости
• Внедрять проверки качества данных, правила валидации и системы мониторинга для обеспечения целостности и точности данных
• Проектировать и поддерживать хранилища данных, data lake и другие системы хранения
• Разрабатывать и поддерживать фреймворки и инструменты обработки данных для эффективного анализа и отчётности
• Проектировать модели данных с использованием Star/Snowflake Schema, Data Marts, реляционного и размерного моделирования, фактовых и размерных таблиц, физического и логического моделирования
• Управлять портфелем бизнес-аналитики для закреплённого бизнес-направления
• Проводить бизнес-анализ для сбора потребностей в аналитике
• Переводить бизнес-требования в спецификации для проектирования и настройки хранилища данных / data mart
• Администрировать, разрабатывать и внедрять Data Warehousing на Alteryx и BI-приложения на Power BI/Tableau/Business Objects
• Передавать разработанные BI-системы в команду Operations & Support
• Поддерживать доступность и производительность корпоративных данных и BI-сред для внутренних и внешних пользователей
• Оказывать техническую помощь и проводить кросс-обучение членов команды
• Развивать команду в соответствии с целевыми компетенциями
• Мотивировать членов команды поддерживать высокое качество сервиса и профессиональное развитие
• Наставлять младших членов команды
• Обеспечивать управление конфигурациями и контроль изменений в зоне ответственности
• Проектировать и внедрять лучшие практики, руководства и повторяемые процессы
• Следить за трендами и технологиями в data engineering и предлагать инновационные решения для улучшения инфраструктуры и процессов

Требования

• Степень бакалавра или магистра в области computer science
• Опыт работы в роли аналитика требований с пользователями
• Практический опыт использования Python для data engineering
• Знание Airflow
• Практический опыт работы с множеством источников данных и API
• Хорошее понимание алгоритмов и базовой статистики
• Активное использование SQL и СУБД (DB2, Oracle, SQL Server и др.)
• Владение data wrangling, визуализацией данных, аналитикой и отчётностью
• Экспертиза в администрировании, разработке и внедрении Data Warehousing на Alteryx и BI-приложений на Power BI/Tableau/Business Objects
• Сильный опыт работы с языками запросов: PL/SQL, SQL Server, Spark SQL, T-SQL
• Минимум 8–11 лет опыта внедрения продвинутой аналитики, data engineering и решений для отчётности
• Желательно наличие сертификаций по Data Warehousing, ETL, Analytics и Reporting Solutions
• Способность работать с умеренным и низким уровнем контроля
• Умение управлять несколькими приоритетами и быстро адаптироваться к изменениям
• Лидерские качества для наставничества младших членов команды
• Отличные навыки межличностного общения (устного и письменного) для работы в проектных командах

Навыки

• Python
• Airflow
• SQL
• RDBMS
• DB2
• Oracle
• SQL Server
• Alteryx
• Power BI
• Tableau
• Business Objects
• PL/SQL
• Spark SQL
• T-SQL
• AWS
• Azure
• Google Cloud
• ETL
• Data Warehousing
• Data Lakes
• Star Schema
• Snowflake Schema
• Data Modelling
• Data Visualization
• APIs