Talan
Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Data Engineer Analyst в международную консалтинговую группу Talan для проекта по развитию DataLake и решения Limits. Работа с моделями данных, ETL-процессами и пайплайнами на Python и SQL.
Задачи
- Анализировать существующие модели данных, потоки данных и процессы трансформации
- Разбираться в существующих датасетах, маппингах и зависимостях внутри DataLake
- Разрабатывать, поддерживать и оптимизировать Python-процессы, ETL и пайплайны данных
- Создавать и поддерживать Control-M джобы и процессы пакетной обработки
- Реализовывать логику загрузки, трансформации и обработки данных
- Разрабатывать и адаптировать модели данных и датасеты для решения Limits
- Проводить анализ, валидацию и сверку данных на SQL по нескольким источникам
- Внедрять контроль качества данных и разбираться с несоответствиями
- Поддерживать тестирование, сертификацию, деплой и релизы в продакшн
- Вести техническую документацию по моделям данных, процессам, маппингам и трансформациям
- Взаимодействовать с техническими и функциональными командами для соответствия решений бизнес-требованиям
Требования
- 2+ года профессионального опыта в Data Engineering, Big Data или аналогичной среде
- Уверенный опыт с архитектурами Big Data / DataLake
- Сильные навыки SQL для запросов, анализа и валидации данных
- Практический опыт с Python
- Опыт разработки ETL-процессов
- Знание процессов загрузки и трансформации данных
- Опыт разработки и поддержки пайплайнов данных
- Понимание концепций моделирования данных
- Опыт с Control-M и/или пакетной обработкой
- Сильные навыки анализа, валидации и сверки данных
- Английский язык уровня B2 и выше
Условия
- Контракт B2B или трудовой договор
- Удалённая работа в часовом поясе CET
- Работа в мультикультурной команде над международными проектами
Навыки
- Python
- SQL
- ETL
- DataLake
- Big Data
- Control-M
- Data pipelines
- Data modeling
- Atoti
- ActiveViam
- Databricks
- REST APIs
- Microservices
- Jira
- Confluence