Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в международную компанию Lineate для работы над платформой в сфере недвижимости и ипотеки (США). Задача — строить и поддерживать надёжные ETL/ELT-пайплайны и компоненты дата-платформы, интегрируя данные из множества разнородных источников.

Задачи

• Строить и поддерживать надёжные масштабируемые ETL/ELT-пайплайны и компоненты дата-платформы
• Интегрировать данные из множества разнородных источников: баз данных, API, файлов и сторонних систем
• Очищать, нормализовать, трансформировать и маппить грязные, неполные и несогласованные данные, часто без надёжных уникальных ключей
• Разрабатывать решения для сопоставления записей, дедупликации, сверки и entity resolution между разными источниками данных
• Проектировать модели данных и внедрять процессы контроля качества, валидации и мониторинга данных
• Расследовать расхождения в данных, устранять проблемы пайплайнов и постоянно повышать надёжность и производительность данных

Требования

• 6+ лет практического опыта в Data Engineering
• Сильные навыки Python и SQL
• Серьёзный production-опыт с ETL/ELT, интеграцией данных и моделированием данных
• Практический опыт очистки и маппинга неполных, несогласованных или дублирующихся данных из нескольких источников
• Опыт сопоставления записей без надёжного общего ID: составные ключи, rule-based или fuzzy matching, entity resolution и подобные подходы
• Production-опыт с современными data-технологиями: Airflow, dbt, Spark, Kafka, ClickHouse, Snowflake, Databricks или аналогичными
• Сильное понимание принципов качества данных и DWH/дата-платформ

Условия

• Свобода для развития — равные возможности учиться и расти профессионально
• Понятный карьерный и профессиональный путь, сильная система управления эффективностью
• Социальный пакет
• Оборудование
• Уроки английского
• Абонемент в спортзал
• Все преимущества работы в международной IT-компании
• Гибкий график отпусков
• Весёлые и инклюзивные офлайн- и онлайн-мероприятия

Навыки

• Python
• SQL
• ETL
• ELT
• Data integration
• Data modeling
• Entity resolution
• Fuzzy matching
• Airflow
• dbt
• Spark
• Kafka
• ClickHouse
• Snowflake
• Databricks
• DWH