Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду DMIA Integration Принстонского университета. Отвечает за загрузку данных из корпоративных систем в хранилище и миграцию пайплайнов на облачную платформу.

Задачи

• Проектировать, строить и поддерживать ETL/ELT-пайплайны для загрузки, трансформации и выгрузки данных из источников в корпоративное хранилище
• Вести миграцию локальных пайплайнов на будущую cloud-native платформу (Fabric, Snowflake + dbt + Fivetran или Databricks)
• Внедрять и контролировать проверки качества данных, отслеживание lineage и observability пайплайнов
• Обеспечивать безопасность данных и соответствие требованиям, включая шифрование at rest и in transit и контроль доступа по IAM-политикам
• Оптимизировать производительность пайплайнов, расписания и использование ресурсов для batch и инкрементальных загрузок
• Работать с аналитиками данных, BI-разработчиками и владельцами систем-источников для сбора требований и их перевода в надёжные пайплайны загрузки
• Эксплуатировать и поддерживать пайплайны загрузки и трансформации
• Вести документацию пайплайнов, data dictionaries и SLA для задач загрузки
• Участвовать в on-call ротации production-поддержки и реагировать на инциденты интеграции по SLA
• Участвовать в настройке CI/CD и DevOps-практик для деплоя интеграций данных

Требования

• Linux / Shell scripting
• Программирование на Python
• SQL (написание запросов и валидация данных)
• Базовые сетевые знания (DNS, HTTP/S, TCP/IP, прокси, файрволы)
• Основы облачной инфраструктуры (любой крупный провайдер)
• IAM: LDAP, Active Directory, OAuth 2.0, управление сертификатами
• 5+ лет подтверждённого опыта с корпоративными ETL/ELT-инструментами
• Продвинутый SQL на нескольких платформах (Oracle, SQL Server, PostgreSQL)
• Сильные навыки Python для трансформации данных, скриптинга и автоматизации пайплайнов
• Владение Shell-скриптингом для автоматизации batch-задач на Linux/Unix
• Практический опыт хотя бы с одной облачной data-платформой: Microsoft Fabric, Snowflake (с dbt и/или Fivetran) или Databricks
• Опыт работы с dbt для разработки слоя трансформаций
• Свободное владение Linux/Unix: управление файлами, cron, мониторинг процессов
• Понимание концепций хранилищ данных: dimensional modelling, star/snowflake схемы, slowly changing dimensions
• Знакомство с основами сетей, хранения и облачной инфраструктуры
• Опыт с IAM и контролем доступа: LDAP, Active Directory, управление правами на уровне БД
• Рабочее знание REST API для извлечения данных из источников и оркестрации пайплайнов
• Умение понятно документировать потоки данных, архитектуру пайплайнов и логику трансформаций
• Высшее образование в области computer science

Условия

• Полная занятость, 36.25 стандартных часов в неделю
• Позиция не подлежит оплате сверхурочных
• Доступны льготы (benefits eligible)
• Испытательный период 180 дней
• Диапазон зарплаты: $120,000 – $135,000
• Позиция не относится к essential services personnel
• Не требуется физический медосмотр
• Не требуются водительские права

Навыки

• Linux
• Shell
• Python
• SQL
• Oracle
• SQL Server
• PostgreSQL
• Microsoft Fabric
• Snowflake
• dbt
• Fivetran
• Databricks
• IBM DataStage
• ETL
• ELT
• REST API
• LDAP
• Active Directory
• OAuth 2.0
• CI/CD
• DevOps
• Apache Airflow
• Azure Data Factory
• Prefect
• Kafka
• Kinesis
• Event Hubs
• Great Expectations
• Soda
• AWS
• Azure
• GCP