Data Engineer - Senior

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для поддержки крупной федеральной программы модернизации: проектирование и эксплуатация пайплайнов данных при миграции петабайтных объёмов в облако. Требуется гражданство США и активный допуск Top Secret.

Задачи

• Проектировать, строить и оптимизировать масштабируемые пайплайны данных для загрузки, трансформации и выгрузки больших наборов данных
• Реализовывать процессы ETL/ELT для миграции данных из множества источников и форматов
• Разрабатывать модели данных, схемы, артефакты маппинга и структуры интеграции для миграции legacy-систем в облако
• Повышать автоматизацию, производительность, пропускную способность и отказоустойчивость облачных пайплайнов
• Руководить очисткой, нормализацией, обогащением и валидацией данных из legacy-источников
• Проводить root-cause анализ аномалий данных и направлять корректирующие действия
• Координировать работу с QA/Test инженерами для встраивания валидации данных и автотестов в пайплайны
• Поддерживать инженерию данных в облачных средах AWS
• Взаимодействовать с Cloud Engineers, DevSecOps, Migration Engineers и разработчиками систем
• Обеспечивать соответствие требованиям безопасности, логирования и аудита
• Наставлять Data Migration Engineers и Data Engineers уровня middle
• Участвовать в технических ревью, спринтах и обсуждениях архитектуры
• Поддерживать оценку готовности к миграции, уточнение бэклога и планирование
• Готовить документацию: схемы пайплайнов, спецификации маппинга, словари данных, процессные руководства
• Отслеживать прогресс миграции, производительность пайплайнов, качество данных и операционные риски

Требования

• Активный допуск Top Secret
• Гражданство США
• Степень бакалавра и 8+ лет опыта в data engineering, разработке ETL или крупномасштабных операциях с данными
• Практический опыт построения пайплайнов для структурированных и неструктурированных данных в корпоративных средах
• Сильное владение моделированием данных, логикой трансформации и автоматизацией
• Знакомство с облачными средами (предпочтительно AWS), инструментами DevSecOps и скриптовыми языками
• Отличные аналитические навыки, навыки документирования и решения проблем

Условия

• Возможность участвовать в высокозначимой миссии национальной безопасности
• Практический опыт с передовыми технологиями
• Локации: Huntsville, AL или Quantico, VA

Навыки

• ETL
• ELT
• Data modeling
• AWS
• DevSecOps
• CI/CD
• Distributed compute
• Cloud-native data services