Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в новую data-платформу Nelnet Business Services. Отвечает за надёжный ingestion данных из источников в Snowflake, Bronze-слой и CDC-пайплайны, с ростом в сторону Silver-моделирования.

Задачи

• Строить и поддерживать CDC и batch-пайплайны из источников в Bronze-слой Snowflake с использованием Redpanda, Python и Dagster
• Управлять адаптерами под реляционные (SQL Server, Oracle), документные (MongoDB), API и файловые источники, подключать новые источники
• Консолидировать single-tenant базы источников в multi-tenant модель Snowflake
• Реализовывать идемпотентные загрузки с дедупликацией для безопасных перезапусков пайплайнов
• Проектировать и поддерживать raw snapshot-таблицы с минимальной трансформацией как неизменяемый аудит-трейл
• Реализовывать историческое отслеживание, чтобы данные не перезаписывались незаметно
• Обрабатывать hard deletes из источников через трекинг удалений в Snowflake
• Поддерживать документацию схем источников и детекцию изменений при дрейфе схем
• Строить conformed Silver-модели по бизнес-правилам и логике Analytics Engineer
• Отвечать за reconciliation Bronze-to-Silver: сходимость row counts и сумм без потерь и двойного учёта
• Автоматизировать contract gates (reconciliation, freshness, schema validation) как CI/CD-проверки
• Проставлять classification-теги на Bronze для промоушена колонок в Silver совместно с data owner и Data Governance
• Обрабатывать инкрементальную логику и тюнить производительность моделей
• Запускать и мониторить оркестрацию Dagster: расписания, ретраи, алерты о сбоях, SLA-мониторинг
• Внедрять data-quality проверки на границе ingestion: row counts, schema validation, freshness
• Мониторить лимиты конкурентной записи Snowflake и тюнить паттерны ingestion
• Участвовать в incident response уровня severity-1: сбои загрузки файлов, каскады задержек, дубли транзакций
• Работать с Platform Engineering над Docker-контейнеризацией и провижинингом Snowflake объектов
• Проставлять обязательные теги (domain, squad, product, layer, environment) на объекты Snowflake, Dagster jobs и streaming topics
• Участвовать в миграции CDC с HVR на Redpanda и валидировать целостность данных при cutover
• Вносить вклад в общие CI/CD шаблоны пайплайнов

Требования

• Опыт построения и эксплуатации production data-пайплайнов с сильными навыками Python и SQL
• Уверенное знание реляционных БД (SQL Server, Oracle или PostgreSQL)
• Опыт внедрения data-quality проверок на границе ingestion: детекция дрейфа схем, валидация row counts, мониторинг freshness, и reconciliation end-to-end
• Общее понимание концепций data modeling
• Степень бакалавра в Computer Science, Information Systems, Engineering, Mathematics или смежной области либо эквивалентный опыт
• Право на работу в США без необходимости спонсорства визы

Условия

• Годовая компенсация $100,000 в зависимости от опыта
• Гибридный формат: удалённо часть недели и 3 дня в офисе для сотрудников в пределах 30 миль от офиса
• Медицинская, стоматологическая и vision-страховка, HSA и FSA
• Щедрый оплачиваемый отпуск
• 401K и погашение студенческого кредита
• Страхование жизни и AD&D, EAP, программа покупки акций сотрудниками
• Компенсация обучения, performance-based incentive pay
• Краткосрочная и долгосрочная нетрудоспособность, wellness-программа

Навыки

• Python
• SQL
• Snowflake
• Redpanda
• Dagster
• CDC
• SQL Server
• Oracle
• PostgreSQL
• MongoDB
• Docker
• dbt
• Kafka
• Snowpipe
• CI/CD
• Data Modeling
• Data Governance