CAQH

Sr. Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в DataSpring для построения и сопровождения пайплайнов и моделей данных платформы провайдерских данных и ProView на Azure Databricks и Azure SQL. Роль также отвечает за стандарты моделирования данных и автоматизацию их соблюдения.

Задачи

  • Проектировать, строить и эксплуатировать production-пайплайны на Azure Databricks и Azure SQL для загрузки, интеграции и публикации данных провайдеров из внутренних и сторонних источников
  • Проектировать модели данных для этих пайплайнов, включая интеграционные и master-data слои с историей (SCD Type 2), lineage источников и правилами survivorship на уровне полей
  • Писать production-grade SQL, PySpark, Python и DDL, оптимизировать производительность и стоимость на больших объёмах данных
  • Строить проверки качества данных, сверки, мониторинг и алертинг
  • Владеть стандартами моделирования и именования для SQL Server, Azure SQL и Databricks (Delta Lake, Unity Catalog) и строить автоматические проверки в CI/CD Azure DevOps
  • Ревьюить модели данных, изменения схем и pull requests внутренних инженеров и вендорских команд, фиксировать решения по моделированию
  • Поддерживать source-to-target mappings, data dictionaries и ERD, по возможности генерируемые из самих систем
  • Работать с командами Data Science, продукта, биллинга и приложений, превращая бизнес-требования в модели данных и data contracts
  • Защищать PHI, включая классификацию чувствительных колонок, и обеспечивать соответствие HIPAA, HITRUST и SOC 2

Требования

  • 8+ лет в data engineering, из них минимум 4 года проектирования моделей данных, дошедших до production в масштабе
  • Экспертный SQL, уверенные PySpark и Python, опыт построения и эксплуатации production-пайплайнов
  • Глубокие навыки реляционного и размерного моделирования, включая SCD, entity resolution
  • Практический опыт с Azure Databricks: Delta Lake, Unity Catalog, medallion architecture, оркестрация джобов, оптимизация производительности
  • Git-based workflows и CI/CD в Azure DevOps или аналоге, включая автоматизацию деплоя БД с gated promotion между средами
  • Опыт тестирования качества данных и observability пайплайнов
  • Опыт построения master data management, entity resolution или survivorship-логики по нескольким источникам
  • Опыт определения стандартов моделирования данных и автоматизации их соблюдения
  • Степень бакалавра в Computer Science, Engineering или смежной области либо эквивалентный опыт
  • Недавний hands-on production engineering опыт — ожидается написание и поставка кода, а не только ревью

Условия

  • Full-time, remote, exempt позиция
  • Подчинение Senior Director, Data Engineering & Architecture
  • Без прямых подчинённых, но с техническим руководством внутренними инженерами и вендорскими командами
  • Конкурентная компенсация и полный benefits-пакет: medical, dental, vision
  • 401(k) с взносами и matching
  • Оплачиваемый родительский отпуск, компенсация обучения, щедрый PTO
  • Полностью удалённая среда

Навыки

  • SQL
  • PySpark
  • Python
  • DDL
  • Azure Databricks
  • Azure SQL
  • SQL Server
  • Delta Lake
  • Unity Catalog
  • medallion architecture
  • Databricks Asset Bundles
  • Azure DevOps
  • CI/CD
  • Git
  • SCD Type 2
  • entity resolution
  • master data management
  • data quality
  • HIPAA
  • HITRUST
  • SOC 2
  • Ataccama
  • ER/Studio

Похожие вакансии

Senior Data Engineer
CapgeminiSeniorAtlantaОфис
83,951 – 156,310 USD в год
20 нояб.
Programmer Analyst III - Snowflake Platform Administrator
Endeavor HealthSeniorSkokieГибрид
53 – 83 USD в час
20 нояб.
Senior Data Engineer
NikeSeniorBeavertonОфис
20 нояб.
Sr. Data Engineer
Arlo TechnologiesLeadMilpitasОфис
140,000 – 160,000 USD в год
20 нояб.
Principal Data Engineer
Navy Federal Credit UnionLeadViennaГибрид
151,600 – 208,500 USD в год
20 нояб.
Principal Data Engineer
Strider TechnologiesLeadTysonsОфис
20 нояб.
Sr. Data Engineer
Lam Research CorporationSeniorГибрид
114,000 – 253,000 USD в год
21 нояб.
Senior Data Engineer
Western National Insurance GroupSeniorEdinaОфис
104,300 – 143,440 USD в год
21 нояб.
AWS Data Engineer
IncedoSeniorОфис
20 нояб.
Data Engineer
Seattle Children'sMiddleSeattleГибрид
110,122 – 165,182 USD в год
20 нояб.