CAQH
Sr. Data Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Senior Data Engineer в DataSpring для построения и сопровождения пайплайнов и моделей данных платформы провайдерских данных и ProView на Azure Databricks и Azure SQL. Роль также отвечает за стандарты моделирования данных и автоматизацию их соблюдения.
Задачи
- Проектировать, строить и эксплуатировать production-пайплайны на Azure Databricks и Azure SQL для загрузки, интеграции и публикации данных провайдеров из внутренних и сторонних источников
- Проектировать модели данных для этих пайплайнов, включая интеграционные и master-data слои с историей (SCD Type 2), lineage источников и правилами survivorship на уровне полей
- Писать production-grade SQL, PySpark, Python и DDL, оптимизировать производительность и стоимость на больших объёмах данных
- Строить проверки качества данных, сверки, мониторинг и алертинг
- Владеть стандартами моделирования и именования для SQL Server, Azure SQL и Databricks (Delta Lake, Unity Catalog) и строить автоматические проверки в CI/CD Azure DevOps
- Ревьюить модели данных, изменения схем и pull requests внутренних инженеров и вендорских команд, фиксировать решения по моделированию
- Поддерживать source-to-target mappings, data dictionaries и ERD, по возможности генерируемые из самих систем
- Работать с командами Data Science, продукта, биллинга и приложений, превращая бизнес-требования в модели данных и data contracts
- Защищать PHI, включая классификацию чувствительных колонок, и обеспечивать соответствие HIPAA, HITRUST и SOC 2
Требования
- 8+ лет в data engineering, из них минимум 4 года проектирования моделей данных, дошедших до production в масштабе
- Экспертный SQL, уверенные PySpark и Python, опыт построения и эксплуатации production-пайплайнов
- Глубокие навыки реляционного и размерного моделирования, включая SCD, entity resolution
- Практический опыт с Azure Databricks: Delta Lake, Unity Catalog, medallion architecture, оркестрация джобов, оптимизация производительности
- Git-based workflows и CI/CD в Azure DevOps или аналоге, включая автоматизацию деплоя БД с gated promotion между средами
- Опыт тестирования качества данных и observability пайплайнов
- Опыт построения master data management, entity resolution или survivorship-логики по нескольким источникам
- Опыт определения стандартов моделирования данных и автоматизации их соблюдения
- Степень бакалавра в Computer Science, Engineering или смежной области либо эквивалентный опыт
- Недавний hands-on production engineering опыт — ожидается написание и поставка кода, а не только ревью
Условия
- Full-time, remote, exempt позиция
- Подчинение Senior Director, Data Engineering & Architecture
- Без прямых подчинённых, но с техническим руководством внутренними инженерами и вендорскими командами
- Конкурентная компенсация и полный benefits-пакет: medical, dental, vision
- 401(k) с взносами и matching
- Оплачиваемый родительский отпуск, компенсация обучения, щедрый PTO
- Полностью удалённая среда
Навыки
- SQL
- PySpark
- Python
- DDL
- Azure Databricks
- Azure SQL
- SQL Server
- Delta Lake
- Unity Catalog
- medallion architecture
- Databricks Asset Bundles
- Azure DevOps
- CI/CD
- Git
- SCD Type 2
- entity resolution
- master data management
- data quality
- HIPAA
- HITRUST
- SOC 2
- Ataccama
- ER/Studio