Vastian

Data Platform Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер платформы данных в команду AI and Technology Solutions. Проектирование и поддержка масштабных решений для приёма и обработки данных клиентов в медицинской и лабораторной сфере на Azure и Microsoft Fabric.

Задачи

  • Проектировать и строить масштабируемые клиентские пайплайны приёма данных на Azure Event Hubs, Azure Data Explorer, Azure Functions, Event Grid и связанных serverless-сервисах
  • Проектировать, строить и оптимизировать пайплайны данных, Lakehouse-решения и инженерные процессы на Microsoft Fabric, SQL Server, PySpark
  • Разрабатывать и улучшать batch- и orchestration-пайплайны для перемещения и трансформации структурированных и неструктурированных данных
  • Разрабатывать и оптимизировать запросы KQL, ingestion mappings, update policies, materialized views, политики хранения и кэширования
  • Совместно с инженерами приложений и платформы определять и поддерживать клиентские ingestion API: аутентификация, валидация payload, throttling, обработка ошибок
  • Работать с гибкими клиентскими схемами данных, включая полуструктурированный JSON, обеспечивать эволюцию схем, версионирование и нормализацию
  • Обеспечивать строгую изоляцию тенантов и безопасность данных в multi-tenant хранилищах в соответствии с требованиями healthcare
  • Внедрять проверки качества данных, мониторинг, алертинг и observability для пайплайнов, включая dead-letter, replay и восстановление

Требования

  • Опыт или сильная образовательная база в data engineering, аналитике, computer science или смежной технической дисциплине
  • Сильные аналитические навыки и умение работать со сложными структурированными и полуструктурированными данными
  • Практический опыт с Azure Event Hubs, Azure Data Explorer, Event Grid, Azure Functions или Stream Analytics
  • Владение Kusto Query Language (KQL) и опыт проектирования high-volume, time-series или event-based решений
  • Практический опыт использования Python, PySpark и C# для обработки, трансформации, автоматизации или аналитики данных
  • Сильный опыт работы с SQL Server и написания эффективного SQL
  • Опыт работы с JSON и другими полуструктурированными форматами, REST API, проектированием и валидацией схем
  • Знание data modeling, паттернов ETL/ELT и лучших практик построения масштабируемых пайплайнов
  • Понимание практик безопасности и приватности данных: шифрование, RBAC, managed identities, работа с чувствительными данными
  • Умение понятно объяснять технические концепции техническим и нетехническим стейкхолдерам

Условия

  • Конкурентная базовая зарплата и программа performance bonus
  • Медицинская, стоматологическая и vision-страховка
  • Страхование от краткосрочной и долгосрочной нетрудоспособности
  • Страхование жизни и AD&D, дополнительное страхование жизни
  • План сбережений 401(k)
  • Оплачиваемый отпуск

Навыки

  • Microsoft Fabric
  • SQL Server
  • Lakehouse
  • PySpark
  • C#
  • Python
  • Azure Event Hubs
  • Azure Data Explorer
  • Azure Functions
  • Event Grid
  • Stream Analytics
  • KQL
  • SQL
  • JSON
  • REST API
  • ETL/ELT
  • Azure

Похожие вакансии

Databricks Platform & Data Engineer
NTT DATA Global Services CorporationSeniorPlanoОфис
20 нояб.
Databricks Platform & Data Engineer
NTT DATA ServicesSeniorPlanoОфис
20 нояб.
Staff Data Platform Engineer
NikoHealthLeadУдалённо
175,000 – 215,000 USD в год
20 нояб.
Senior Data Engineer (Python, Spark, PySpark, AWS)
CVS HealthSeniorУдалённо
83,430 – 203,940 USD в год
20 нояб.
Data Engineer (Python, SQL & Cloud ETL Pipelines)
Axiom PathSeniorCharlotteУдалённо
20 нояб.
Senior Data Platform Engineer - Zonda - Irvine, CA
CoStar GroupSeniorIrvineОфис
128,000 – 190,000 USD в год
20 нояб.
Forward Deployed Engineer
TalentplutoMiddleSan FranciscoГибрид
200,000 – 275,000 USD в год
20 нояб.
Senior Database Developer
CorningSeniorCorningОфис
108,592 – 149,314 USD в год
20 нояб.
Data Platform Engineer II
ALLETEMiddleDuluthГибрид
82,000 – 102,000 USD в год
20 нояб.
Senior Database Developer
CorningSeniorCharlotteОфис
108,592 – 149,314 USD в год
20 нояб.