Vastian
Data Platform Engineer
Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.
Инженер платформы данных в команду AI and Technology Solutions. Проектирование и поддержка масштабных решений для приёма и обработки данных клиентов в медицинской и лабораторной сфере на Azure и Microsoft Fabric.
Задачи
- Проектировать и строить масштабируемые клиентские пайплайны приёма данных на Azure Event Hubs, Azure Data Explorer, Azure Functions, Event Grid и связанных serverless-сервисах
- Проектировать, строить и оптимизировать пайплайны данных, Lakehouse-решения и инженерные процессы на Microsoft Fabric, SQL Server, PySpark
- Разрабатывать и улучшать batch- и orchestration-пайплайны для перемещения и трансформации структурированных и неструктурированных данных
- Разрабатывать и оптимизировать запросы KQL, ingestion mappings, update policies, materialized views, политики хранения и кэширования
- Совместно с инженерами приложений и платформы определять и поддерживать клиентские ingestion API: аутентификация, валидация payload, throttling, обработка ошибок
- Работать с гибкими клиентскими схемами данных, включая полуструктурированный JSON, обеспечивать эволюцию схем, версионирование и нормализацию
- Обеспечивать строгую изоляцию тенантов и безопасность данных в multi-tenant хранилищах в соответствии с требованиями healthcare
- Внедрять проверки качества данных, мониторинг, алертинг и observability для пайплайнов, включая dead-letter, replay и восстановление
Требования
- Опыт или сильная образовательная база в data engineering, аналитике, computer science или смежной технической дисциплине
- Сильные аналитические навыки и умение работать со сложными структурированными и полуструктурированными данными
- Практический опыт с Azure Event Hubs, Azure Data Explorer, Event Grid, Azure Functions или Stream Analytics
- Владение Kusto Query Language (KQL) и опыт проектирования high-volume, time-series или event-based решений
- Практический опыт использования Python, PySpark и C# для обработки, трансформации, автоматизации или аналитики данных
- Сильный опыт работы с SQL Server и написания эффективного SQL
- Опыт работы с JSON и другими полуструктурированными форматами, REST API, проектированием и валидацией схем
- Знание data modeling, паттернов ETL/ELT и лучших практик построения масштабируемых пайплайнов
- Понимание практик безопасности и приватности данных: шифрование, RBAC, managed identities, работа с чувствительными данными
- Умение понятно объяснять технические концепции техническим и нетехническим стейкхолдерам
Условия
- Конкурентная базовая зарплата и программа performance bonus
- Медицинская, стоматологическая и vision-страховка
- Страхование от краткосрочной и долгосрочной нетрудоспособности
- Страхование жизни и AD&D, дополнительное страхование жизни
- План сбережений 401(k)
- Оплачиваемый отпуск
Навыки
- Microsoft Fabric
- SQL Server
- Lakehouse
- PySpark
- C#
- Python
- Azure Event Hubs
- Azure Data Explorer
- Azure Functions
- Event Grid
- Stream Analytics
- KQL
- SQL
- JSON
- REST API
- ETL/ELT
- Azure