Data Engineer for AI (f/m/d)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных для AI-направления в Allianz Global Investors. Проектирование и эксплуатация data-продуктов и переиспользуемых компонентов подготовки данных на платформе Data and AI (Databricks, Microsoft Foundry) для AI/ML и GenAI-сценариев.

Задачи

• Разрабатывать и поддерживать стандартизированные паттерны, шаблоны и утилиты пайплайнов (ingestion, transformation, validation, enrichment) для AI/ML-ready датасетов
• Строить и эксплуатировать надёжные batch- и streaming-пайплайны на Databricks для загрузки данных из внутренних и внешних источников
• Курировать data-продукты по слоям Bronze/Silver/Gold, обеспечивать эволюцию датасетов, качество и актуальность данных
• Проектировать и эксплуатировать пайплайны feature engineering и feature store с версионированием и документацией
• Совместно с ML и AI инженерами строить пайплайны для GenAI/RAG: ingestion, chunking, обновление эмбеддингов и индексов
• Обеспечивать систематическое экспериментирование (offline-оценки, A/B-тесты) и дообучение моделей на фидбеке пользователей
• Внедрять возможности платформы для ingestion, transformation и serving (Delta/Unity Catalog, оркестрация, мониторинг)
• Подключать новые источники данных через Databricks Lakeflow коннекторы
• Реализовывать governance в Unity Catalog: контроль доступа, lineage, retention, шифрование, аудит
• Настраивать автоматические проверки качества данных (DQX), SLA/SLO и мониторинг
• Оптимизировать Spark-нагрузки, layout хранения и вычисления по производительности и стоимости
• Обеспечивать L3-поддержку инцидентов пайплайнов и data-продуктов, проводить root-cause анализ
• Интегрировать Databricks с облачными сервисами Azure, корпоративными системами и SaaS-платформами

Требования

• Минимум 3 года практического опыта построения и эксплуатации пайплайнов и data-продуктов на Databricks (batch и/или streaming)
• Понимание концепций data engineering для AI/ML: моделирование данных, качество данных, data contracts, feature engineering, воспроизводимость
• Экспертный уровень Databricks, Spark, Python и SQL
• Практики CI/CD и infrastructure-as-code (например, Terraform) на Azure
• Диплом в области computer science или смежной специальности
• Понимание data-архитектуры и платформенных паттернов: Lakehouse, Delta, medallion, data product thinking
• Сильные аналитические, плановые и организационные навыки
• Хорошие устные и письменные коммуникации на английском
• Умение документировать и передавать знания
• Желательно: опыт в финансовой отрасли, предпочтительно в asset management
• Желательно: международный опыт работы
• Желательно: сертификации Databricks Certified Data Engineer Professional/Associate
• Желательно: сертификация Databricks Certified Generative AI Engineer Associate
• Желательно: практический опыт с Microsoft Foundry (Azure AI Foundry)

Условия

• Гибкий формат работы (гибрид) и гибкий график
• Корпоративные пенсионные/сберегательные программы
• Поддержка семьи (релокация, детские учреждения)
• Программа покупки акций компании
• Программы психического здоровья и wellbeing
• Mobility-решения (Jobrad, субсидированный Jobticket)
• Карьерные возможности в группе Allianz
• Самостоятельное обучение и развитие
• Время на волонтёрство

Навыки

• Databricks
• Spark
• Python
• SQL
• CI/CD
• Terraform
• Azure
• Delta Lake
• Unity Catalog
• Lakehouse
• medallion architecture
• feature store
• DQX
• Lakeflow
• Microsoft Foundry
• GenAI
• RAG
• эмбеддинги
• A/B-тесты