Lead Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Ведущий дата-инженер в Scientific Cloud — IT-подразделении Flagship Pioneering, обслуживающем портфельные компании. Отвечает за модернизацию данных-инфраструктуры, платформ и пайплайнов, задаёт инженерные стандарты и руководит сложными инициативами.

Задачи

• Быть техническим лидером и экспертом в сложных дата-инженерных проектах с взаимозависимыми системами, legacy-окружениями и cloud-first платформами
• Руководить внедрением данных-инфраструктуры, платформ, инструментов и других данных-продуктов
• Отвечать за оптимизацию и надёжность решений для хранения данных (lakehouses, marts, warehouses и т.д.)
• Реализовывать сложные backend- и интеграционные пайплайны для data lakes, marts и других платформ
• Устанавливать и поддерживать инженерные стандарты по тестированию, документации, релиз-менеджменту и мониторингу
• Руководить внедрением observability, управления, отказоустойчивости, ёмкости и производительности платформы
• Диагностировать и устранять сложные сбои инфраструктуры и пайплайнов, проводить разборы инцидентов
• Взаимодействовать с I&O, Lab IT, PI Tech, data science и биоинформатическими командами для архитектурной согласованности и переиспользования компонентов
• Менторить младших инженеров и развивать инженерные стандарты
• Использовать генеративные AI-инструменты для ускорения разработки пайплайнов, трансформации данных и обогащения метаданных

Требования

• 6+ лет практического опыта в дата-инженерии, желательно в life sciences, биотехе или здравоохранении
• Подтверждённая экспертиза в проектировании и эксплуатации cloud-native данных-архитектур, особенно в AWS
• Продвинутое владение Python и SQL для работы с данными, разработки пайплайнов и автоматизации
• Обширный опыт с Dagster, dbt, Spark, Iceberg, Lake Formation, Athena, Glue и подобными инструментами
• Опыт с Git, CI/CD, CDK, контейнеризированными нагрузками, Docker и ECS
• Опыт работы со структурированными и неструктурированными данными (CSV, JSON, Parquet, изображения и т.д.)
• Подтверждённый успех в руководстве сложными кросс-функциональными проектами с техническими и научными стейкхолдерами
• Практический опыт использования генеративных AI-инструментов (Claude Code, GPT-based tools и т.п.)
• Опыт руководства сложными техническими инициативами в условиях неопределённости и принятия явных trade-off решений

Условия

• Диапазон зарплаты $128,000 - $176,000
• Медицинская страховка
• Ежегодная программа вознаграждения
• Пенсионные льготы
• Широкий набор других бенефитов

Навыки

• Python
• SQL
• AWS
• Dagster
• dbt
• Spark
• Iceberg
• Lake Formation
• Athena
• Glue
• Git
• CI/CD
• CDK
• Docker
• ECS
• Parquet
• JSON
• CSV
• Claude Code
• GPT