Senior Data Engineer – Cloud Data Platforms & Lakehouse

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в консалтинговую компанию AgentixLake (данные и AI, Гамбург). Проектирование и эксплуатация облачных data-платформ и lakehouse-решений в облаках заказчиков, от интеграции источников до продакшн-поддержки.

Задачи

• Проектировать и реализовывать batch- и streaming-пайплайны, интегрируя операционные БД, API, файлы и event-источники
• Строить поддерживаемые модели данных и трансформации для аналитики, управляемых метрик и AI-приложений
• Реализовывать архитектуры lakehouse или warehouse с выбором форматов хранения, партиционирования и стратегий обработки
• Настраивать тесты качества данных, оркестрацию, lineage, мониторинг и процедуры восстановления; разбирать инциденты и устранять их причины
• Управлять инфраструктурой и деплоем через контроль версий, infrastructure as code и CI/CD с контролем доступа
• Вести техническую поставку с заказчиками и коллегами, ревьюить код и документировать решения для эксплуатации и развития платформы

Требования

• Значительный опыт поставки и эксплуатации продакшн data-платформ, включая ответственность за технические решения и надёжность сервиса
• Уверенные Python и SQL, хорошее понимание моделирования данных и практическое понимание распределённой обработки и оркестрации
• Глубокий опыт хотя бы в одной из сред: AWS, Snowflake, Databricks или Google Cloud, с умением оценивать альтернативы
• Опыт с инструментами вроде dbt, Airflow или Dagster, а также с тестированием, Git, CI/CD и автоматизацией инфраструктуры
• Умение объяснять компромиссы по производительности и стоимости, оценивать объём работ и ясно общаться с техническими и бизнес-стейкхолдерами на английском

Условия

• Ответственность за существенную инженерную работу
• Прямое сотрудничество с основателями и влияние на переиспользуемые паттерны поставки
• Сочетание реализации с архитектурой платформы и практическим техническим консалтингом

Навыки

• Python
• SQL
• AWS
• Snowflake
• Databricks
• Google Cloud
• dbt
• Airflow
• Dagster
• Git
• CI/CD
• Apache Iceberg
• Spark
• Kafka
• Terraform