Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в команду Enterprise Architecture для построения next-generation data platform. Роль кросс-функциональная: проектирование и внедрение масштабируемых self-service data pipelines с фокусом на качество данных и governance, поддержка ML/AI data workflows.

Задачи

• Проектировать, строить и поддерживать on-premises платформу оркестрации данных на open source инструментах
• Создавать self-service возможности, позволяющие командам самостоятельно строить и деплоить data pipelines
• Внедрять фреймворки тестирования качества данных на протяжении всего жизненного цикла
• Устанавливать best practices data engineering: version control, CI/CD для пайплайнов, автоматизированное тестирование
• Совместно с ML/AI командами строить масштабируемые feature engineering pipelines для batch и real-time обработки
• Разрабатывать переиспользуемые паттерны для типовых сценариев интеграции данных
• Оптимизировать Kubernetes-based data platform совместно с инфраструктурной командой
• Менторить junior-инженеров и продвигать инженерное совершенство в работе с данными

Требования

• Bachelor's degree в Computer Science, Computer Engineering, Data Science, Mathematics, Engineering или смежных областях
• 5+ лет профессионального опыта в data engineering, из них минимум 2 года на enterprise-scale data платформах
• Глубокая экспертиза в оркестрации workflow, оптимизации производительности и операционном управлении
• Понимание техник трансформации данных, опыт с фреймворками тестирования и стратегиями деплоя
• Опыт со stream processing фреймворками и технологиями
• Владение SQL и Python для трансформации данных и разработки пайплайнов
• Знакомство с деплоем контейнеризированных приложений
• Опыт внедрения фреймворков качества данных и автоматизированного тестирования пайплайнов
• Способность работать кросс-функционально с data scientists, ML engineers и бизнес-стейкхолдерами

Условия

• Equal Opportunity Employer
• On-site работа (#LI-ONSITE)

Навыки

• SQL
• Python
• Kubernetes
• CI/CD
• stream processing
• data orchestration
• data quality
• feature engineering
• data modeling
• data warehouse
• containerization
• ML/AI pipelines