Data Eng Sr

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для проектирования и поддержки крупномасштабных хранилищ данных, ETL-пайплайнов и интеграции AI/ML-моделей. Работа с AWS Redshift, AWS Glue и кросс-функциональными командами для построения data-driven решений.

Задачи

• Проектировать и реализовывать пайплайны для загрузки, извлечения, трансформации и хранения больших наборов данных из различных источников
• Создавать и поддерживать хранилища данных, включая моделирование данных, data governance и контроль качества данных
• Обеспечивать качество, целостность и безопасность данных через валидацию, очистку и политики data governance
• Оптимизировать data-системы по производительности, масштабируемости и надёжности
• Взаимодействовать с заказчиками для выявления технических требований и консультировать по лучшим практикам использования Amazon Redshift
• Работать с кросс-функциональными командами (data scientists, аналитики, бизнес-заказчики) для сбора требований и поставки data-решений
• Оказывать техническую поддержку Amazon Redshift: troubleshooting, оптимизация производительности, моделирование данных
• Интегрировать AI/ML-модели с ETL-пайплайнами и хранилищами данных для предиктивной аналитики и машинного обучения
• Разрабатывать и разворачивать AI/ML-модели с использованием TensorFlow, PyTorch или Scikit-learn
• Совместно с data scientists разрабатывать и выводить в продакшн data-driven продукты и фичи
• Выявлять и устранять проблемы с данными: сбои пайплайнов, проблемы качества данных, узкие места производительности
• Разрабатывать техническую документацию и статьи базы знаний для помощи заказчикам и инженерам AWS

Требования

• Bachelor's или Master's degree в Computer Science или смежной области и минимум 6 лет опыта в IT, либо эквивалентная комбинация образования и опыта
• Владение одним или несколькими языками программирования (например, Python, Java, Scala)
• 6+ лет опыта в data engineering с фокусом на проектирование и реализацию крупномасштабных data-систем
• 5+ лет практического опыта написания сложных высокооптимизированных запросов к большим наборам данных с использованием AWS Redshift, Oracle и SQL Server
• 5+ лет практического опыта построения ETL-пайплайнов в продакшене с AWS Glue и Python/Spark, включая написание тест-кейсов
• Сильное понимание принципов проектирования баз данных, моделирования данных и data governance
• Владение SQL, включая оптимизацию запросов, индексацию и тюнинг производительности
• Опыт с концепциями хранилищ данных, включая схемы star и snowflake
• Сильные аналитические навыки и навыки решения проблем, умение декомпозировать сложные задачи
• Опыт с решениями для хранения данных: реляционные БД (Oracle, SQL Server), NoSQL и облачные хранилища (Redshift)
• Опыт с фреймворками обработки данных, такими как Apache Kafka, Fivetran
• Опыт построения ETL-пайплайнов с AWS Glue, Apache Airflow и языками Python и PySpark
• Понимание принципов и лучших практик качества и governance данных
• Опыт работы с сервисами AWS и лучшими практиками AWS
• Отличные коммуникативные навыки и умение работать в кросс-функциональных командах
• Умение работать в быстро меняющейся среде и адаптироваться к изменению приоритетов
• Внимание к деталям и поддержание высокого качества документации
• Нацеленность на непрерывное обучение и профессиональное развитие

Условия

• Медицинская, стоматологическая и офтальмологическая страховка
• Health savings accounts
• Пенсионный план 401(k)
• Страхование от нетрудоспособности, жизни и несчастных случаев
• Программа помощи сотрудникам (EAP)
• Юридический план
• Скидки на страхование жилья, авто и питомцев
• Оплачиваемые отпуска и праздничные дни, включая оплачиваемый родительский, военный и отпуск по утрате
• Программа признания сотрудников с денежными и нематериальными наградами
• Возможны другие бонусы в зависимости от уровня позиции

Навыки

• Python
• Java
• Scala
• AWS Redshift
• Oracle
• SQL Server
• AWS Glue
• Spark
• PySpark
• SQL
• Apache Kafka
• Fivetran
• Apache Airflow
• AWS
• TensorFlow
• PyTorch
• Scikit-learn
• NoSQL
• Dataiku
• PowerBI
• Tableau
• Git
• Scrum
• Kanban