Data Engineer - Senior

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer в команду Data Platform. Построение и развитие инфраструктуры данных enterprise-масштаба, которая обеспечивает аналитику и инсайты для SOFTSWISS и внутренних команд.

Задачи

• Строить бизнес-критичные self-service data-продукты на Apache Spark, Kafka, Delta Lake и других big data технологиях
• Обеспечивать производительность пайплайнов и качество данных за счёт масштабируемой архитектуры и оптимизации
• Дорабатывать data-решения по мере изменения бизнес-требований и технических ограничений
• Проектировать решения сложных технических задач и влиять на архитектуру платформы
• Исследовать, разрабатывать и интегрировать новые инструменты и технологии обработки данных
• Взаимодействовать с командами для понимания потребностей в данных и поддержки внедрения data-продуктов

Требования

• 5+ лет опыта в software engineering с экспертизой в разработке, деплое и интеграции
• Владение хотя бы одним высокоуровневым языком программирования (Scala, Java, Python или аналог)
• Опыт работы с data-средами: Data Lakes, Data Warehouses, Data Marts, концепции трансформации данных и большие объёмы данных
• Опыт построения ETL-пайплайнов с feature engineering на больших датасетах с использованием Apache Spark и Delta Lake
• Опыт получения и моделирования данных из API приложений
• Опыт построения stream-processing приложений на Spark-Streaming, Kafka Streams или аналогах
• Опыт проектирования и внедрения мониторинга, алертинга и observability для data-пайплайнов (Prometheus, Grafana, Alertmanager или аналоги)
• Сильные аналитические навыки и навыки решения проблем
• Английский на уровне Upper-intermediate и уверенное владение русским

Условия

• Приватное медицинское страхование
• Спортивные бенефиты
• Комплексная программа психологического здоровья
• Бесплатные онлайн-уроки английского
• Курсы местного языка
• Оплачиваемый отпуск
• Поддержка в период декретного отпуска
• Вознаграждения за рефералов
• Повышение квалификации, внутренние воркшопы, участие в профессиональных конференциях и корпоративных мероприятиях

Навыки

• Apache Spark
• Kafka
• Delta Lake
• Scala
• Java
• Python
• Spark-Streaming
• Kafka Streams
• Prometheus
• Grafana
• Alertmanager
• Apache Airflow
• Kubernetes
• AWS
• GCP
• Azure
• OCI
• CDC
• Debezium
• Clickhouse
• HBase
• Cassandra
• MongoDB
• MySQL
• Postgres
• ElasticSearch
• Solr