Senior Software Engineer - Data Platform

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в команду Data Engineering для построения современной платформы обработки данных, лежащей в основе проактивного мониторинга сети. Это продуктовая разработка: платформа обеспечивает real-time видимость и автоматическое обнаружение инцидентов для тысяч корпоративных и государственных площадок.

Задачи

• Проектировать, строить и эксплуатировать надёжные масштабируемые пайплайны для высокообъёмной телеметрии устройств и сети, включая приём и оркестрацию данных из систем мониторинга, спутниковых терминалов и сторонних API
• Разрабатывать и развивать stateful real-time обработку событий, превращающую сырую телеметрию в значимые операционные события
• Расширять движок детекции и workflow для поддержки клиентских сценариев и параметров через управляемую конфигурацию в интерфейсе продукта, включая создание, валидацию и версионирование
• Совместно с продуктом и frontend-инженерами отображать поток событий и инцидентов в продукте: что обнаружено, что запущено и текущий статус; владеть моделями данных, API и сервисами
• Инструментировать платформу для сквозной трассировки событий, включая телеметрию по задачам, семантику ретраев и lineage до источника
• Участвовать в проектировании и развитии data lakehouse: дизайн таблиц и партиций, эволюция схем, жизненный цикл хранения и производительность запросов для аналитики и отчётности
• Поддерживать обновления технологического стека и архитектуры под меняющиеся потребности продукта и клиентов
• Строить и эксплуатировать сервисы на контейнерной инфраструктуре с деплоем через CI/CD по установленным паттернам
• Переводить требования в технический дизайн и качественный код, писать design docs и диаграммы для значимых изменений, участвовать в code review и нести лёгкую on-call нагрузку по своим пайплайнам
• Использовать AI-инструменты разработки как часть рабочего процесса с умением направлять и проверять их результат

Требования

• Степень в Computer Science, Engineering или эквивалентный опыт
• 6+ лет профессиональной разработки ПО, включая существенный опыт создания production data pipelines и workflow/rule engines
• Сильные навыки Java или Python — желательно обоих
• Практический production-опыт stream processing (Flink, Kafka Streams, Spark Structured Streaming или Beam)
• Практическое знание Apache Kafka за пределами базового использования consumer
• Опыт работы с инструментами оркестрации workflow или ETL (предпочтительно Dagster; допустимы Airflow или Prefect)
• Свободное владение SQL и опыт с колоночными или lakehouse query engines (Trino, Presto, Spark SQL, Snowflake, BigQuery, ClickHouse или StarRocks)
• Уверенная работа в Kubernetes
• Способность отлаживать распределённые системы под давлением
• Знакомство с unit-тестированием, автоматизированным тестированием и CI/CD
• Владение AI-инструментами разработки
• Сильные коммуникативные навыки для общения с технической и нетехнической аудиторией

Навыки

• Java
• Python
• Flink
• Kafka Streams
• Spark Structured Streaming
• Beam
• Apache Kafka
• Dagster
• Airflow
• Prefect
• SQL
• Trino
• Presto
• Spark SQL
• Snowflake
• BigQuery
• ClickHouse
• StarRocks
• Kubernetes
• CI/CD