Senior or Staff Software Engineer, Data Platform (Canada)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в команду Data Platform компании TRM Labs. Задача — строить отказоустойчивую и масштабируемую инфраструктуру данных для анализа блокчейн-транзакций в масштабе петабайт.

Задачи

• Создавать надёжные сервисы данных для интеграции с десятками блокчейнов
• Разрабатывать сложные ETL-пайплайны для обработки структурированных и неструктурированных данных в реальном времени
• Проектировать модели данных для оптимального хранения и выборки с субсекундной задержкой запросов к блокчейн-данным
• Отвечать за развёртывание и мониторинг больших кластеров баз данных с фокусом на производительность и высокую доступность
• Сотрудничать с data scientists, backend-инженерами и продакт-менеджерами при проектировании и внедрении новых моделей данных

Требования

• Степень бакалавра (или эквивалент) в Computer Science или смежной области
• 5+ лет практического опыта проектирования распределённых систем и ведения проектов от идеи до продакшена
• Отличные навыки программирования на Python, а также владение SQL или SparkSQL
• Опыт работы с хранилищами и движками данных: Iceberg, Trino, BigQuery, StarRocks, Citus
• Владение инструментами оркестрации пайплайнов и workflow: Airflow, DBT
• Опыт работы с технологиями обработки данных и стриминга: Spark, Kafka, Flink
• Опыт развёртывания и мониторинга инфраструктуры в публичных облаках с использованием Docker, Terraform, Kubernetes, Datadog
• Опыт загрузки, запросов и трансформации больших наборов данных

Условия

• Распределённая команда (distributed-first) с хабами в Лос-Анджелесе, Сан-Франциско, Нью-Йорке, Вашингтоне, Лондоне и Сингапуре
• Компания Series C с общим финансированием $220M
• Высокая скорость работы и высокий уровень ответственности
• Процесс интервью: recruiter intro, hiring manager, 1–2 технических интервью, финальный раунд из 3–5 интервью, проверка рекомендаций

Навыки

• Python
• SQL
• SparkSQL
• Iceberg
• Trino
• BigQuery
• StarRocks
• Citus
• Airflow
• DBT
• Spark
• Kafka
• Flink
• Docker
• Terraform
• Kubernetes
• Datadog