Backend Engineer — Data Pipeline

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Backend-инженер в Sunset для построения пайплайна деперсонализации чувствительных корпоративных данных: контракты, реплеи, верификация и безопасные изменения. Роль бэкенд-ориентированная, но с ответственностью за продуктовый результат и доставку данных.

Задачи

• Проектировать и разрабатывать backend-системы для многоэтапной обработки больших объёмов данных
• Определять авторитетные версионированные контракты для манифестов, артефактов, lineage и переходов состояний
• Делать безопасными и понятными ретраи, чекпоинты, частичные сбои, реплей, бэкфиллы, миграции и откаты
• Строить независимую сверку и верификацию вместо трактовки успеха джоба как доказательства корректности
• Превращать повторяющиеся сбои в фикстуры, регрессионное покрытие, релизные гейты и устойчивые пути восстановления
• Предоставлять достоверное состояние запусков и безопасные контролы продуктам для исследования и релиза данных
• Диагностировать поведение в продакшене на уровне кода, очередей, хранилищ, артефактов, форматов данных и версий деплоя
• Улучшать корректность, пропускную способность и операционную эффективность без ослабления приватности, безопасности и уверенности в релизе
• Глубоко использовать AI в разработке и в ограниченных системах верификации с явной оценкой и независимыми проверками
• Работать в партнёрстве с командами ML, applied science, full-stack, platform, security и data engineering

Требования

• Минимум 3 года профессионального опыта в software engineering, включая личную ответственность за продакшен backend-системы
• Сильные навыки в асинхронных или распределённых системах: очереди, конкурентность, состояние, хранилища, идемпотентность, частичные сбои и восстановление
• Опыт работы с системами, где результат мог быть существенно неверным при внешне здоровых сервисах
• Умение определять инварианты и использовать сверку, контрольные суммы, диффы, реплей, golden-тесты, shadow-пути или независимые источники для проверки корректности
• Опыт проектирования версионированных контрактов данных и артефактов и их безопасной миграции в живой системе
• Отладка по доказательствам на границах систем и превращение инцидентов в устойчивые улучшения
• Выбор технических задач исходя из последствий для операторов и клиентов, а не архитектуры в вакууме
• Свободное использование современных AI-инструментов в инженерии, проверка их вывода и понимание, когда нужны детерминированные ограничители и человеческая проверка
• Чёткая коммуникация с product, ML, data, platform, security и customer-facing командами

Условия

• Масштабирование с $0 до multi-eight-figure run rate за несколько месяцев
• Инвестиции от топовых фондов: Floodgate, Afore, Ludlow, Hustle Fund
• Небольшая команда — высокая ответственность и быстрый рост вместе с компанией
• Работа с и построение для одних из самых быстрорастущих и важных компаний мира
• Участие в построении категориеобразующего бизнеса с самого начала

Навыки

• Python
• AWS
• Airflow
• AWS Batch
• SQS
• S3
• DynamoDB
• PostgreSQL
• asynchronous systems
• distributed systems
• queues
• idempotency
• data pipelines
• reconciliation
• lineage
• schema evolution
• CDC
• backfills
• AI engineering tools