Backend Engineer — High-Volume Data Processing

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Backend-инженер в быстрорастущую AI/data-компанию для владения и развития пайплайна обработки больших объёмов корпоративных данных, превращающего их в датасеты для обучения AI-моделей. Роль про код, применяемый к самим данным, а не про классический ETL.

Задачи

• Строить и масштабировать многоступенчатые пайплайны обработки больших объёмов данных с де-идентификацией чувствительных корпоративных данных из collaboration-инструментов, почты, облачных хранилищ, кодовых баз и систем управления проектами
• Владеть backend-системами end-to-end: проектирование, поставка, отладка, проверка корректности и безопасное восстановление
• Обеспечивать отлов silent failures, дублирования, устаревших данных и других проблем корректности до передачи заказчику
• Делать безопасными и понятными retries, checkpoints, partial failures, replay, backfills и rollbacks в асинхронной оркестрации, batch-воркерах, очередях и объектном хранилище
• Строить внутренний инструментарий и дашборды для мониторинга производительности пайплайнов, исследования качества данных и поддержки решений о релизах
• Тесно взаимодействовать с ML, full-stack, platform и security-командами для обработки новых модальностей данных и расширения возможностей пайплайна

Требования

• 3–10 лет опыта разработки с личной ответственностью за production backend-системы
• Личный опыт поставки и эксплуатации production backend-систем, желательно многоступенчатых пайплайнов обработки больших объёмов данных
• Релевантная степень бакалавра по STEM в вузе из топ-30 США
• Сильные фундаментальные знания распределённого/асинхронного backend: очереди и воркеры, конкурентность, идемпотентность, retries, partial failures, recovery
• Опыт полноценной работы в early-stage или быстрорастущем стартапе с реальной неопределённостью и ответственностью
• Сильное владение языком общего назначения для backend
• Готовность работать 5 дней в неделю в офисе в Dumbo, Brooklyn
• Опыт с AWS и понимание NLP и Named Entity Recognition (NER)

Условия

• Базовая зарплата 220K–300K
• Конкурентная доля в капитале (equity)
• Медицинская, стоматологическая и офтальмологическая страховка покрыта на 100%
• Неограниченный PTO
• Релокационная поддержка до $10K
• Открыты к визовым трансферам, включая OPT и H-1B; дополнительный спонсоршип возможен
• Финальный onsite для кандидатов не из Нью-Йорка с оплатой перелёта и проживания

Навыки

• Python
• AWS
• Airflow
• AWS Batch
• SQS
• S3
• DynamoDB
• PostgreSQL
• Go
• Rust
• Java
• NLP
• NER