Staff/Senior Software Engineer, Document Intelligence & Data Infrastructure (Helios)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер в стартап Helios для построения и эксплуатации инфраструктуры сбора и обработки публичных данных: от поиска источников и краулинга до нормализации, извлечения и публикации. Роль предполагает работу над масштабными распределёнными пайплайнами обработки документов, аудио и видео на нескольких языках.

Задачи

• Развивать платформу приёма и обработки документов Proxi — от сбора источников до публикации данных
• Создавать инфраструктуру краулинга и коннекторов для поиска, сбора и постоянной поддержки международных источников данных
• Масштабировать распределённую среду обработки для конвертации документов, извлечения данных, транскрибации, обогащения, replay и backfill
• Формировать общие контракты данных, нормализующие разнородные и многоязычные источники с сохранением юрисдикционного контекста и происхождения данных
• Поддерживать надёжность, безопасность, наблюдаемость и экономичность пайплайнов, обеспечивая распространение исправлений во все нижележащие системы
• Создавать и эксплуатировать пайплайны real-time аудио-аналитики: низколатентная многоязычная транскрибация, атрибуция спикеров, выравнивание таймстемпов и анализ тональности с калибровкой уверенности

Требования

• Опыт построения и эксплуатации крупномасштабных систем сбора данных или обработки документов в продакшене
• Веб-краулеры и коннекторы для постоянно меняющихся международных источников
• Отказоустойчивые пайплайны с надёжным планированием, восстановлением, replay и backfill
• Обработка сложных документов, структурированных файлов, изображений, аудио и видео на разных языках
• Стабильные схемы данных, происхождение источников, распространение исправлений
• Эксплуатация безопасных, наблюдаемых, масштабируемых и экономичных систем обработки в облаке и ограниченных средах
• Конвертация документов, OCR, анализ разметки и структурное извлечение для сложных форматов файлов
• Многоязычная обработка аудио, видео и документов с надёжным выравниванием и атрибуцией
• Масштабируемая инфраструктура инференса для batch- и real-time-обработки на CPU и GPU
• Сквозное происхождение данных, версионирование, распространение исправлений и воспроизводимая переобработка
• Безопасная работа с недоверенным контентом, строгая оценка качества, наблюдаемость и контроль затрат

Условия

• Full-time, работа в офисе в SoHo, Нью-Йорк, пять дней в неделю
• Прямая работа с CTO и командой основателей
• Возможны проверки биографии, security-ревью и требования по допуску к государственной тайне США
• Гибкость в критические периоды деплоя, инцидентов и запусков продуктов
• Высокий уровень ответственности и прямой доступ к значимым институциям

Навыки

• Web crawling
• OCR
• Document processing
• Distributed systems
• Data pipelines
• Speech-to-text
• Speaker diarization
• GPU
• Cloud
• GovCloud
• Air-gapped environments
• Multilingual processing