Software Engineer, Web Crawling

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер в applied AI лабораторию Exa для построения веб-краулера масштаба Google. Задача — обход всего интернета с обработкой динамического контента и анти-бот защит.

Задачи

• Строить распределённый краулер, обрабатывающий 100M+ страниц в день
• Оптимизировать politeness и rate limiting по тысячам доменов
• Проектировать системы обнаружения и обработки динамического контента, JavaScript-рендеринга и анти-бот мер
• Создавать алгоритмы интеллектуального планирования и приоритизации обхода для максимального покрытия

Требования

• Большой опыт построения и масштабирования веб-краулеров
• Опыт с высокопроизводительным языком (C++, Rust и т.п.)
• Знакомство с TypeScript, Playwright, современным веб-дизайном, CDP (Chrome DevTools Protocol)
• Способность глубоко оптимизировать систему

Условия

• Работа в офисе в Цюрихе
• Спонсорство визы (STEM OPT, OPT, H1B, O1, E3)
• Премиальная страховка (медицинская, стоматологическая, зрение)
• Fertility benefits
• 16 недель полностью оплачиваемого родительского отпуска
• Ежемесячный wellness-стипенд

Навыки

• C++
• Rust
• TypeScript
• Playwright
• CDP
• JavaScript