Senior Data Infrastructure Engineer (Scraping & Scale)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior-инженер по инфраструктуре данных для построения и масштабирования систем веб-скрейпинга и загрузки данных. Проектирование отказоустойчивых распределённых пайплайнов, обход анти-бот защит и обеспечение надёжной поставки данных для AI и аналитики.

Задачи

• Проектировать и сопровождать инфраструктуру веб-скрейпинга с использованием резидентных прокси, TLS-фингерпринтинга, браузерной автоматизации и ротации сессий
• Строить отказоустойчивые высоконагруженные пайплайны сбора данных из Instagram, TikTok, YouTube, X и других источников
• Разрабатывать распределённые очереди и оркестрацию workflow на Temporal, Ray, Apache Kafka, Celery
• Проектировать хранилища структурированных и неструктурированных данных на Parquet, Apache Iceberg, Snowflake, Amazon S3
• Внедрять мониторинг, автоматические алерты и механизмы восстановления при изменениях платформ, блокировках и сбоях прокси
• Обеспечивать надёжную загрузку данных в масштабе при обработке миллионов записей в день
• Поддерживать нижестоящие AI- и аналитические процессы качественной инфраструктурой данных

Требования

• Не менее 4 лет опыта в высоконагруженном веб-скрейпинге, data engineering или reverse engineering
• Опыт обхода продвинутых анти-бот систем (Cloudflare, Akamai, PerimeterX) через TLS-имперсонацию, браузерную автоматизацию и управление прокси
• Продвинутое владение Python или Go
• Опыт с фреймворками браузерной автоматизации и скрейпинга: Playwright, Puppeteer, Scrapy или Selenium
• Практические знания распределённых систем и очередей задач: Temporal, Ray, Kafka, Redis
• Сильные навыки SQL и опыт с современными аналитическими data lake и хранилищами данных
• Умение проектировать масштабируемые отказоустойчивые системы и решать сложные задачи загрузки данных

Условия

• Полностью удалённая работа
• Полная занятость
• Зарплата, медицинская страховка, оплачиваемый отпуск и дополнительные бонусы в описании не указаны

Навыки

• Python
• Go
• Playwright
• Puppeteer
• Scrapy
• Selenium
• Temporal
• Ray
• Apache Kafka
• Celery
• Redis
• Parquet
• Apache Iceberg
• Snowflake
• Amazon S3
• SQL
• Cloudflare
• Akamai
• PerimeterX
• TLS fingerprinting
• browser automation
• proxy management