Senior Data Infrastructure Engineer (Scraping & Scale)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Infrastructure Engineer для проектирования и масштабирования высокопроизводительных систем веб-скрейпинга и загрузки данных. Роль на стыке data engineering, автоматизации и AI-инфраструктуры: сбор миллионов профилей, постов и видео из соцсетей ежедневно.

Задачи

• Проектировать и поддерживать инфраструктуру веб-скрейпинга с использованием резидентных прокси, TLS-фингерпринтинга, браузерной автоматизации и ротации сессий
• Строить отказоустойчивые высоконагруженные пайплайны сбора данных из Instagram, TikTok, YouTube, X и других источников
• Разрабатывать распределённые очереди и оркестрацию workflow на Temporal, Ray, Apache Kafka и Celery
• Проектировать хранилища структурированных и неструктурированных данных на Parquet, Apache Iceberg, Snowflake и Amazon S3
• Внедрять мониторинг, алерты и механизмы восстановления для отслеживания изменений платформ, блокировок и сбоев прокси
• Обеспечивать надёжную загрузку данных в масштабе при обработке миллионов записей ежедневно
• Поддерживать downstream AI- и аналитические workflow за счёт качественной структурированной инфраструктуры данных

Требования

• Не менее 4 лет опыта в высоконагруженном веб-скрейпинге, data engineering или reverse engineering
• Опыт обхода продвинутых анти-бот систем: Cloudflare, Akamai, PerimeterX с использованием TLS-имперсонации, браузерной автоматизации и управления прокси
• Продвинутое владение Python или Go
• Опыт с фреймворками браузерной автоматизации и скрейпинга: Playwright, Puppeteer, Scrapy или Selenium
• Практические знания распределённых систем и очередей задач: Temporal, Ray, Kafka, Redis
• Сильные навыки SQL и опыт с современными аналитическими data lake и data warehouse
• Умение проектировать масштабируемые отказоустойчивые системы и решать сложные задачи загрузки данных

Условия

• Полностью удалённая работа
• Полная занятость
• Зарплата, медицинская страховка, оплачиваемый отпуск и дополнительные бенефиты не указаны в описании

Навыки

• Python
• Go
• Playwright
• Puppeteer
• Scrapy
• Selenium
• Temporal
• Ray
• Apache Kafka
• Redis
• Celery
• SQL
• Parquet
• Apache Iceberg
• Snowflake
• Amazon S3
• Cloudflare
• Akamai
• PerimeterX
• TLS fingerprinting
• browser automation
• proxy management