Senior Data Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Senior Data Engineer для партнёрской компании: владение архитектурой и надёжностью data-платформы, построение масштабируемых пайплайнов из API, вебхуков, файлов и веб-скрапинга. Полностью удалённая работа для кандидатов из Европы и Латинской Америки.

Задачи

• Проектировать, строить и эксплуатировать production-grade data-платформу от архитектуры до оптимизации и поддержки
• Разрабатывать конкурентные пайплайны ингестии из API провайдеров, вебхуков, файлов и веб-скрапинга с rate limiting и обработкой ошибок
• Реализовывать batch- и event-driven-процессы с оркестрацией (Airflow, Dagster, Prefect) и очередями (Pub/Sub, Cloud Tasks)
• Обеспечивать отказоустойчивость: ретраи, dead-letter queues, replay, идемпотентные upsert
• Строить слои raw/standardized/curated: хранение исходных payload в GCS и трансформация через dbt
• Определять data contracts, правила валидации, тесты пайплайнов, retention-политики и мониторинг
• Оптимизировать схемы, запросы и инкрементальную загрузку в PostgreSQL
• Интегрировать сторонние обогащения и LLM-извлечение структурированных данных из текста
• Поддерживать lineage данных для безопасной переобработки, аудита и восстановления
• Улучшать пропускную способность, надёжность и эффективность инфраструктуры

Требования

• Опыт построения production data-платформ с нуля: архитектура, пайплайны, деплой, мониторинг, эксплуатация
• Production-опыт с Airflow, Dagster, Prefect или Temporal (Airflow предпочтительно)
• Практический опыт с Google Cloud Platform и dbt
• Опыт асинхронных event-driven систем с очередями, конкурентной обработкой и отказоустойчивостью
• Сильный Python, в частности asyncio, aiohttp или HTTPX
• Продвинутый SQL и PostgreSQL: моделирование, оптимизация запросов, инкрементальная загрузка
• Опыт data contracts, слоёв raw/curated, retention-политик и мониторинга качества данных
• Опыт production веб-скрапинга: Scrapy, Playwright, Selenium или Beautiful Soup
• Самостоятельность в технических решениях и ответственность за data-инфраструктуру
• Английский язык для работы в распределённой команде
• Плюс: опыт в стартапе или небольшой команде
• Плюс: entity resolution и дедупликация записей
• Плюс: использование LLM для извлечения и обогащения данных
• Плюс: BigQuery и Dataform

Условия

• Полностью удалённая работа из доступных локаций Европы и Латинской Америки
• Техническое владение архитектурой и развитием data-платформы
• Современный стек: Python, PostgreSQL, GCP, dbt, event-driven системы, оркестрация, веб-скрапинг, AI-извлечение
• Международная распределённая команда
• Зарплатные ожидания обсуждаются в USD на месячной основе

Навыки

• Python
• asyncio
• aiohttp
• HTTPX
• PostgreSQL
• SQL
• dbt
• Google Cloud Platform
• GCS
• Airflow
• Dagster
• Prefect
• Temporal
• Pub/Sub
• Cloud Tasks
• Scrapy
• Playwright
• Selenium
• Beautiful Soup
• LLM
• BigQuery
• Dataform