Software Engineer, Big Data, Tech Enablement

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Big Data инженер в команду Tech Enablement: строит и поддерживает инфраструктуру данных, пайплайны, MLOps-фреймворки и агентный инструмент анализа данных Sift для всей инженерной организации ZipRecruiter.

Задачи

• Проектировать, строить, разворачивать и поддерживать пайплайны и системы загрузки данных, делающие веб-события доступными в datalake и через event streams
• Решать задачи обработки больших и эволюционирующих датасетов с помощью batch и streaming техник, балансируя скорость, эффективность и надёжность
• Проектировать и поддерживать фреймворки и системы для ускорения ML-разработки: скорость, качество, наблюдаемость и надёжность
• Строить и поддерживать фреймворки документирования данных для людей и автоматизированных процессов
• Разрабатывать и поддерживать агентный инструмент исследования и анализа данных Sift

Требования

• 2+ года профессиональной разработки ПО, включая построение и эксплуатацию пайплайнов данных для клиентского продукта
• Практический опыт Apache Spark: написание, тюнинг и отладка batch и/или streaming задач на масштабе
• Опыт развёртывания и эксплуатации контейнеризованных сервисов и batch-задач
• Прочные основы computer science: структуры данных, алгоритмы, распределённые системы, тестирование

Условия

• Конкурентная компенсация
• Расширенный соцпакет
• Гибкий отпуск и оплачиваемые выходные
• 401(k) с участием работодателя
• Гибридный формат, большинство позиций в США можно выполнять удалённо

Навыки

• Apache Spark
• Kafka
• Apache Flink
• Spark Structured Streaming
• AWS
• S3
• IAM
• EC2
• MSK
• AWS Glue
• Apache Iceberg
• Delta Lake
• Apache Airflow
• Kubernetes
• Docker
• Parquet
• ETL
• MLOps
• LLM