Data Engineer, Data Quality & Provenance

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Data Engineer в команду Data Quality & Provenance в Wayve. Построение доверенных, воспроизводимых датасетов и пайплайнов на петобайтном масштабе для обучения и оценки моделей автономного вождения.

Задачи

• Проектировать и эксплуатировать масштабируемые batch- и streaming-пайплайны для мультимодальных данных флота и симуляций
• Строить модели данных, каталоги, индексы и возможности запросов для сенсорных данных, состояния транспорта, карт и событий
• Создавать версионируемые воспроизводимые датасеты для обучения, оценки, replay, scenario mining и анализа безопасности
• Разрабатывать процессы ingestion, синхронизации, трансформации, курирования, разметки и валидации качества данных
• Совместно с командами autonomy, ML, simulation и safety определять схемы, API и контракты данных
• Повышать надёжность, производительность и экономичность крупномасштабных хранилищ и вычислений

Требования

• Сильные практические навыки Python и SQL, прочные основы production-разработки ПО
• Опыт проектирования и эксплуатации крупномасштабных распределённых систем обработки данных
• Production-опыт с распределённой обработкой и оркестрацией: Spark, Flyte или Airflow
• Опыт построения облачных data-платформ на объектном хранилище, понимание организации данных, версионирования, запросов, governance и управления стоимостью
• Опыт ответственности за качество данных, lineage, observability, воспроизводимость и incident response для production-пайплайнов
• Умение переводить неоднозначные требования технических команд в переиспользуемые платформенные возможности
• Комфорт в условиях неопределённости и участие в определении стандартов и операционной модели платформы
• Плюс: опыт с автономными автомобилями, ADAS, робототехникой, картами, сенсорными системами, геопространственными или мультимодальными данными

Условия

• Зарплата ежегодно бенчмаркится по рынку
• Значимый equity
• Релокационная поддержка и визовая спонсорство где применимо
• Гибридный формат, core hours, работа в автомобильных мастерских и лабораториях
• Бюджеты на обучение и развитие, конференции
• Комплексные бенефиты: медстрахование, стоматология, отпуска по материнству/отцовству, пенсионные программы, терапевты, wellbeing-партнёрства, командные мероприятия

Навыки

• Python
• SQL
• Spark
• Flyte
• Airflow
• object storage
• distributed computing
• data quality
• data lineage
• observability