Senior Data Engineer (AV)

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер данных, который заложит основу для работы над автономным вождением: сначала пайплайны изображений с камер и GPS-треков, затем обработка мультисенсорных данных (камеры, IMU, LiDAR) и подготовка датасетов для обучения моделей.

Задачи

• Строить пайплайны переноса мультисенсорных данных (мультикамерное видео, IMU, LiDAR, GPS) с автомобилей в облачное хранилище, синхронизировать и геопривязывать потоки
• Отвечать за схему хранения и жизненный цикл сенсорных данных: партиционирование, горячие и архивные уровни, контроль затрат при росте объёмов
• Строить валидацию и мониторинг на пути приёма данных: неполные загрузки, отсутствующие или несинхронизированные потоки, автомобили, переставшие давать пригодные данные
• Готовить датасеты для обучения моделей автономного вождения: отбор по локации, маршруту и условиям, версионирование и передача в нужных ML-командам форматах
• До появления сенсорной платформы развивать текущие пайплайны изображений и GPS-треков с камер автомобилей и участвовать в геопайплайнах (приём данных компании, OpenStreetMap, Overture Maps и вендоров, слияние, валидация, публикация)
• Работать с данными компании в BigQuery и обеспечивать скорость пространственных запросов на больших таблицах PostGIS и GeoParquet

Требования

• 4+ года в data engineering
• Опыт работы с мультисенсорными данными с автомобилей или роботов: камеры, IMU или LiDAR, синхронизация потоков
• Опыт подготовки датасетов для обучения моделей computer vision или автономного вождения
• Работа с большими объёмами бинарных или медиаданных в объектном хранилище (S3 или GCS); распределённая обработка (Spark или аналог)
• Практический опыт с пространственными данными: PostGIS, GeoPandas/Shapely, системы координат, GPS-треки
• Уверенные Python и SQL; AWS или GCP, Docker, Kubernetes

Условия

• Участие в создании справедливых возможностей для миллионов людей в 47 странах
• Менторинг, карьерный консалтинг и обучающие программы
• Международный опыт через Global Talent Exchange Program
• Общекорпоративные челленджи, награды, спорт, социальные и волонтёрские проекты
• Софинансирование языковых курсов и внутренние разговорные клубы
• Финальные бенефиты могут зависеть от локации

Навыки

• Python
• SQL
• PostGIS
• GeoPandas
• Shapely
• GeoParquet
• BigQuery
• AWS
• GCP
• S3
• GCS
• Spark
• Docker
• Kubernetes
• LiDAR
• IMU
• GPS
• OpenStreetMap
• Overture Maps
• Parquet
• Delta
• Iceberg
• Databricks
• Argo Workflows
• Airflow
• QGIS
• ROS2 bag
• MCAP