Perception Engineer

Автоматический пересказ вакансии на русском. Полный текст на языке оригинала и форма отклика — на сайте работодателя.

Инженер по восприятию (perception) для роботов-строителей: отвечает за то, как роботы LightSpeed «видят». Проектирование и калибровка мультикамерных систем, 3D-зрение и глубокое обучение, работающие в реальном времени на физических роботах.

Задачи

• Выбирать, специфицировать и разворачивать мультикамерные системы (RGB, стерео, depth) для роботизированных ячеек, включая камеры на запястьях и инструментах
• Отвечать за внутреннюю, внешнюю и hand-eye калибровку, поддерживать её надёжность при смене инструментов и ежедневной работе
• Синхронизировать камеры с состоянием робота и потоками телеоперации
• Совместно с инженерами-механиками прорабатывать размещение камер с учётом покрытия, перекрытий и освещения
• Оценивать и отслеживать позу робота и энд-эффектора с помощью зрения, проверять кинематику и выявлять дрейф
• Сравнивать 3D-сканы с CAD/BIM-моделями для проверки размещения деталей и точности as-built
• Локализовать роботов и инструменты в рабочей зоне с помощью фидуциалов (AprilTag, ChArUco) и multi-view fusion
• Строить детекцию объектов, сегментацию и 6-DoF оценку позы для деталей, крепежа и инструментов в загромождённых и плохо освещённых зонах
• Строить пайплайны облаков точек (фильтрация, сегментация, регистрация типа ICP, меширование) для манипуляций и понимания сцены
• Отслеживать руки и объекты на egocentric-виде человеческих демонстраций
• Строить оптимизированные под CUDA пайплайны восприятия: GPU-препроцессинг, кастомные CUDA-ядра, инференс TensorRT, минимум копирований host–device
• Профилировать и оптимизировать сквозную задержку от фотона до действия с помощью Nsight Systems
• Отдавать откалиброванные и синхронизированные по времени данные камер в форматах, которые потребляют пайплайны записи телеоперации и обучения
• Совместно с AI/ML-инженерами определять пространства наблюдений для imitation learning и vision-language-action политик
• Задавать целевые метрики точности восприятия, привязанные к успешности задач, и строить бенчмарки для их измерения
• Интегрировать восприятие с управлением роботом на ROS2
• Укреплять системы для реальных условий: изменения освещения, отражающие поверхности, перекрытия, вибрации
• Тесно взаимодействовать с инженерами по робототехнике, механике и управлению

Требования

• 3+ года опыта построения и развёртывания систем восприятия на физических роботах или real-time системах
• Практический опыт калибровки мультикамерных систем (внутренняя, внешняя, hand-eye) и синхронизации сенсоров
• Опыт работы с RGB-D и стереокамерами в реальных внедрениях
• Сильные основы computer vision: геометрия камеры, multi-view геометрия, 3D-реконструкция
• Опыт глубокого обучения для детекции, сегментации или оценки позы на PyTorch
• Сильные Python и C++
• Опыт с OpenCV и библиотеками облаков точек, например Open3D или PCL
• Опыт с ROS или ROS2
• Уверенное владение Linux, Docker, Git и CI/CD

Условия

• Работа над «глазами» роботов, решающих проблему жилищного кризиса
• Полное владение стеком восприятия — от выбора сенсоров до развёрнутых моделей
• Редкие реальные задачи: манипуляции в ограниченном пространстве, ловкие руки, обучение на человеческих демонстрациях
• Практическая культура с прямым доступом к роботам, сенсорам и производственной среде
• Конкурентная компенсация и полный соцпакет

Навыки

• Python
• C++
• OpenCV
• Open3D
• PCL
• ROS
• ROS2
• Linux
• Docker
• Git
• CI/CD
• PyTorch
• CUDA
• TensorRT
• Nsight Systems
• RGB-D
• стереокамеры
• 3D-реконструкция
• multi-view геометрия
• AprilTag
• ChArUco
• ICP
• облака точек
• 6-DoF pose estimation
• сегментация
• детекция объектов
• NVENC
• GStreamer
• WebRTC
• Isaac ROS
• NITROS
• VPI
• CV-CUDA
• SAM
• DINOv2
• FoundationPose
• Jetson
• Isaac Sim
• MuJoCo