2025-02-22，阿里巴巴团体菜鸟主动驾驶实行室和百度研究院共同创建了一个名为 Para-Lane 的真实世界多车道数据集。该数据集目的评估主动驾驶系统中的新型视角合成（NVS）能力，通过提供大量真实世界的数据，补充了现有合成数据集在真实性方面的不敷，为主动驾驶技术的发展和仿真提供了告急支持。
一、研究背景
主动驾驶技术的发展离不开对复杂场景的正确感知和仿真测试。新型视角合成（NVS）技术在主动驾驶系统中饰演着告急脚色，它不仅可以大概资助练习感知模子，还能生成各种视角的传感器数据，用于闭环仿真。然而，现有的 NVS 数据集大多基于合成场景，缺乏真实世界数据的复杂性和真实性，这限制了 NVS 技术在现实应用中的性能评估和发展。
目前遇到困难和挑衅：
真实世界数据收罗难度大：在真实世界中，收罗多车道数据需要复杂的硬件设备和正确的传感器校准，同时还要面对动态物体、光照变化等挑衅。
多传感器数据对齐复杂：主动驾驶系统中涉及多种传感器（如 LiDAR、摄像头等），这些传感器的数据需要正确对齐，但现有的对齐方法在处理多模态数据时存在精度不敷的问题。
缺乏真实世界多车道数据集：现有的数据集大多集中在单一起况或合成场景，缺乏真实世界多车道场景的数据，这使得 NVS 技术在跨车道场景下的性能评估变得困难。
数据集地点：Para-Lane|主动驾驶数据集|多传感器数据融合数据集
二、让我们一起来看一下Para-Lane数据集
Para-Lane 是首个真实世界多车道数据集，目的是评估主动驾驶系统中的新型视角合成能力。
Para-Lane 数据集包含 25 组关联序列，涵盖 16,000 张前视图像、64,000 张环顾图像和 16,000 帧 LiDAR 数据。所有数据均经过正确标注，区分了动态物体和静态元素。数据集通过多传感器数据对齐，提供了真实世界多车道场景下的正确数据，为主动驾驶仿真和 NVS 技术评估提供了告急资源。
数据集构建：
数据集的构建采用了多阶段姿态优化机制，首先通过 LiDAR 映射构建参考坐标系下的 LiDAR 地图，然后将相机帧注册到 LiDAR 地图中，实现多模态数据的正确对齐。具体步调包括：
LiDAR 映射：利用 RTK/INS 传感器的初始轨迹，通过离线 LiDAR odometry 和回环闭合优化，构建高精度的 LiDAR 地图。
相机帧注册：将相机帧通过粗初始化和精致优化，注册到 LiDAR 地图中，实现多模态数据的正确对齐。
数据特点：
真实世界数据：数据集来源于真实世界多车道场景，具有高度的真实性和复杂性。
多模态数据对齐：通过多阶段姿态优化，实现了 LiDAR 和相机数据的正确对齐。
正确标注：所有数据均经过正确标注，区分了动态物体和静态元素，方便后续研究和应用。
基准测试:
数据集提供了多种基准测试，包括单车道回归、相邻车道预测、第二相邻车道预测、双车道练习的相邻车道预测和夹层车道预测。基准测试使用了多种评估指标，如峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS），以全面评估 NVS 方法的性能。
我们的工作引入了第一个真实世界的多车道数据集，用于评估迩来的主动驾驶重建方法的新型视图合成能力。使用三个激光扫描仪、一个前视摄像头和四个环顾摄像头的多通道轨迹扫描公共城市道路。通过 LiDAR 映射和多模态 Structure-from-Motion 技术正确对齐逐帧姿势。
我们的数据收集无人车的传感器组件和样本框，右侧鱼眼相机对称安装在左侧鱼眼的对面，后鱼眼位于反面的中心。
LiDAR 映射的定量指标。我们选择对拼接的 LiDAR 框架（以厘米为单位）的 MAE 和 RMSE 进行采样和评估。
LiDAR 地图拼接质量在彩虹中 20 厘米周期性高度斜坡（左列）和 10 厘米 cividis 颜色图中可视化，反映间隔与重建网格（右列）。偏差图和放大视图都反映出，与初始 RTK 轨迹（第一行）相比，这些改进的 LiDAR 帧姿势（第二行）由于帧姿势更好，实现了更薄的拼接云和更少的悬停噪声点。
姿态估计的定量指标。我们选择重投影偏差（以像素为单位）作为常见的 SfM 指标 [31] 来评估相机帧之间的干系性，并选择 NID 损失 [30] 来评估相机帧和 LiDAR 映射之间的干系性。
我们的跨模态姿态优化框架中使用的因素，我们通过将彩色强度图的 alpha 混合到相应的相机帧上来可视化 LiDAR 相机的对准质量。我们建议读者参考我们的补充视频，了解我们的 LiDAR 地图和多相机帧的数据对齐质量。
使用不同泳道组合的 5 个评估轨道，用于练习（蓝色）和测试（赤色）。
我们提出的 Para-Lane 数据集上不同高斯重建方法的定量效果。
不同方法和设计之间的 NVS 质量比力，有关更多序列的效果，请参阅我们的补充视频
我们提出的带有动态对象的 Para-Lane 数据集的定量效果。我们在有和没有面罩的环境下进行重建以进行消融研究。
EmerNeRF 和 PVG 在单通道测试中 NVS 质量的比力。
三、让我们一起来看一下Para-Lane 数据集应用场景
主动驾驶仿真中的视角合成测试
好比你正在开辟一种新的主动驾驶算法，用于在多车道场景中进行路径规划和障碍物检测。从前，你只能使用合成数据集或单一起况数据集进行测试，这些数据集无法完全模仿真实世界中的复杂环境。然而，有了Para-Lane数据集，研究职员可以利用其真实世界多车道场景的数据，进行以下改进：
1、数据加载与对齐 你可以直接加载Para-Lane数据集中的LiDAR和相机数据，并利用其预对齐的多模态数据进行仿真测试。这制止了手动对齐数据的繁琐过程，节流了大量时间和精力。
2、真实场景下的性能评估 通过在Para-Lane数据集上测试主动驾驶算法，你可以评估算法在真实世界多车道场景中的性能。例如，你可以测试算法在不同车道视角下的障碍物检测能力，以及在复杂光照和动态物体条件下的鲁棒性。
3、优化算法性能 基于Para-Lane数据集的测试效果，你可以发现算法在真实世界场景中的不敷之处，并针对性地进行优化。例如，你可以改进算法在处理动态物体时的正确性，大概优化算法在不同车道视角下的路径规划能力。
4、提拔仿真测试的泛化能力 Para-Lane数据集的多车道场景和真实世界数据，你可以大概测试算法在各种复杂场景下的性能。这有助于提拔算法的泛化能力，使其在真实驾驶环境中表现更加稳定和可靠。
Para-Lane数据集为主动驾驶仿真测试提供了真实世界多车道场景的丰富资源，极大地改善了主动驾驶算法的测试和优化过程
知识小科普：
新型视角合成（Novel View Synthesis，NVS）能力是指重新的相机角度生成与一组图像合理一致的视图的技术。具体来说，给定源图像及源姿态，以及目的姿态，NVS 可以大概渲染生成目的姿态对应的图片。这项技术在 3D 重建、增强现实（AR）、捏造现实（VR）等领域有着广泛的应用。
技术原理:
NVS 的一样平常步调包括：
1、三维重建：从已有视角的图像中推断进场景的三维几何信息，包括物体的形状和位置。
2、渲染：利用三维重建的信息，通过渲染技术生成新视角下的图像，考虑光照和纹理等因素
应用场景:
主动驾驶：NVS 可以资助生成不同视角的传感器数据，用于练习和测试主动驾驶模子，特殊是在模仿不同驾驶场景时非常告急。
3D 重建：通过从多个视角生成图像，NVS 可以资助构建更加完备和正确的 3D 模子。
AR/VR：在增强现实和捏造现实应用中，NVS 可以生成沉浸式的体验，让用户从不同角度观察捏造场景。
医学成像：NVS 技术可以用于提高医学成像中的 X 射线新视角合成的效率，减少患者和大夫的期待时间，提高诊断效率。
更多开源的数据集，请打开：遇见数据集
遇见数据集-让每个数据集都被发现，让每一次遇见都有价值。遇见数据集，领先的千万级数据集搜刮引擎，实时追踪全球数据集，助力把握数据要素市场。https://www.selectdataset.com/
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 | 
