我本身的原文哦~ https://blog.51cto.com/whaosoft/13383340
#天下模子怎样推演未来的万万种大概
驾驶天下模子（DWM），专注于推测驾驶过程中的场景演变，已经成为寻求自动驾驶的一种有远景的范式。这些方法使自动驾驶体系可以大概更好地感知、明确和与动态驾驶情况互动。在这篇综述中，我们提供了DWM最新盼望的全面概述。我们根据推测场景的模式对现有方法举行分类，并总结了它们对自动驾驶的具体贡献。别的，还回首了高影响力的数据库和针对DWM研究范围内差别任务的各种指标。末了，我们讨论了当前研究的埋伏范围性并提出了未来方向。本综述为DWM的发展和应用提供了名贵的看法，促进了其在自动驾驶中的更广泛应用。
- 堆栈链接：https://github.com/LMD0311/Awesome-World-Model
简介
天下模子旨在基于已往的观察和动作推测未来的观察效果。在自动驾驶中，大视野和现实天下驾驶场景的高度动态特性带来了独特的寻衅。然而，驾驶天下模子（DWM）通过促进准确的场景演变推测，在应对复杂情况中发挥了关键作用。近来，由于其在确保安全可靠的自动驾驶方面的紧张作用，DWM受到了越来越多的关注。
如图1所示，DWM通常涉及推测场景演变，即根据汗青观察天生未来场景。在此底子上，大多数方法可以进一步控制场景演变以符合给定条件或输出基于观察和推测的相应。由于自动驾驶须要处置惩罚多种数据范例，DWM已经产生了推测差别模式场景的变体。一些方法使用2D图像中的语义信息，而其他方法则学习3D点云或占用率中的空间多少和准确动力学。别的，一些方法，我们体系地将其归类为无场景范式，优先思量埋伏状态或多智能体举动，而不是具体场景。
实现自动驾驶的蹊径将面临诸如高数据获取本钱、动态情况的复杂性以及管理稀有案例等寻衅。DWM大概通过改进未来状态推测的规划、用多样化的合成数据丰富练习数据集，以及通过可扩展的预练习增强卑鄙任务，为这些标题提供实用的办理方案。这些发展突显了DWM在该范畴的多功能性和有效性。
本文全面观察了干系工作。具体而言，本文的贡献可以总结如下：
- 我们全面回首了DWM的最新盼望，按推测场景的模式对方法举行分类，并概述了DWM在自动驾驶中的应用。
- 我们对当前的范围性举行了批驳性分析，并概述了有远景的未来研究方向，为研究社区提供了名贵的看法，并促进了DWM的连续发展。
我们注意到，近来出现了与DWM干系的综述，此中一些紧张关注通用天下模子，而别的的未能提供DWM应用的具体分类。相比之下，本文不但先容了近期方法的体系分类，还提供了DWM多样化应用的全面总结，旨在明确当前盼望并探索未来方向。
驾驶天下模子
驾驶天下模子（Driving World Models, DWM）所推测的场景涵盖多种模态，包罗图像、点云和占据栅格（occupancy），这既带来了独特上风，也带来了寻衅。近来的盼望越来越偏重于使用互补的多传感器数据，以发挥各个模态的上风，同时减轻其固有范围性。别的，无场景范式（scene-free paradigms）探索在埋伏空间内举行推测，或专注于对复杂的多智能体交互举行建模。表1概述了近期的方法。本节从各种推测模态的角度先容DWM的最新盼望。
2D场景演化
驾驶天下模子（DWM）使用先辈的天生技能（如自回归Transformer和扩散模子）来推测真实的二维场景演化，同时确保符合物理规律。
GAIA-1率先将场景演化推测表述为下一个标志推测任务，并使用扩散解码器，体系地捕获驾驶场景中的时空动态和高级结构。相比之下，DriveDreamer推进了用于多模态控制的条件扩散框架，并将DWM范式扩展到合成数据天生。在这些底子方法之上，后续的DWM研究紧张会合在进步场景演化推测的保真度、同等性和可控性。
天生场景的保真度对于确保真实天下驾驶场景的物理公道模拟至关紧张。Vista接纳稳固的视频扩散技能，并引入新奇的丧失函数来捕获动态举动，同时保持结构完备性，实现高分辨率和高保真度的场景天生。别的，它通过纳入多个参考帧来确保动力学公道。
DWM推测的场景演化应准确反映三维天下，确保每个物体都有公道的三维位置和空间关系，同时整个场景体现出空间连续性。通太过解团结建模，以相邻视图为条件推测中心视图，Drive-WM显着进步了视图之间的同等性。别的，DrivePhysica引入3D框作为条件输入，以增强对空间关系的明确，增强空间同等性，并改善对遮挡结构的明确。另一方面，WoVoGen推测明确的天下体（world volumes）以引导多视图视频天生，确保天下内和传感器间的同等性。雷同地，NeMo和GEM将三维推测任务纳入其框架，而BEVWorld通过整合多传感器数据输入进一步拓展了这些工作。
时间同等性在使DWM可以大概有效捕获场景的演化动态方面起着关键作用。确保推测序列中帧之间的连贯过渡对于反映现实场景演化至关紧张。近来的盼望通过架构创新来应对这一寻衅。比方，InfinityDrive引入了一种多分辨率时空建模框架，在练习过程中渐渐扩大时间感受野。通过集成旨在保存长程时间依靠关系的影象机制，这一方法得到了进一步增强。与此同时，DrivingWorld通过提出一系列技能，包罗时间感知标志化、下一状态推测、随机标志抛弃平静衡注意力战略，办理了自回归方法中的时间同等性标题。这些创新共同显着进步了在动态场景明确中对时间同等性举行建模的本事。
一个公道的DWM在天生未来场景时应顺应特定要求。如表1所示，控制条件大抵分为两类：1）低级条件，如动作（自车信息）、轨迹（坐标或位移）和结构（物体放置），为自车活动和物体定位设定准确规范。2）高级条件，如文本（指令或形貌）和目标地（车辆到达位置），不但要求实现指定目标，还须要创建逻辑中心步调。一些工作有效地整合了低级或高级控制条件来天生未来场景，产生公道的输出相应，如驾驶动作、未来轨迹和文本。此中，GEM平衡两种条件范例方面体现精彩，天生的驾驶视频严酷遵照指定轨迹，同时实现向盼望位置的天然移动。相反，DriveDreamer-2使用大型语言模子从高级文本输入中导出各种低级条件，显着增强了天生图像的多样性，并提供了用户友好的天生过程。请注意，控制条件和输出相应也广泛应用于3D和无场景范式中。
总之，DWM使用天生技能合成具偶然空同等性和物理公道性的传神二维驾驶场景。这些框架有效地进步了真实感、可控性和稳固性，实现了对场景演化的可靠推测。
3D场景演进
三维数据表现本质上保存告终构同等性、具体的多少信息和准确的空间关系，使得三维场景演化推测成为驾驶天下模子（DWM）的一项紧张任务。在实践中，通常使用两种紧张范例的三维数据，即占据栅格和点云。
占据栅格场景演进
占据栅格提供了多少同等的体素建模和结构化的空间编码，这使得占据栅格特别恰当于场景演化建模，并在各种方法中得到广泛应用。
OccWorld使用时空变更器从汗青观测中天生未来场景和自车姿态标志，并通过空间混淆实现全局同等的场景推测。随后，OccLLaMA集成了多模态大语言模子作为核心架构，而RenderWorld分别对氛围网格和非氛围网格举行标志化，以举行细粒度的三维场景建模。基于扩散的方法进一步进步了可控性和天生质量。OccSora可以大概根据恣意轨迹推测四维占据栅格场景演化。DOME接纳连续的雷同变分自动编码器（VAE）的标志器来保存复杂的空间信息。思量到占据栅格的高盘算需求，近来的方法试图进步服从。DFIT-OccWorld仅推测动态体素流，同时通过姿态变更盘算静态体素。雷同地，GaussianWorld在高斯空间中明确地对场景演化举行建模，专注于厘革而不是重修整个场景。
由于占据栅格不能直接从传感器获取，从图像重修占据栅格至关紧张。DWM将这一三维推测任务扩展到四维，即时空推测。一种直接的方法是集成Img2Occ模块，但这大概会导致偏差累积。然而，近来的盼望旨在直接从二维输入推断三维天下的时空演化，实现语义、三维结构和时间动态的协同砚习。DriveWorld在推测场景动态时间厘革的同时传播静态空间上下文。通过从多视图视频中学习时空表现，它实现了准确的占据栅格推测。别的，Drive-OccWorld将规划器与DWM相团结，使用基于活动感知的鸟瞰图（BEV）序列作为中介，直接从多视图图像推测占据栅格和流。这种集成为规划器提供了丰富的先验信息，从而进步了规划过程的安全性和准确性。
除了从图像重修占据栅格外，一些方法还从点云导出占据栅格伪标签，实现自监视练习。比方，UnO通过从未来激光雷达扫描中采样正负例来天生连续的占据场，实现对 点云的自监视学习。雷同地，UniWorld和NeMo通过对点云举行体素化天生占据栅格伪标签。UniWorld融合多帧点云天生伪标签并学习时空动态，而NeMo进一步集成图像推测和活动流模块以增强体素表现，进步规划性能。
点云场景演化
点云通常由激光雷达传感器捕获，提供了三维情况的准确多少表现。然而，其希罕和无结构的性子给天生任务带来了庞大寻衅，使得有效使用点云举行场景建模和推测变得复杂。Copilot4D接纳矢量量化变分自编码器（VQ-VAE）标志器来处置惩罚复杂的观测，并通过使用改进的离散扩散接纳并行推理加快方法。别的，LidarDM通过团结静态场景和移动物体提供基于结构感知的点云视频天生。
视觉点云推测（visual point cloud forecasting）不是直接输入点云，而是试图仅使用汗青视觉图像推测未来点云演化。ViDAR提出将视觉点云推测作为一种可扩展的预练习任务，并探索语义、三维结构和时间动态的融合。近来，HERMES出现，将视觉点云推测与语言任务相团结，以增强天生和场景明确本事。只管ViDAR使用了更长的汗青视野和先辈的埋伏渲染模块，但HERMES的性能仍显着优于它。
多传感器数据融合已成为自动驾驶体系发展的关键趋势，由于它可以大概将二维数据的高分辨率细节与三维数据的准确空间多少信息相团结。MUVO将多模态数据组合成一种与传感器无关的多少表现，通过图像、占据栅格和点云实现准确的场景建模和演化推测。雷同地，BEVWorld将图像和点云归并为同一的鸟瞰图（BEV）表现，并通过扩散推测未来表现，随后使用基于渲染的方法重修多传感器数据，实现自监视学习。相比之下，HoloDrive接纳两个单独的模子并对齐它们，以团结天生多相机数据和激光雷达数据，确保二维和三维空间之间的同等性。
总体而言，DWM将天生技能扩展到三维场景演化，使用占据栅格和结构化表现来确保空间同等性，同时集成天生技能进举措态推测。它们通过多传感器融合增强了场景明确本事，可以大概更准确、更妥本地推测复杂场景的演化。
无场景范式
除了常用的图像、点云和占据栅格推测外，一些方法还探索了无需具体场景的推测。比方，实时自动驾驶体系优先思量埋伏天下状态转换，而举动模拟框架则夸大以智能体为中心的活动动力学。我们将这些方法体系地归类为无场景范式。
埋伏状态
与原始感官数据相比，埋伏状态提供了一种高效的表现，可以大概无缝集成到决定过程中，并增强在各种驾驶情况中的泛化本事。基于强化学习的规划器通常使用埋伏DWM，它能提供准确而麋集的夸奖、高效的并行练习和可表明的输出。监视学习也受益于对埋伏状态的推测。比方，LatentDriver将推测的埋伏状态和大概的举措建模为混淆分布，捕获决定的随机性，而LAW使用自监视埋伏特性来增强端到端驾驶本事并进步服从。
多智能体举动
多智能体举动推测专注于推测场景内全部智能体的活动。TrafficBots探索了假造智能体（bot agents）举动的真实性。每个智能体根据其相应的目标地学习独特的 “个性”，并从鸟瞰图（BEV）视角推测举措。雷同地，CarFormer将每个对象建模为自监视的槽表现（slot representation），此中隐含了驾驶所需的须要信息。相比之下，AdaptiveDriver推测四周智能体的独特举动模式，随后睁开相应的DWM来模拟它们的举动。
无场景范式逾越了二维和三维表现。埋伏状态进步了服从和泛化本事，而基于多智能体举动的模子捕获了交互以低落风险。这些方法共同进步了自动驾驶体系的通用性。
应用
驾驶天下模子（Driving World Model, DWM）是一种自监视、数据驱动的方法，通过练习来推测未来场景的演变，部门方法仅需少少的表明数据。
对天生任务的广泛研究使DWM可以大概用作模拟器并天生数据。别的，DWM可以直接为决定过程和练习流程提供支持，从而增强自动驾驶体系的本事。在本节中，我们将总结DWM的应用，重点论述天下模子对推动自动驾驶发展的贡献。
仿真模拟
自自动驾驶研究初期以来，仿真模拟就不绝是练习和评估驾驶模子的关键工具，而且已经取得了显着结果 。然而，传统模拟器面临着诸多寻衅，比如场景多样性有限，以及模拟情况与现实天下之间存在差距。DWM依附其数据驱动的天生式模拟本事，有望办理这些标题。如图2(a) 所示，DWM可以大概基于各种输入情势模拟驾驶过程，严酷遵照给定指令。这些条件包罗但不限于车辆动作和场景形貌，这不但让模拟器使用起来更加便捷，还使其可以大概自主天生更风雅的结构和多样化的场景细节。
DWM在传神度、同等性和可控性方面取得了显着盼望，这些对于可靠的现实天下模拟至关紧张。Vista 可以大概提供高传神度且高度可控的视频模拟，有助于进举措作评估。与之干系的，GEM 进一步提升了模拟质量，可以准确控制物体动力学、轨迹和人体姿态。同样，多项研究实验在3D空间中模拟驾驶场景的演变 ，并显现出精良的远景。除了视觉上的真实感，近期的工作还夸大对动作传神度的评估，新提出的评估框架ACT-Bench 就是一个例证，它引入了强大的基线框架，表现出与动作指令的高度契合。别的，TrafficBots 对假造智能体举动的真实性举行了研究，进一步丰富了模拟场景。
基于强化学习的方法尤其受益于基于DWM的模拟的机动性。Think2Drive 通过在埋伏状态空间中举行推演，实现了高效的并行练习，克制了与复杂物理模拟器的交互。随后，Imagine2-Drive 使用高传神度的DWM来模拟和评估多步轨迹，显着提升了规划性能。
DWM将高传神度的天生本事与精准的可控性相团结，不但缩小了模拟情况与现实天下的差距，增长了模拟场景的多样性，还实现了并行交互。这些盼望极大地推动了自动驾驶范畴的仿真模拟发展。
数据天生
与注意条真实的仿真差别，数据天生夸大数据的多样性和保真度，旨在实现更广泛、更全面的场景覆盖，同时缩小与真实天下数据的差距。图2(b) 表明，DWM可以使用雷同的表明天生多样化的驾驶视频，这显着进步了数据标注的多样性。
毕竟证实，DWM在使用合成数据扩凑数据集方面非常有效 。比方，DrivePhysica 可以合成无穷数目的高保真且多样化的驾驶视频，而LidarDM 可以大概天生高质量的激光雷达数据。值得注意的是，HoloDrive 展示了合成对齐的多模态数据的潜力。这些合成数据对卑鄙任务（如3D检测）有促进作用，体现了DWM的可控性和高天生质量。固然这些方法通常依靠于真实天下的表明来合成数据，但近期的盼望 也在合成具有新奇轨迹的驾驶视频，缓解了真实天下数据会合的分布不平衡标题。
鉴于现在高质量自动驾驶数据集在规模上的范围性，DWM表现出使用合成技能获取大量高质量驾驶数据的潜力，为自动驾驶研究的推进提供了支持。
前瞻性驾驶
预瞻性驾驶夸大通过对未来状态的准确推测来提升车辆的规划本事。通过推测四周智能体的举动和情况动态，自车可以自动探索不偕举措的效果，从而在复杂驾驶场景中进步安全性暖和应性。
如图2(c) 所示，典范的预瞻性驾驶方法是使用DWM推测多种埋伏举措的效果，然后对这些推测举行评估，以优化终极举措决定。比方，DriveWM 将DWM的推测效果与夸奖函数相团结，以选择最佳轨迹，而Drive-OccWorld 则将鸟瞰图（BEV）嵌入引入规划器，进一步优化规划。同时，ADriver-I 将多模态大语言模子和视频扩散模子相团结，团结推测视觉 - 举措（形貌自车信息的图像和文本）对，显现出长时规划的潜力。一些方法还将推测和规划集成到一个同一的模子中，在实现精彩性能的同时提供了更大的机动性 。
准确的推测有助于提升驾驶性能，另一方面，使推测效果与未来观测保持同等也被证实是有效的 。别的，AdaWM 使用推测状态与未来状态之间的差别来引导微调，进步了对生疏情况的顺应性。
预瞻性驾驶的乐成表明，DWM不但可以通过仿真模拟和数据天生间接促进自动驾驶，还能积极到场决定和优化过程，实现推测与规划的协同效应。
4D预练习
预练习已在多种方法中得到了实证验证。然而，传统的预练习方法通常忽略了4D动态因素，而这对于自动驾驶至关紧张。DWM旨在推测场景演变，这一目标天然恰当自监视学习和大规模预练习。如图2(d) 所示，DWM使用大量未标志的多模态数据举行4D预练习，提升了一系列卑鄙驾驶任务的性能。
现有的大多数任务都夸大以视觉为中心的预练习，旨在通过从多视图图像数据中学习4D场景演变来捕获空间和动态感知。为了使用大规模未标志的图像 - 点云对，UniWorld 从点云天生占据栅格伪标签，用于4D预练习。为了消除对伪标签的依靠，ViDAR 引入了一种基于视觉点云推测的新方法。通过提出埋伏渲染算子，该方法保存了所学鸟瞰图（BEV）表现的鉴别性3D多少信息，确保了与卑鄙任务的无缝集成。别的，NeMo 将RGB重修和占据栅格推测相团结，学习可以大概同时保存3D多少和语义信息的4D体素表现。为了捕获时空动态，DriveWorld 分别处置惩罚时间动态和静态场景，并接纳任务提示以顺应各种卑鄙任务。
近期的方法也在探索以点云为中心的预练习。UnO 通过推测由未来点云天生的连续4D占据场，学习多少结构、动力学和语义信息。相比之下，AD-L-JEPA 通过重修掩码嵌入举行预练习，实现更简单，且学习到的表现更强大。末了，BEVWorld 探索对多传感器数据举行预练习，将图像和点云编码为同一的鸟瞰图（BEV）表现。
总体而言，DWM通常通过自监视学习举行4D预练习，捕获时空动态，镌汰对表明的依靠，并在广泛的任务中提升性能，为自动驾驶的发展铺平了蹊径。
评估
由于驾驶天下模子（DWM）缺乏尺度化的基准测试，全面相识现有资源和评估方法对于推动该范畴的发展至关紧张。在本节中，我们将总结自动驾驶范畴的紧张数据集，尤其是针对DWM提出的数据集，并讨论为各种基准测试计划的评估指标。
数据集
自动驾驶的发展在很大程度上依靠于高质量的数据集，这些数据集须要涵盖多样化和全面的场景。在表2中，我们回首了自动驾驶研究中最具影响力的数据集，重点关注其规模和多样性。值得注意的是，DrivingDojo是专门为练习具有复杂驾驶动力学的驾驶天下模子而计划的。
评估指标
在自动驾驶范畴，驾驶天下模子（DWM）紧张通过基于视频天生的方法举行练习，并应用于各种与驾驶干系的任务。这些任务的多样性使得单一指标难以全面评估全部研究中的模子性能。因此，该范畴的研究职员会根据具体的任务和研究范畴选择专门的评估指标。表3概述了广泛使用的评估指标及其相应寄义。
这些评估指标对差别的DWM举行了深入评估，为进一步的研究提供了引导。然而，某些方面，如同等性和可控性，仍有待深入研究。为相识决这些范围性，一些研究提出了新的评估指标。比方，为了评估可控性，一种广泛接纳的方法是比力练习好的检测器在天生数据上的输出与相应条件，大概与同一检测器在真实数据上的推测效果。别的，关键点匹配（KPM）和匀称点到平面能量被引入，分别用于评估多摄像头视频和激光雷达视频的同等性。
范围性与未来工作
只管驾驶天下模子（DWM）的研究取得了显着盼望，但仍存在一些范围性，大概会拦阻其充实发挥潜力。别的，使DWM实用于各种自动驾驶应用还是一项连续的寻衅。在本节中，我们将深入讨论当前的范围性，并概述未来研究和发展的埋伏方向。
数据稀缺
网络驾驶数据本钱高昂，尤其是对于长尾但对安全至关紧张的场景，这导致数据集有限且分布不均。近期的研究在扩展和多样化驾驶视频数据集方面取得了盼望。然而，获取高质量的3D数据和对齐的多传感器数据集仍旧具有寻衅性。固然DWM在合成数据以改进卑鄙任务方面表现出了潜力，但怎样扩凑数据以提升DWM本身还是一个未办理的标题。
服从
天生任务对DWM的推理服从提出了寻衅，增长了盘算本钱和耽误，这拦阻了其在实时驾驶应用中的使用。具体的4D场景表现进一步加大了对盘算和内存的需求。近期的研究夸大，将场景解耦是一种有效的战略。别的，探索更高效的表现情势是一个切实可行的研究方向。
可靠的仿真
一个关键标题是怎样确保在复杂模拟（比方长时推演和剧烈视角厘革）和多变的驾驶情况（比方多样化的交通和气候）下，DWM的性能不会显着降落。这对模子的鲁棒性和泛化本事提出了庞大寻衅。为相识决这些标题，一些研究提出了部门办理方案。比方，DrivingDojo提供了多样化的驾驶视频数据集，AdaptiveDrive开发了顺应差别情况的DWM，InfinityDrive专注于进步恒久性能。只管取得了这些盼望，但这仍旧是一个极具寻衅性和影响力的研究范畴，未来须要进一步探索和创新。
另一个寻衅是模子产生的幻觉和不符合物理规律的情况（比方车辆忽然出现和速率估计错误），纵然在正常情况下也大概导致伤害的决定。DrivePhysica通过引入额外条件来办理这个标题，而具有跨模态验证的多模态场景输出则是另一种可行的办理方案。
同一任务
现有的DWM紧张支持推测任务，通过推测场景演变来隐含地明确场景，而不是通过对这一关键本事的明确监视。团结语言任务为办理这些范围性提供了一个有远景的方向。比方，图像字幕和问答（QA）等任务促进了全面的明确，而因果推理则有助于学习支配现实天下演变的根本原理。别的，推测和规划的无缝集成，即端到端的DWM，可以充实发挥框架的潜力。
多传感器建模
自动驾驶体系紧张依靠多传感器设置，差别模态的数据相互增补。因此，基于单模态场景的DWM不太恰当这类体系。只管一些研究在多模态数据集成方面取得了盼望，但该范畴仍有很大的探索空间。别的，思量到对齐的多传感器数据本钱高昂，使用广泛可用的未对齐乃至未配对的多传感器数据是一个有代价的研究方向。
攻击与防御
对抗攻击很容易导致严肃的事故，对驾驶安全构成庞大威胁。这些攻击涉及经心制作的对人类不可察觉的对抗补丁，使得检测和缓解变得尤为困难。只管其埋伏影响巨大，但现在针对DWM的对抗攻击研究仍旧不敷。因此，研究此类攻击并开发有效的防御战略具有至关紧张的现实意义。这些积极对于推动DWM在现实天下自动驾驶应用中的安全可靠摆设至关紧张。
结论
驾驶天下模子（DWM）日益被视为自动驾驶体系架构中的一个根本构成部门，旨在通过推测未来演变来改进决定。在本文中，我们探究了DWM的具体贡献，不但按推测场景模态举行了体系的概述，还总结了DWM的应用及其对自动驾驶的影响，并回首了常见的数据集和评估指标。我们进一步深入研究了当前的范围性，并指出了一些有远景的未来研究方向，以降服这些寻衅并推动该范畴的未来探索。我们信托，这项综述将为早期研究职员提供DWM范畴关键盼望的快速概述。
参考
[1] The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey
#Topo2Seq
通过拓扑序列学习增强拓扑推理
论文链接：https://arxiv.org/pdf/2502.08974
择要
从透视图（PV）中提取车道拓扑对于自动驾驶的规划和控制至关紧张。这种方法无需依靠高精度（HD）舆图即可为自动驾驶车辆提取埋伏的可行驶轨迹。然而，DETR框架检测的无序性子和较弱的长途感知大概导致车道段端点错位和拓扑推测本事受限。受语言模子学习上下文关系的开导，蹊径毗连关系可以被显式建模为拓扑序列。我们先容了Topo2Seq，一种通过拓扑序列学习来增强拓扑推理的新方法。Topo2Seq的核心部门是在车道段解码器和拓扑序列解码器之间的随机序次提示到序列（prompt-to-sequence）学习。双解编码器分支同时学习从有向无环图（DAG）和包罗地理元信息的车道图中提取的车道拓扑序列。随机序次提示-序列学习从车道段解码器推测的车道图中提取无序关键点，然后将其输入拓扑序列解码器的提示计划中以重修有序和完备的车道图。通过这种方式，车道段解码器可以大概从拓扑序列解码器中学习强大的远间隔感知和准确的拓扑推理。值得注意的是，拓扑序列解码器只在练习过程中引入，而不影响推理的服从。在OpenLane-V2数据集上的实验评估表明，Topo2Seq在拓扑推理方面具有开始辈的性能。
先容
比年来，自动驾驶中的车道拓扑推理受到越来越多的关注。这是由于自动驾驶传统上依靠于离线高清舆图来提供蹊径信息。然而，蹊径状态大概是不确定的和具有寻衅性的，过期的离线高清舆图对自动驾驶汽车来说大概是劫难性的。单纯依靠这些舆图并不敷以满意高级别自动驾驶的高级需求。
为相识决这些标题，自动驾驶车辆须要举行车道拓扑推理，这涉及从环视图像中实时感知四周蹊径并提取蹊径中心线的多少位置和拓扑关系。因此，车道拓扑推理对于端到端自动驾驶中的轨迹推测和规划至关紧张。
近来关于车道拓扑推理的研究已经将中心线拓扑转化为车道图。这些端到端网络被计划用来推测以有序点集为表征的线段和由连接矩阵表现的拓扑关系。然而，这些方法并没有显式地建模每个车道段之间的关系，而是依靠于MLP来确定每个查询之间的毗连概率。由于DETR框架中的弱感知和无序检测特性，简单的MLP难以有效地学习车道之间的连通性。因此现有的方法存在多个缺点，如图1（a）所示。
图1：以往方法(a)和Topo2Seq(b)的比力:由于Deformable-DETR每个查询的采样位置有限而且检测的无序性，现有方法体现出严肃的缺点。(b) Topo2Seq接纳了一种随机提示-序列学习战略，通过拓扑序列学习增强了车道段感知和拓扑推理。
在语言模子中，序列学习可以在保持准确序次的同时捕获长文本中的上下文关系。因此，受语言模子的开导，将车道图表现为序列，可以显式地捕获车道的多少位置和拓扑关系。然而，在序列到序列（sequence-to-sequence）的学习方法中，自回归模子依靠于先前的推测来产生后续输出，由于须要重复推理，导致相当低的推理服从（约0.1FPS）。 在本文中，我们提出了Topo2Seq，一种通过拓扑序列学习来增强拓扑推理的新方法。Topo2Seq接纳了一种双解码器结构，包罗一个车道段解码器和拓扑序列解码器。拓扑序列解码器推测从有向无环图（DAG）中提取车道拓扑序列，而车道段解码器提取包罗多少信息的车道图。然后随机提示-序列学习用于从车道段解码器推测的车道图中提取无序的关键点。这些关键点被输入拓扑序列解码器的提示计划中，从而可以大概重修一个有序和完备的车道图。在这种情况下，车道段解码器通过共享的编码器从拓扑序列解码器中得到了强大的长途感知和准确的拓扑推理本事，如图1(b)所示。值得注意的是，拓扑序列只在练习中引入，并不影响推理服从。
本文的贡献可以概括为以下：
- 我们提出了Topo2 Seq，一个新的双解码器练习框架，通过使用拓扑序列学习来增强拓扑推理。
- 我们显式地将车道图建模为序列来捕获车道的远间隔多少位置和拓扑关系。
- 我们引入了一种随机序次提示-序列学习机制，使车道段解码器从拓扑序列解码器中得到鲁棒的长途感知和准确的拓扑推理本事。
- 在基准数据集 OpenLane-V2上举行的大量实验证实确Topo2Seq的精良性能。
方法详解
图2：Topo2Seq的框架。
Topo2Seq由三个紧张组件构成。起首，通过图像主干、FPN和BEVFormer对环视图像举行处置惩罚，天生鸟瞰图（BEV）特性。然后，车道段解码器推测车道图。从推测的车道图中提取的首尾点被输入拓扑序列解码器以构造关键点提示，这些提示随后并与边沿序列毗连。拓扑序列解码器推断离散关键点之间的关系，并将其重构为一个连贯的车道图。通过如许，拓扑序列解码器增强了BEV特性，改进了远间隔感知本事，从而资助车道段解码器举行拓扑推理。
1. 车道段解码器
我们将一组实例级的查询表现为 ，此中是预设的查询数，通常大于车道图中的中心线数。这些查询被输入车道段解码器以得到更新后的查询：
此中LaneDec表现车道段解码器。在每个车道段解码器层内，车道查询通过自注意模块、车道注意模块和前馈网络依次举行更新。
2. 推测头
我们使用MLPs（多层感知机）来天生3D车道坐标和拓扑矩阵A。车道间的拓扑关系推测为:
此中MLP是相互独立的。为了提供更具体的车道图表现，我们不但推测拓扑结构，同时推测了左右车道界限偏移量，界限范例以及人行横道。
3. 拓扑序列解码器
我们参考Pix2Seq计划了拓扑序列解码器。每个解码器层包罗自注意模块、交织注意模块和前馈网络。自注意模块中的因果掩模保持自回归特性。整个结构在提取和细化BEV特性方面具有几个上风： (1)增强型特性细化：该模子可以根据序列中的关键点，有选择性地关注BEV特性的干系范畴。这种有针对性的注意力通过夸大对准确重修车道图或明确场景至关紧张的地域，有助于细化BEV特性。(2)改进长途依靠：拓扑序列解码器增强了对序列中迢遥关键点与BEV特性中相应地域之间的长途依靠性的捕获。这对于像车道拓扑推理如许的任务尤其紧张，在这些任务中，明确广泛分离的点之间的关系是至关紧张的。(3)上下文集成：通过关注特定的关键点提示，模子可以镌汰BEV特性中不干系或冗余信息的影响。这导致了更高效的特性提取，并大概镌汰终极推测效果中的噪声。练习拓扑序列解码器的输出可以表现为：
此中TopoSeqDec表现拓扑序列解码器，表现推测的边沿序列。
4. 序列结构
根据RoadNet，我们将有向无环图（DAG）转换为边序列。车道上的每个关键点都可以作为出发点或止境，每条边都可以用6个整数表现：
此中，前两个整数int(),int()表现关键点的离散坐标。cls表现关键点的种别，可以是先人、直系、分支或克隆节点。con表现关键点之间的毗连。假如cls是先人或直系的，则con被设置为0。否则，con将被设置为父关键点的索引。由于贝塞尔曲线可以有效地表征关键点之间的车道轨迹，末了两个整数int(),int()表现贝塞尔曲线的中心控制点。为了确定关键点的唯一序次，我们选择BEV透视图中右火线的位置作为出发点，并使用深度优先搜刮来实验排序。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
|
发表于 
