23年12月来自美国西北大学、耶鲁大学和英国利物浦大学的论文“Empowering Autonomous Driving with Large Language Models: A Safety Perspective“。
自动驾驶AD在贸易落地方面面临着关键的停滞，尤其是由于不可预见的长尾驾驶场景，公众信托和安全题目减弱。这种窘境是由于AD软件中深度神经网络的范围性造成的，深度神经网络难以表明，在分布外数据OOD和不确定的场景中体现出较差的泛化本事。为此，本文主张将大语言模型（LLM）集成到AD系统中，利用其强大的知识知识、推理本事和人机交互本事。其提出的方法将LLM摆设为规划中的智能决议者，结合安全验证器进行上下文安全学习，提高AD的整体性能和安全性。实验给出两个案例效果，去验证方法的有用性。进一步讨论了LLM在其他AD软件组件（包罗感知、猜测和模仿）中的集成潜力。
如图是概览提出的用于AV软件流水线的LLM集成。最直接的是，LLM可以通过文本描述来明白场景，从而做出行为层面的决议，如车道保持和变道，这直接影响了具有不同优化公式和安全约束的低级轨迹规划，得以提高安全性。安全验证器查抄决议中提出的控制输入安全性，如果动作验证为不安全，则进行上下文学习，如绿色箭头所示。不安全反馈可以追溯到如图的行为制定者、猜测者和感知模块。此外，LLM可以资助感知模块更好地了办理策场景，比方行人横穿带有停车标志的门路，自车应该完全刹停。LLM还可以通过获取周围环境交通参与者的最新历史来更好地猜测其驾驶风俗（攻击性）和意图（比方，是否变道），从而资助进行意图猜测，从而做出更安全的决议。
LLM有本事通过提示工程思考和推断自动驾驶的行为级决议。如图所示，该框架展示了如何利用LLM作为行为规划器，为低级MPC轨迹规划器提供安全约束。LLM驾驶器以高级意图猜测、场景描述、行为状态机和自身影象数据为输入，并基于对驾驶场景的明白做出行为决议。不同的LLM决议将为基于低级MPC的轨迹规划制定不同的安全约束。MPC题目的可行性将被发送回LLM，（重新）评估其上下文安全学习的决议。
文章用开源的HighwayEnv【Leurent2018】开辟了一个高速公路驾驶环境。如图所示，思量单向三车道驾驶场景。假设车辆动力学是已知的，并且可用于MPC，其可以表示为st+1=f（st，ut），此中s=（x，y，vx，vy），此中x，y、vx、vy分别表示纵向位置、横向位置、纵向速率和横向速率。自车的连续控制输入ut包罗加快度和转向信号。f: S×U → S表示自行车模型动力学[Jiao2023]。
图中自车是蓝色的，其他智体是黄色的。蓝点是自车的规划轨迹。红点是来自基于间隔猜测的其他智体采样路点。灰色框是自车和其他智体迩来的轨迹历史。LLM在模仿中体现出四种情况，即（a）安全的车道保持、（b）乐观的变道、（c）谨慎的变道放弃和（d）守旧的故障掩护。
调用OpenAI GPT-4 API作为LLM驱动步伐智体。在特定感知范围内输入周围环境的文本描述，包罗它们的相对位置（比方“车辆 i 是在右侧车道上自车之前驾驶”或“车辆 i 在中间车道上自车后驾驶”）、它们的相对速率（比方“车辆 i 比自车行驶得更快/更慢”）、，以及其他车辆的意图猜测。LLM决议器的输出被约束为通过思考为较低级MPC选择目标车道（如“中间车道、左车道、右车道”）。
AV上的猜测模块在时间步长t猜测周围汽车j的未来状态sjt。为了现实起见，假设猜测的位置效果是特定时间步长上的区间。假设位置区间包含未来环境的真值。由于MPC的时域减弱特性，须要调用猜测模块来得到MPC安全约束中的猜测效果。
一个基于MPC的规划器界说如下优化目标：
此中Lane(y) ∈ 0, 1, 2根据横向距离y决定车辆驾驶的车道，记作 “左”, “中”, 和"右"。
为了低沉复杂性，利用LLM的推理本事和知识知识，向LLM提供场景文本描述并要求做出放松MPC约束的决定，再决定为MPC规划器去行驶哪条车道。具体来说，在时间步长t，LLM的条件MPC试图办理以下优化题目：
因此，题目（1）是一个混合整数非线性规划题目。在实践中，正如实验所观察的，这个题目往往是办不到的。在LLM的资助下，删除了题目（2）中的整数决议变量，因此更轻易办理。这个方法与[Huang，2016]中介绍的分层MPC有着相似的理念，在该理念中，将硬轨迹规分别解为更轻易办理的两阶段题目。
出于安全目的，自车的控制输入必须通过验证模块（验证器）进行安全验证或确认，并将验证效果提供给LLM，重新评估行为决议。验证器可以是可达性分析[Wang，2023d]、停滞理论[Wang et al.，2023c]和/或是题目（2）中具有安全约束低级MPC的可行性。本文研究中，由于假设周围环境的基于间隔位置猜测和MPC的安全约束，如果MPC题目（2）是可行的，那么将“验证者对所提出的车道（LLM）感到满意”反馈给LLM。否则，不可行的MPC会导致潜在的不安全规划路径点，将其反馈给LLM，要重新评估场景并重新生成另一种行为。LLM的上下文安全学习如图所示：LLM利用来自低级MPC反馈的提示工程用于轨迹规划。
对于低级MPC，再生行为或所有行为大概仍旧不可行，无法确保安全性。在这种情况下，将AV系统切换到故障掩护模式；在这种模式下，行为是保持当前车道，并制动与前车保持最小距离。把安全放在首位，因此自车可以使用守旧的硬刹车来低沉车道保持中的速率。
观察到的题目，纵然两条车道都是流通和安全的，LLM也会出现不须要的车道变革。这些决定背后的理由可以是“中间车道为机动提供了更多的操纵空间”，也可以是“目标车道在效率和安全性之间提供了更好的平衡”。虽然GPT-4体现出了值得歌颂的性能，但GPT-3.5-turbo纠结于区分“较长”和“较短”的碰撞时间（TTC），导致次优和不精确的决议，特别是在以后的迭代中如此体现。只管最初在早期操纵中正确地估计TTC，但GPT-3.5-turbo厥后出现自相矛盾。总之，观察效果表明，GPT-4在自动驾驶的行为决议方面始终优于GPT-3.5-turbo。
与大多数现有的自动驾驶LLM工作一样，前面的案例研究偏重于这种一步规划或单帧决议。然而，可以通过明白思量自车的高级行为模式（由LLM控制）以及在多个连续步骤中与周围智体的猜测和交互，进一步提高LLM在驾驶使命中的性能和安全性。下面的案例研究有以下亮点。
在现实驾驶情况下，实行变道或无掩护左转等操纵须要几个步骤。车辆必须遵守既定规则或模式，才能与附近的交通参与者进行有用交互并完成这些使命。这就要求LLM符合特定的行为约束。建议通过上下文学习或少样本微调将状态机集成到LLM中。这种方法旨在确保遵守这些根本规章和既定模式，同时保持决议的充足机动性。
状态机为条件的LLM可以在几个方面提高决议过程的安全性和可表明性。首先，状态机可以约束决议空间，简化时间序列决议之间的依靠关系。如果LLM确保状态之间的过渡是安全的，人类可以信托决议流水线。其次，在状态机设计中添加了一些中间/交互状态，资助LLM更好地明白其他车辆的行为。在这些状态下，LLM可以自动与周围车辆（比方，变道时目标车道上的跟随车辆）交互，但仍能确保安全。
如图所示，展示用LLM作为决议器的交互式换道流程。该框架以状态机为中央，界说了LLM的根本行为模式。该存储器存储有关周围车辆的紧张历史信息，资助LLM猜测其意图。反思模块用于监测LLM，确保状态到状态的转换有用，并在LLM违反转换约束时向LLM提供反馈，进行上下文学习。LLM基于预界说的规则和推理信息来确定终极的状态转换。
转换的检验包罗：
状态查抄：根据预界说的状态机图，所选状态必须有用。
安全查抄：如果LLM在过渡到下一个状态时采取某些动作，会评估碰撞的大概性。在这个交互式换道的特定示例中，应用TTC来确保所提出的状态不会导致碰撞。LLM将TTC与设置的阈值进行比较。
猜测查抄：LLM基于影象模块中附近车辆的多帧历史行为来猜测其意图。如果LLM认为周围的车辆过于激进或不合作，则进行机动是不安全的。给定周围车辆不同的猜测行为模式，LLM可以以不同的方式与周围车辆交互。
反思模块：状态和安全查抄是决议过程中的严酷要求。为了确保符合这些要求，反思模块监视状态转换。该模块改正LLM并向其提供反馈，促进上下文学习，尤其当决议违反这些严酷约束。对于行为猜测，反思模块对意图估计没有任何约束——LLM独立机动地评估周围车辆的意图，将其归类为攻击性或合作性。
意图猜测模块：与MPC猜测不同，意图猜测是估计周围车辆的高级行为模式，不须要非常具体，但对交互很紧张。将周围智体的潜在意图界说为合作和侵占。用周围车辆的TTC来测量攻击性程度。在每一个规划步骤中，LLM决议器都会提取前面3个步骤中周围车辆的TTC，并猜测其相应的意图。在建立LLM时，提供几个人工标注演示数据。
如图是作者提出的用于变道安全交互式决议流水线示例。通过状态机设计和行为级猜测，LLM驱动的智体可以在复杂场景中连续、交互地做出可表明和安全的决议。在每个周期中，LLM将通过三个行为级检验（状态、猜测和安全）来推理其决议。如果LLM犯了严峻和明显的错误，反思模块将为备份规划和上下文学习提供反馈。MPC模块将负责低级控制的可行性和安全性。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
