【论文阅读】Grounding Language with Visual Affordances over Unstructur ...

Abstract

最近的研究表明，大型语言模型（llms）可以应用于将自然语言应用于各种各样的机器人技能。然而，在实践中，学习多任务、语言条件机器人技能通常需要大规模的数据收集和频繁的人为干预来重置情况或帮助纠正当前的policies。在这项工作中，我们提出了一种新的方法，通过利用自我监视的视觉语言启示 visuo-lingual affordance模型，从现实世界中的非布局化、离线和无重置数据中有效地学习通用语言条件机器人技能，该模型只需要用语言表明总数据的1%。我们在模仿和现实世界的机器人任务中举行了广泛的实行，评估了我们的方法，在具有挑战性的calvin基准上实现了最先进的性能，并在现实世界中使用单个policy学习了25个不同的视觉运动操作任务。我们发现，当与llm团结使用，通过少镜头提示将抽象的自然语言指令分解为子目标时，我们的方法可以或许在现实世界中完成长时间、多层的任务，同时需要的数据比以前的方法少一个数量级。代码和视频可在http://hulc2.cs.uni-freiburg.de.        
I. INTRODUCTION

大规模语言建模的最新进展在将世界语义知识桥接到机器人指令跟随和规划[1]、[2]、[3]方面产生了有盼望的结果。实际上，使用大型语言模型 (llm) 举行规划需要拥有大量不同的低级举动，这些举动可以无缝地组合在一起以智能地在现实世界中行动。学习这种感觉运动技能并以语言为底子通常需要大量大规模的数据收集工作[1]，[2]，[4]，[5]，频繁的人工干预，将技能限定为模板拾取和放置操作[6]，[7]，或在更简朴的模仿情况[8]，[9]，[10]中部署policies。人类明显简朴的任务，如将水倒入杯子中，很难教机器人做，也被称为moravec悖论[11]。这就提出了一个题目：我们怎样以可扩展和数据高效的方式在现实世界中学习各种视觉运动技能，如下所示指令？
先前的研究表明，将机器人操作分解为语义和空间路径[12]，[13]，[6]，进步了多模态信息的泛化、数据效率和理解。受这些路径架构的启发，我们提出了一种新颖的、样本高效的方法，通过利用自监视的视觉语言启示模型，从现实世界中的非布局化、离线和无重置数据中学习通用语言条件机器人技能。我们的主要观察结果是，我们可以用一个基于语义概念的高级流和一个基于3D空间交互知识的低级流来分层分解目标达成题目，而不是通过扩展数据收集来学习怎样使用单个端到端模型从任何当前状态到达任何可实现的目标状态[14]，如图1所示。
   

  图1：当与大型语言模型配对时，hulc++可以或许从现实世界中的抽象自然语言指令中完成长期、多层任务，例如“整理工作空间”，而无需额外培训。我们利用视觉启示模型将机器人引导到语言所指的可操作地区附近。一旦进入这个地区，我们就会切换到一个7-dof语言条件视觉运动器policy，它是从离线、非布局化数据中练习出来的。
  具体来说，我们提出了分层通用语言条件策略 Hierarchical Universal Language Conditioned Policies 2.0（hulc++），这是一个分层语言条件agent，它将hulc[10]的任务无关控制与vapo[13]的以对象为中心的语义理解相团结。hulc是一个state-of-the-art语言条件模仿学习agent，它学习7-dof目标，端到端到达policies。然而，为了共同砚习语言、视觉和控制，它需要大量的机器人交互数据，类似于其他端到端agents[4]、[9]、[15]。vapo提取了非布局化数据的自监视视觉启示模型，不仅加速了学习，而且还被证明可以进步卑鄙控制policies的泛化能力。我们证明，通过扩展vapo来学习语言条件启示，并将其与基于hulc的7-dof低级policy相团结，我们的方法可以或许直接从图像中一连跟踪多个长期操作任务，同时需要的数据比以前的方法少一个数量级。与之前的工作不同，之前的工作依靠于昂贵的专家演示和完全表明的数据集来学习现实世界中的语言条件agents，我们的方法利用了一种更具可扩展性的数据收集方案：非布局化、无重置且可能次优的长途操作游戏数据[16]。此外，我们的方法只需要用语言表明总数据的1%。大量实行表明，当与将抽象自然语言指令翻译成一系列子目标的llm配对时，hulc++可以在现实世界中完成长时间、多阶段的自然语言指令。最后，我们表明，我们的模型在具有挑战性的calvin基准[8]上设定了一个新的技术程度，通过7自由度控制，从高维感知观察中一连跟踪多个长期利用任务，并通过自然语言指定。据我们所知，我们的方法是第一个明白旨在从现实世界中纯粹离线、无重置和非布局化数据中办理语言条件的longhorizon、多层任务的方法，同时只需要1%的语言表明。
II. RELATED WORK

在底子语言和视觉的进步推动下，机器人社区对构建语言驱动的机器人系统的爱好日益浓厚[17]，[19]。早期的工作偏重于定位引用表达式[20]、[21]、[22]、[23]、[24]中提到的对象，并使用预界说的运动基元遵循拾取和放置指令[25]、[6]、[26]。最近，端到端学习已被用于研究融合感知、语言和控制的挑战性题目[4]、[27]、[28]、[1]、[10]、[9]、[15]、[5]。由于其灵活性，从像素举行端到端学习是建模通用agents的一个有吸引力的选择，因为它对对象和任务的假设最少。然而，这种像素到动作模型通常具有较差的采样效率。在机器人操作范畴，光谱的两个非常是cliport[6]，另一方面是agents，如gato[5]和bc-z[4]，其范围从需要几百个专家演示怎样通过运动规划拾取和放置物体，到需要几个月的专家演示数据收集来学习视觉运动操作技能以实现一连控制。相比之下，我们取消了收集专家演示的要求以及手动重置场景的相应需求，以从非布局化、无重置、长途操作的播放数据中学习[16]。另一个正交工作线通过使用预练习的图像表示[29]、[6]、[30]来引导卑鄙任务学习，办理了数据效率低下的题目，我们在这项工作中也利用了这一点。
我们提出了一种新的分层方法，团结了两种范式的优势，从高维相机观察中学习语言条件、任务无关、长视野policies。受将机器人利用分解为语义和空间路径的工作思路的启发[12]，[13]，[6]，我们提出利用非布局化数据的自我监视启示模型，将机器人引导到语言指令中提到的可操作地区附近。一旦进入这个地区，我们就会切换到一个单一的多任务7-dof语言条件视觉运动器policy，它也是从离线、非布局化数据中练习出来的。
 
III. METHOD

我们将方法分解为三个主要步调。起首，我们从非布局化、长途操作的数据中练习一个语言条件启示模型，以预测提供输入语言指令的对象的3d位置（第iii-a节）。其次，我们利用基于模型的规划向预测位置移动，并切换到本地语言条件的、基于学习的policy

与场景交互（第iii-c节）。第三，我们展示了怎样将hulc++与大型语言模型（llm）团结使用，将抽象语言指令分解为一系列可行的、可执行的子任务（第iii-d节）。
从情势上讲，我们的最终机器人policy被界说为混淆物：

具体而言，我们使用投影的末端执行器位置

和来自启示模型的预测像素

之间的像素间隔来选择使用哪个policy。如果间隔大于阈值

，则预测地区远离机器人当前位置，我们使用基于模型的policy

移动到预测位置。否则，末端执行器已经接近预测位置，我们继续使用基于学习的policy

。因此，我们将α界说为：

由于启示预测以语言为条件，每次agent收到新指令时，我们的agent都会根据α（s，l）决定使用哪个policy。将无模型policy运动的地区限定在提供人机交互的地区附近具有使其更具采样效率的优点，因为它只需要学习局部举动。
A. Extracting Human Affordances from Unstructured Data

我们的目标是学习一个启示模型 affordance model 

，该模型可以在给定自然语言指令时预测世界位置。与之前需要手动绘制分割掩码的启示学习方法不同[31]，我们自动从非布局化、人类长途操作的游戏数据中提取启示[16]。利用游戏数据有几个优点：它收集起来既便宜又可扩展，包含一样平常举动，而且不是随机的，而是由人类的启示知识构建的。具体来说，游戏数据由一个长的未分段数据集D组成，该数据集D包含用户在没有特定任务的情况下长途操作机器人提供的语义上有意义的举动。全状态动作流

被重新标记，以将前面的状态和动作视为到达访问状态的最佳举动[16]。此外，我们假设少数随机序列（不到数据集的1%）用描述序列中正在完成的任务的语言指令举行表明。
为了从非布局化数据中提取视觉启示，我们使用抓取器动作作为启发式方法来发现与任务完成相关的场景元素。考虑以下场景：一个随机序列τ=

，其中k表示窗口巨细，用语言指令

表明。如果序列中的任何状态si，动作ai包含一个抓取器关闭信号，我们假设在末端执行器的位置有一个执行任务l所需的对象。为了学习视觉-语言启示模型，我们将endeffector世界位置投影到相机图像上以得到像素点，并用所述像素和语言指令l表明前面的帧，如图2所示。直观地说，这允许启示模型学习预测与完成任务l所需的对象相对应的像素。
   

  图2：从人类长途操作的非布局化、自由情势的交互数据中提取语言条件视觉启示的过程的可视化。我们在遥操作期间利用夹具打开/关闭信号将末端执行器投影到相机图像中，以检测无向数据中的启示
  在测试期间，给定预测的像素位置，假设现有的相机校准，需要深度信息来盘算基于模型的policy应该移动到的3d位置。我们的模型不是依靠于感官深度观测，而是通过使用夹具闭合过程中端部执行器的位置作为监视来练习，以产生估计的深度。我们公式的一个关键优势是，通过从视觉语言特征预测深度，我们的模型可以更好地顺应场景中可能发生的部分遮挡。
B. Language-Conditioned Visual Affordances

我们的视觉语言启示模型，见图3，由一个带有两个解码器头的编码器-解码器架构组成。第一个头预测图像上的分布，表示每个像素成为提供点 afforded point 的可能性。第二个头预测高斯分布，从该分布中采样相应的预测深度。两个头共享雷同的编码器，并以输入语言指令为条件。从情势上讲，给定一个由视觉观察

和语言指令

组成的输入，启示模型Fa产生一个输出o，即（1）逐像素热图

，指示提供下令任务的地区，以及（2）相应的深度估计d。我们将这个映射表示为

。 
   

  图3：系统架构概述。hulc++起首处理语言指令和来自静态相机的图像，以预测提供的地区并将机器人引导到附近。一旦进入这个地区，我们就会切换到语言条件模仿学习agent，它从夹具和静态相机吸收rgb观察结果，并学习端到端到达policies的7-dof目标。这两个模块都从雷同的自由情势、非布局化数据会合学习，只需要1%的语言表明。
  1) Visual Module:

视觉预测模块在给定输入

的情况下生成热图A。为了练习它，我们在A的所有像素上应用softmax函数。这导致图像上的分布V，其中所有像素值的总和等于1。

同样，通过将所有值初始化为零，目标T的形状与V雷同。然后，我们使用与当前状态输入对应的投影位置的像素生成一个二进制one-hot像素图。最后，我们利用交叉熵丧失优化了视觉预测模块：

其中

。该优化方案[32]允许视觉模块学习图像上的多模态置信度，其中具有最高值的像素表示给定输入的最可能的图像位置。在推理过程中，我们使用密集像素输出预测A来选择像素位置

：

启示性预测遵循U-Net[33]架构，在该架构中，我们从LingUNet[34]中汲取灵感，在瓶颈后对三个解码器层反复应用语言条件。
2) Depth Module:

如前所述，我们可以通过将感爱好像素pt变换到相机帧来盘算深度模块的目标，以得到

，其中该点的z坐标对应于真实深度

。固然我们盘算了真实值，但范例的深度传感器存在测量偏差。因此，为了设计一个对深度偏差举行建模的系统，我们使用地面真值深度信息通过最大化对数似然来练习高斯分布

。

如图3所示，深度模块由一组线性层组成，这些层将编码的视觉语言特征作为输入。在这里，语言调治是通过将自然语言编码连接到多层感知器的前两层来完成的。网络的输出是高斯分布d∼

的参数，在推理过程中对其举行采样以得到深度预测d。用于练习完备启示模型的总丧失函数被界说为启示模块和深度预测模块丧失的加权组合：

C. Low-Level Language-Conditioned Policy

为了与对象交互，我们学习了一个目标条件policy

，它在情况动力学

：

下，以当前状态

和自由情势语言指令

为条件，输出在

的动作。我们注意到agent无法访问情况的真实状态，而是可以举行视觉观察。我们使用基于hulc[10]的通用目标达成policy对低级policy举行建模，并使用多上下文模仿学习[9]举行练习。我们利用了用户提供的语义上有意义的举动的长非布局化数据集d，这些数据集d是我们之前在第iii-a节中用来学习启示的。为了学习任务无关的控制，我们利用目标重新标记[35]，将这些短期目标图像条件演示输入到一个简朴的最大似然目标条件模仿目标中：

然而，当学习语言条件策略

时，不可能将任何访问状态重新标记为自然语言目标，因为目标空间不再等同于观测空间。lynch等人[9]表明，将少量随机窗口与事后语言指令配对，可以学习一个单一的语言条件视觉运动器policy，该运动器可以执行各种各样的机器人利用任务。这里的关键见解是，求解目标图像或语言目标的单个模仿学习policy，可以主要从未标记的游戏数据中举行学习控制，并将语言表明的负担降低到总数据的1%以下。具体来说，给定多个上下文模仿数据集

，具有不同的任务描述方式，多上下文模仿学习在所有数据集上同时练习单个潜在目标条件的policy

。
D. Decomposing Instructions with LLMs

使用启示模型将机器人引导到语言指令提供的地区，然后利用低级policy执行任务，原则上可以将多个语言指令链接成一行。固然自然语言为任务规范提供了一种直观和可扩展的方式，但要一连输入低级语言指令可能不切实际，例如“打开抽屉”、“现在拿起粉赤色块并将其放在抽屉里”、“然后拿起黄色块并将它放在抽屉内”来执行整理任务。理想情况下，我们盼望给机器人一个抽象的高级指令，比如“整理工作空间并关闭所有灯”。与zeng等人[7]类似，我们使用标准的预练习llm，将抽象语言指令分解为一系列可行的子任务，方法是用自然语言下令（格式为表明）的几个输入示例与相应的机器人代码（通过少量提示）配对。我们利用llm的代码编写能力[36]，[3]生成可执行的python机器人代码，这些代码可以翻译成语言表达的操作技能。例如，api调用push_button（'green'）所表达的技能被翻译为“打开绿灯”，然后用于执行policy的推理。我们唯一的假设是，输入提示的场景描述与情况状态相匹配。我们在图4中显示了一个示例提示。
   

  图4：将抽象指令分解为子任务序列的示例提示。提示上下文为灰色，输入任务下令为洋赤色，生成的输出突出显示。
  IV. EXPERIMENTS

我们的实行旨在答复以下题目：
1）与使用端到端模型相比，集成所提出的视觉语言启示模型是否可以进步以下语言指令的性能和数据效率？
2） 所提出的方法是否适用于现实世界？
3） 当与llm配对时，agent能否通过遵循llm提出的子目标来推广新的举动？ 
A. Simulation Experiments

Evaluation Protocol.

我们使用calvin基准[8]的情况d设计我们的实行，该情况由6小时的长途操作无定向游戏数据组成，这些数据可能包含次优举动。为了模仿现实世界的场景，只有1%的数据包含众包语言表明。calvin中agent的目标是使用机载传感，通过自然语言指示5个不同的子任务，办理多达1000个独特的序列链。在推理过程中，只有当agent成功完成当前子任务时，它才会吸收链中的下一个子任务。
Results and Ablations.

我们比较了我们将机器人控制学习划分为基于语义概念的高级流和基于3d空间交互知识的低级流的方法，hulc是一个state-of-the-art端到端模型，它从游戏数据中学习基于语言的一样平常技能。为了举行公平的比较，我们重新练习了原始的hulc agent，以微调语言编码器，因为这将均匀序列长度从2.64进步到2.69。我们在表i中观察到，当与我们的启示模型团结时，性能增加到均匀序列长度2.93。通过将控制解耦为层次布局，我们表明性能显著进步。此外，当使用预练习权重r3m[29]初始化我们的启示模型时，hulc++的均匀序列长度为3.30，这是一项旨在学习用于学习机器人技能的可重用表示的工作。 

 为了研究我们提出的方法的数据效率，我们还将我们的模型与包含50%和25%总游戏数据的较小数据分割举行了比较。我们的结果表明，我们的方法比基线的样本效率高出50%。由于可能很难判定每个模块对团体样本效率进步的贡献程度，我们研究了将我们在25%数据上练习的启示模型与在完备数据集上练习的低级policy配对的结果。我们报告的差异很小，均匀序列长度为2.92。
B. Real-Robot Experiments

System Setup.

我们在受模仿CALVIN情况启发的3D桌面情况中使用Franka Emika Panda机器人手臂验证了我们的结果。该情况由一张带抽屉的桌子组成，抽屉可以打开和关闭，木制底座上另有一个滑动门，如许末端执行器就可以触及手柄。此外，该情况还包含三个彩色灯开关和彩色块。我们使用来自并发工作的离线数据集[37]，由9小时的非布局化数据组成，这些数据是通过要求参与者在不执行任何特定任务的情况下长途操作机器人而收集的。此外，我们通过要求人类表明者描述交互数据会合随机采样窗口的举动，用语言表明不到总数据的1%，具体为3605个窗口。该数据集包含高出25种不同的操作技能。我们注意到，在现实世界中学习如此广泛的各种技能，从非布局化、无重置和可能次优的数据中学习，再加上不到1%的数据被语言表明，是极具挑战性的。此外，此设置包含的数据比相关方法少一个数量级[4]。
Baselines.

为了研究我们的分层架构的有效性，我们以两个语言条件基线为基准：hulc[10]和bc-z[4]。第一条基线用于评估利用启示模型对控制回路举行分层分解的影响，因为低级policy是针对从非布局化数据中学习任务无关控制而定制的。另一方面，bc-z基线仅在包含语言表明的数据上举行练习，并包括拟议的辅助丧失，该丧失从视觉中预测语言嵌入，以更好地对齐视觉语言技能嵌入[4]。为了举行公平的比较，所有模型都有雷同的观察和动作空间，并且它们的静态相机视觉编码器都用预练习的resnet-18 r3m特征初始化[29]。对于hulc++，这需要用于启示模型的视觉编码器和用于低级policy静态相机的视觉编码器。夹具相机的编码器是重新开始练习的。 
Evaluation

我们起首评估受语言制约的个人技能的成功率。在使用离线游戏数据集练习模型后，我们使用中性起始位置为每个任务执行了10次睁开，以避免在机器人的初始姿势中偏置policies。这种中性初始化打破了初始状态和任务之间的相关性，迫使agent完全依靠语言来推断和办理任务。我们将每个模型的成功率记录在表2中。我们观察到，由于演示不敷，bc-z基线在大多数任务中的性能接近于零。hulc的能力更强，因为它利用了完备的数据集，在10次推出中均匀有42.4%，但在长期规划方面遇到了困难，大多数用模仿学习练习的端到端agents也是如此。总体而言，hulc++的能力更强，在25个不同的操作任务中均匀成功率为65.2%，证明白在将控制解耦为层次布局之前团结语义-视觉-语言启示的有效性。 

最后，我们通过利用gpt-3为抽象语言输入生成子目标序列，例如“整理工作区并关灯”，来评估每种方法在现实世界中可以一连执行多少任务。我们报告说，我们的方法均匀执行了6.4个子目标，而基线在完成2到3个子目标后每每会失败。请参阅增补视频，相识定性结果，这些结果展示了任务的多样性和不同方法的longhorizon能力。总体而言，我们的结果证明白我们的方法通过利用视觉语言启示从非布局化数据中学习样本高效、语言条件化的policies的有效性。
V. CONCLUSION AND LIMITATIONS

在这篇论文中，我们介绍了一种新的方法，可以从包含低至1%语言表明的非布局化、离线和免重置数据中有效地学习通用、语言条件机器人技能。关键思想是从不同的人类长途操作数据中提取语言条件启示，以学习在自然语言指令下，交互应该在情况中的何处发生的语义先验。我们将这些知识提炼为基于模型和无模型的policies之间的相互作用，允许对机器人控制学习举行样本高效的划分，大大高出了具有挑战性的语言条件机器人利用calvin基准的最新技术。我们表明，当与llm团结将抽象的自然语言指令翻译成子目标序列时，hulc++可以或许完成现实世界中的长期、多层任务，同时需要的数据比以前的方法少一个数量级。固然实行结果很有盼望，但我们的方法有几个局限性。起首，在现实世界中对技能举行排序时，一个悬而未决的题目是跟踪任务进度，以便知道何时进入下一个任务。在这项工作中，我们以固定的时间范围对现实世界中的任务举行排序，隐含地假设所有任务都需要约莫雷同的时间步才能完成。其次，将抽象语言输入转换为子目标序列的代码生成模块假设提示的场景描述与情况状态相匹配，这可以通过集成感知系统来自动化[2]。最后，未来工作的一个令人兴奋的范畴可能是，不仅要用语言模型为行动奠基底子，还要通过团结现实世界的机器人数据来探索改进语言模型自己[38]。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。