视触觉关键点对应关系在物体利用中的应用

一、前沿速览

来自韩国呆板与材料研究所的研究人员近日在报道了一项研究成果。在文章中，他们提出了一种新的操作策略，利用从视觉-触觉传感器图像中提取的关键点对应关系来方便精确的对象操作。他们使用视觉-触觉反馈来指导呆板人的动作，以精确地抓取和放置物体，消除了对抓取后的调整和广泛的训练的需要。该方法提高了摆设效率，解决了在对象位置没有预定义的情况中实行操作任务的难点题目，并通过实验验证了所提出的策略的有效性，证实了关键点对应的提取及其在现实任务中的应用，如块对齐和齿轮插入，这需要毫米级的精度。结果表明，平均误差幅度明显低于传统的基于视觉的方法，足以实现目标任务。
二、背景先容
在呆板人技术领域，专注于精确挑选和放置物体的操作任务构成了重大挑衅，特殊是在对象位置没有预定义的情况中。在这些情况中实现精确的操作需要先辈的感知本领，使呆板人可以或许根据所识别的物体姿态来调整他们的动作。
先前的工作中，基于视觉的RGB-D相机或激光雷达传感器被用来估计物体的姿态。然而，这些方法往往容易受到传感器噪声和情况干扰的影响，从而影响操作的精度。为了降服这些限制，研究探索了差别传感方法的融合，包括视触觉传感器的新应用。这些传感器通常使用柔性弹性体材料和颜色传感器，可以将触觉数据转换为视觉图像。传感器大多毗连在呆板人的末端实行器或夹持器的末端，使得呆板人在操作任务期间直接观察对象的打仗状态。
与传统的基于视觉的方法相比，这种触觉传感器提供了更好的操作精度。通过触觉反馈直接感知打仗状态，提高了呆板人更精确地抓取和利用物体的本领。这种视觉-触觉传感器已被应用于各种任务，包括抓取、部门识别、姿态细化和操作期间的稳固性评估，只管需要广泛的训练和物体标记以改进识别等挑衅仍然存在。
为了降服这一困难，研究人员提出了一种新的操作方法，利用视觉-触觉传感器捕获的图像的关键点对应来指导操作。在从目标图像和当前获取的传感器图像中提取特性描述符后，将目标图像的特性描述符中预定义关键点对应的值与获取的图像中整个特性描述符之间的相似性进行比较。在此比较之后，继续选择相似性最高的点来寻找对应关系，并基于关键点对应和位姿调整进行位移估计。这种方法有两个长处：它消除了在抓取后进行额外调整的需要，并消除了对广泛训练的要求，使摆设更高效和更快。

图1基于视触觉传感器图像关键点对应的呆板人操作姿态调整位移估计
这项研究有两个贡献。首先，研究人员提出了一种方法，利用来自视觉触觉传感器数据的关键点对应，在不需要额外学习的情况下实现精确操作。其次，研究展示了该方法在现实任务中的可行性，证实了其在提高操作精度方面的有效性和可靠性。
三、研究方案
本文的基本假设为，当一个物体被捉住，它的特性，如点，线和纹理，可以被观察到。整体程序分为演示阶段和实行阶段。算法流程见算法1。

呆板人拾起物体，从传感器获取视觉触觉图像并识别与预定义的关键点的对应关系，并进行后续的操作任务。。
关键点匹配方法:为构建实行阶段中的触觉传感器数据构建密集的描述符，研究人员使用了一个预先训练好的视觉Transformer（ViT）来提取作为密集的视觉描述符的特性，充分描述了细粒度的局部语义信息。本文的重点是利用两个关键点来寻找对应关系，以便支持盘算对应点间位置与角度的对应关系。

图2利用从视觉-触觉传感器图像中提取的关键点进行操作过程。
四、实验验证
本文开展了一系列的实验以证实是否可以从视触觉图像中提取关键点对应，位移估计方法的精度，以及本文方法是否可以应用于现实的操作任务。

研究人员首先在Franka Emika Panda一端安装GelSight的GelSight-mini传感器，如图3所示。该传感器打仗范围18mm×24mm，分辨率为240×320，本文将其调整为224×298用于关键点提取。实验中只使用了毗连在呆板人上的两个传感器中的一个进行。本文使用了基于ViT的DINO方法实现特性提取。

图3实验平台一个GelSight-mini传感器，这是一个视觉触觉传感器，被毗连到Franka Emika Panda呆板人的末端实行器上，以获取传感器数据和估计位移

图4齿轮插入任务的物体。呆板人拿起齿轮，并将它们插入到面板上的孔中。
本文第一个实验旨在验证从视触觉传感器捕获的图像中提取关键点对应的有效性，并测量这些关键点与真实位置的偏差。实验的目标任务是在恰当的位置捉住齿轮，以确保乐成插入。呆板人的末端实行器移动并估计插入点的目标位置。在此姿态下，将从触觉传感器获得的图像设置为目标图像，并在目标图像上手动定义关键点。将呆板人的末端实行器定位在姿势上，并在x轴和z轴上的+/- 5mm范围内随机移动，以获得测试触觉图像，最终评估从这些图像中提取的关键点与由操作符识别的关键点之间的偏差，偏差由平均和位移大小衡量。
图5 关键点对应乐成的示例。已实行关键点匹配，将目标图像中的对象的左角与所捕获的触觉传感器数据中的对象的左角相关联。

图6 关键点对应关系不乐成的示例。该关键点匹配已错误地将目标图像中的对象的左角与所捕获的触觉传感器数据中的对象的右角相关联。
本文进行了10次实验，平均误差为1.29 mm，其标准差为0.71mm。图5和图6分别展示了乐成与失败的样例。失败主要源于目标特性超出图像的范围。然而，与基于视觉的方法相比，这种误差幅度相对较小，可有效支持阻抗控制等技术实现目标任务。
第二个实验旨在证实所提出的方法对精确任务的本领，本文对齿轮插入和块对准任务进行了实验，这两种任务都需要毫米级的精度，这是基于外部摄像头的视觉方法无法实现的。本文方法使呆板人通过阻抗控制实现对准。实验乐成地证实了这两项任务的可行性，如图7和图8所示。

图7 接纳该方法的齿轮插入任务快照

图8 利用该方法对块对齐任务进行快照
本文先容了一种利用视触觉传感器图像的关键点映射来提高物体选择和放置任务的精度。这种方法不仅减少了抓取后调整的需要，而且最大限度地减少了对大规模训练的依赖，从而提高了摆设效率。实验证实了可以从视触觉图像中准确提取配对关键点，并可通过阻抗控制等技术实现毫米级的精确操作。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。