RoboMIND：多表现基准 机器人操纵的智能规范数据

      

       我们先容了 RoboMIND，这是机器人操纵的多表现智能规范数据的基准，包括 4 个实施例、279 个差别任务和 61 个差别对象类别的 55k 真实天下演示轨迹。      

工业机器人企业
   埃斯顿自动化 | 埃夫特机器人 | 节卡机器人 | 珞石机器人 | 法奥机器人 | 非夕科技 | CGXi长广溪智造 | 大族机器人 |  越疆机器人 | 优艾智合机器人 | 阿童木机器人 | 盈连科技 | 松灵机器人
  服务与特种机器人企业
   亿嘉和 | 晶品特装 | 九号机器人 | 普渡机器人 | 机器姬 | 猎户星空 | 七腾机器人
  医疗机器人企业
   元化智能 | 天智航 | 思哲睿智能医疗 | 精锋医疗 | 佗道医疗 | 真易达 | 术锐®机器人 | 罗森博特 | 磅客策 | 柏惠维康 | 迪视医疗
  人形机器人企业
   优必选科技 | 宇树 | 达闼机器人 | 云深处 | 理工华汇 | 傅利叶智能 | 逐际动力 | 乐聚机器人 | 星动纪元 | 天链机器人| 中科深谷  | 大象机器人| 伟景机器人 | 众擎机器人 | 开普勒人形机器人 | 数字华夏 | 帕西尼感知
  具身智能企业
    跨维智能 | 银河通用 | 千寻智能 | 方舟无限 | 微亿智造 | 睿尔曼智能 | 灵心巧手
  核心零部件企业
   绿的谐波 | 因时机器人 | 脉塔智能 | 锐驰智光 | 地平线 | 本末科技 | NOKOV度量科技 | 青瞳视觉 | 因克斯 | 蓝点触控 | 福德机器人 | 巨蟹智能驱动 | 鑫精诚传感器 | 思岚科技 | 宇立仪器 | 极亚精机 | 神源生
  教育机器人企业
   硅步机器人 | 史河科教机器人 | 大然机器人
  

伴随着环球人工智能技术飞速进步，具身智能财产迅猛发展，赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一，实现这一目标的关键在于怎样使各类机器人本体在面临多样化的情况和任务时，能够展现出杰出的性能。
正如ChatGPT必要海量文本数据来练习一样，想要造就出一个能力全面的机器人，也必要大量优质的练习数据，数据集是具身智能技术发展的重要基石。与视觉或语言数据的获取相比，网络机器人练习数据远比网络文本或图像数据困难过多，必要在专门的情况中记载机器人的每个关节动作和末端执行器的信息，这个过程不仅必要昂贵的硬件装备，还需投入大量人力来确保数据质量，因而业内现在最具通用性的机器人操作策略主要依赖于在有限多样性条件下网络的数据，大规模多构型具身智能数据集和Benchmark是极为稀缺的资源。
为了解决这个困难，国家地方共建具身智能机器人创新中央与北京大学计算机学院联合推出了一个大规模多构型智能机器人数据集和Benchmark——RoboMIND，捕捉机器人面临复杂情况、长程任务时的各种交互和经验，从而促进能够掌握差别操作策略的通用模型的练习。RoboMIND包罗5万5千条机器人轨迹数据，涉及279项差别的任务，涵盖了高达61种差别的物体，覆盖了家居、厨房、工厂、办公、零售等大部分生活服务场景。此外，该数据集包罗根据真实场景搭建的数字孪生场景，进一步丰富和扩充了此数据集的多样性，同时提升数据收罗服从。机器人构型包罗单臂机器人、双臂机器人、人形机器人，手臂末端使用夹爪大概灵巧手。为了评估RoboMind数据集的质量，研究团队在主流单任务模拟学习模型上（如ACT）和具身多模态大模型上（如OpenVLA、RDT-1B）举行了广泛的评测，发现RoboMIND数据集可以有效提升模拟学习模型在实际场景下任务的乐成率。该评测得到了北京智源人工智能研究院的大力支持。
RoboMIND为机器人操作模型的练习提供了一个高质量、广泛多样的数据底子，旨在提升机器人在复杂情况中的操作能力和适应性。通过大规模、多样化的数据集，机器人模型能够更好地适应各种任务和情况变化，从而推动通用机器人技术的发展。

RoboMIND 数据分析

      

    数据集概述。（a） 按实施例分类的总轨迹，（b） 按实施例分类的轨迹长度，（c） 按任务类别分组的总轨迹，以及 （d） 基于对象使用场景的总轨迹。
      

    RoboMIND 中的对象分布，覆盖大多数一样平常生活情况：家庭、工业、厨房、办公和零售。
      

    左图：四个实施例中跨任务的技能计数的直方图。AgileX 任务通常涉及两个或三个组合技能，从而扩展了任务范围。同时，天功任务的长度各不雷同，有些任务每个任务最多包罗五个技能。右图：我们使用 AgileX 机器人可视化 AX-PutCarrot 任务，该任务涉及三种差别的技能。
      

    语言形貌注释。我们为 10,000 个乐成的机器人运动轨迹提供精致的语言注释。
      

    失败数据网络案例的可视化。我们展示了 Franka 和 AgileX 的两个失败示例。在 FR-PlacePlateInPlateRack 任务（第二行）中，Franka 机械臂无法与插槽对齐，导致印版因操作员干预而滑动。在 AX-PutCarrot 任务（第四行）中，AgileX 夹持器不测打开，胡萝卜掉落。在质量检查期间筛选掉了这些失败情况，以保持数据集质量。
  

 

RoboMIND 实验

我们接纳四种流行的模拟学习方法举行综合实验，包括 ACT、 BAKU、RDT-1B 和 OpenVLA 在选定的 RoboMIND 任务上评估其性能和局限性。实验视频如下：1.ACT on Single Tasks 的乐成示 例     2.RTD-1B 在多任务设置上的乐成案例    3.OpenVLA 多任务设置乐成案例
我不试睡神的个人空间-我不试睡神个人主页-哔哩哔哩视频哔哩哔哩我不试睡神的个人空间，提供我不试睡神分享的视频、音频、文章、动态、收藏等内容，关注我不试睡神账号，第一时间了解UP自动态。一个喜好网络视频的大学生。

https://space.bilibili.com/397174233/channel/collectiondetail?sid=4427523&spm_id_from=333.788.0.0

咨询泉源：官方网站RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。