李飞飞团队新突破：低本钱高泛化呆板人训练法，零样本迁徙成功率90%！ ...

在呆板人训练中，如何高效地利用模拟环境一直是研究者们关注的重点问题。
近日，美国斯坦福大学李飞飞教授团队提出了一种突破性的“数字表亲”（digital cousins）概念。这一创新方法既保留了数字孪生的优势，又大大降低了从真实到模拟环境的天生本钱，同时提高了学习的泛化本领。
“数字表亲”不仅能有用地将真实天下的数据扩展到模拟环境中进行学习，还有望为呆板人训练带来显著进展，为办理长期存在的模拟到现实迁徙问题提供了新的思绪。
项目主页：https://digital-cousins.github.io/论文所在：https://arxiv.org/abs/2410.07408
▍什么是“数字表亲”？与“数字孪生”有何不同?
什么是“数字表亲”？它与我们熟知的“数字孪生”有何不同？
“数字孪生”作为真实场景的精确捏造复成品，固然能够准确地对场景进行建模，但其天生本钱极为昂贵，且无法提供良好的跨域泛化本领。而“数字表亲”则是一种介于数字孪生与完全随机化之间的创新概念。它不直接模拟现实天下的特定对应物，但仍旧能够捕获相似的多少外形和语义功能。
通过这种方式，“数字表亲”大大降低了天生雷同捏造环境的本钱。同时，由于提供了一系列相似但不完全相同的训练场景，它还能提高从模拟到真实环境的迁徙鲁棒性。
“数字表亲”方法的一大亮点在于，它能够同时实现以下三个目标：
1、将单幅图像转换为完全交互式的捏造场景2、全主动处置处罚过程，无需人工注释3、训练出的呆板人计谋可以直接在原始场景中进行零样本部署

这意味着，理论上只需拍摄一张照片，就能完成从现实到捏造再到现实的全流程训练。 研究团队发现，ACDC方法天生的数字表亲场景成功保留了原始环境的多少结构和语义特性。具体而言，这些计谋在零样本迁徙到真实天下时，达到了90%的成功率，远远超过了在传统数字孪生环境中训练的计谋（仅为25%）。
▍ACDC：主动创建数字表亲的核默算法
为了实现“数字表亲”的主动天生，李飞飞教授团队提出了一种名为ACDC（Automated Creation of Digital Cousins）的算法。这个算法包含三个关键步调：

1、信息提取：
从输入的单张RGB图像中提取每个物体的关键信息，包罗位置、大小、朝向等。
2、数字表亲匹配：
利用第一步提取的信息，联合预先预备的3D模子资产库，为检测到的每个物体匹配最合适的数字表亲模子。
3、场景天生：
对选定的数字表亲模子进行后处置处罚和组合，天生一个物理上合理且完全可交互的捏造场景。
ACDC通过这三个阶段，能主动天生在语义层面与输入图片相近但又不尽相同的捏造环境。这为呆板人计谋学习提供了丰富多样的训练场景。

值得注意的是，与数字孪生不同，数字表亲并不追求在所有微小细节上都完美重建给定场景，而是专注于保留更高层次的细节，如物体间的空间关系和语义信息。这种做法不仅降低了计算本钱，还有助于提高学习计谋的泛化本领。
在构建了一组数字表亲场景后，研究团队采用了基于脚本演示的模拟学习方法来训练呆板人计谋。他们实现了包罗打开、关闭、拿取和放置等根本技能，这些技能足以用于网络各种一样平常任务的演示数据，如物体重新排列和操作家具等。
▍实行验证：“数字表亲”的优越性能
为了全面评估"数字表亲"方法的有用性，研究团队设计了一系列实行，旨在回答以下问题：
研究团队通过一系列实行，全面评估了ACDC方法的性能和潜力。他们探究了ACDC从单张RGB图像天生高质量数字表亲的本领，特别关注其捕获原始场景语义和空间细节的准确性。
同时，团队比力了数字表亲和数字孪生在计谋训练方面的结果，既在原始环境中进行评估，也测试了在分布外设置中的表现，以验证数字表亲训练计谋的稳健性和适应本领。
此外，研究还着重观察了这些计谋实现零样本从模拟到现实迁徙的可能性。 场景重建质量评估
起首，研究者们对ACDC天生的场景进行了定量和定性评估。结果表现，ACDC在多个指标上都取得了令人满意的表现：

ACDC在真实到捏造场景转换中的表现通过这些指标得到了量化。值得注意的是，系统能为同一场景天生多个不同的数字表亲版本。

基于这些全面的评估结果，研究团队有充分来由得出积极结论：ACDC确实展现了出色的本领，能够从单一RGB图像出发，创建保留原始场景语义和空间特性的数字表亲。这些捏造复成品不仅在物体辨认上表现出色，还能准确还原其在场景中的位置和尺寸。
这些数据表明，ACDC能够准确捕获输入场景中的语义和空间信息，并天生高质量的数字表亲模子。
sim2sim计谋学习
为了验证数字表亲在计谋学习中的结果，研究团队在三个典型任务上进行了对比实行：开门、打开抽屉和收起碗。实行结果表明：

1、在数字表亲上训练的计谋通常可以匹配，乃至优于数字孪生的表现。 2、随着测试环境与训练环境差异的增大，数字表亲训练的计谋展现出更强的鲁棒性。
3、简单的领域随机化（All Assets）计谋结果较差，阐明"数字表亲"方法的优势。

这些结果证实了数字表亲在保持分布内性能的同时，还能提供更好的分布外泛化本领。
sim2real计谋迁徙
研究团队进行了深入的实行评估，比力了基于数字孪生和数字表亲的计谋在真实天下中的零样本表现。实行任务设定为开启宜家柜门，以成功率作为关键评估指标。

为确保结果的可靠性，模拟环境中进行了超过50次的测试，而在真实环境中则完成了20多次的验证。

real2sim2real全流程验证
在呆板人学习领域，无论采用数字孪生还是数字表亲技术，最终的查验标准始终是真实天下的应用表现。基于这一理念，研究团队在实行的收官阶段选择了一个未经预设的真实厨房环境，对ACDC的完整流程和主动化计谋学习框架进行了全面的端到端测试。
经过在数字表亲环境中的针对性训练后，呆板人成功完成了开启厨房橱柜的任务，有力证实了ACDC方法在真实场景中的适用性和有用性。为了直观展示这一突破，研究团队提供了一个演示视频，展示了数字表亲的全主动天生过程。

实行证实，零样本从模拟到现实（sim2real）的计谋迁徙实行取得了显著成果。仅仅依靠从四个天生的数字表亲中学习的计谋，就能直策应用于相应的真实厨房场景，实现了无缝迁徙。

基于数字表亲训练的计谋展现出了多方面的优势：起首，在原始分布上，其性能与基于数字孪生训练的计谋相当；其次，在面临分布外场景时，表现出了更强的适应本领和鲁棒性；最后，也是最关键的，这些计谋成功实现了从模拟到现实的零样本迁徙，无需额外调整就能在真实环境中有用运作。
这些成果不仅验证了ACDC方法的实用价值，还为呆板人学习在复杂、多变的真实环境中的应用开辟了新的可能性。
▍结论与推测
通过一系列全面的实行，李飞飞教授团队的研究得出了以下紧张结论：
1、ACDC能够快速、主动地天生与单张真实天下RGB图像对应的交互式数字表亲场景。
2、在数字表亲上训练的计谋展现出更强的鲁棒性，特别是在分布外场景中。
3、数字表亲训练的计谋在领域内性能上与数字孪生相当，但在领域外泛化本领上表现更优。
4、数字表亲方法实现了高效的零样本sim2real计谋迁徙。

然而，研究团队也指出了当前方法存在的一些范围性，如在处置处罚高频深度信息、遮挡物体和特别语义种别时可能碰到困难。这些问题为将来的研究指明白方向。

总体来说，李飞飞教授团队提出的“数字表亲”技术为呆板人学习领域带来了新的思绪。这项技术不仅对学术研究具有紧张意义，也为呆板人技术的现实应用开辟了新的可能性。业界将继续关注这一技术的发展，等待它带来更多创新和突破。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。