IT评测·应用市场-qidao123.com

标题: 论文阅读笔记——Learning Fine-Grained Bimanual Manipulation with Low-C [打印本页]

作者: 惊雷无声    时间: 2025-3-11 04:16
标题: 论文阅读笔记——Learning Fine-Grained Bimanual Manipulation with Low-C
ALOHA 论文
   ALOHA 办理了策略中的错误可能随时间累积,且人类演示可能是非平稳的,提出了 ACT(Action Chunking with Transformers) 方法。
  Action Chunking

模拟学习中,compounding error 是致使任务失败的主要原因。具体来说,当智能体(agent)在测试时遇到训练集中未见过的情况时,可能会产生预测误差。这些误差会渐渐累积,导致智能体进入未知状态,终极任务失败。ALOHA 通过引入 Action ChunkingCVAE(Conditional Variational Autoencoder)来办理这一标题,显著淘汰了错误累积的影响。
在传统的模拟学习中,策略模子通常预测单步动作                                                    π                               θ                                      (                                       a                               t                                      ∣                                       s                               t                                      )                                  \pi_\theta(a_t|s_t)                     πθ​(at​∣st​),即根据当前状态                                              s                            t                                       s_t                  st​​ 预测下一个动作                                              a                            t                                       a_t                  at​。然而,这种单步预测的方式容易导致误差累积,尤其是在长时间任务中。

为了减小 compounding error,引入了 Action Chunking,具体来说,模子不再预测单步动作,而是预测一个动作序列。
具体步骤如下:

CVAE

对于 Action Chunking 中的预测,接纳 condition + VAE 的方式训练,并接纳 encoder-decoder 架构(transformer)。

输入信息包括:(此处不使用图像输入时为了加速训练)

伪代码如下:



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4