Amodal3R ，南洋理工推出的 3D 生成模子
Amodal3R 是一款先进的条件式 3D 生成模子，能够从部分可见的 2D 物体图像中推断并重修完备的 3D 结构与外观。该模子建立在基础的 3D 生成模子 TRELLIS 之上，通过引入掩码加权多头交叉注意力机制与遮挡感知注意力层，利用遮挡先验知识优化重修过程。Amodal3R 仅依赖合成数据进行训练，在实际应用中展现出杰出的性能，显著优于传统的“2D 预测补全 + 3D 重修”两步法，为遮挡场景下的 3D 重修设定了新的标杆。Amodal3R是什么
Amodal3R 是一款条件式 3D 生成模子，旨在从部分可见的 2D 图像中推测并重修完备的 3D 形态和外观。该模子基于“基础”3D 生成模子 TRELLIS 进行开辟，通过引入掩码加权多头交叉注意力机制和遮挡感知注意力层，联合遮挡先验知识来指导重修过程。Amodal3R 仅使用合成数据进行训练，能够在真实场景中表现良好，明显优于现有的“2D 预测补全 + 3D 重修”两步法，为遮挡场景下的 3D 重修树立了新的基准。
Amodal3R的重要功能
[*]遮挡感知的 3D 重修：Amodal3R 能够针对遮挡严峻的 2D 图像，联合可见的 2D 片段信息与语义推测，生成完备的 3D 模子。
[*]逾越现有技术：与传统的“2D 预测补全 + 3D 重修”两步法相比，Amodal3R 在处理遮挡情况下的表现更为突出，建立了新的 3D 重修尺度。
Amodal3R的技术原理
[*]基础 3D 生成模子的扩展：Amodal3R 从一个基础的 3D 生成模子出发，扩展其能力以处理遮挡的 2D 图像，从而恢复公道的 3D 几何形状和外观。
[*]掩码加权多头交叉注意力机制：模子接纳掩码加权多头交叉注意力机制，更有效地处理遮挡问题。该机制通过掩码引导注意力，使得模子在生成过程中更加关注可见部分，同时利用遮挡先验知识推测被遮挡区域的形状与纹理。
[*]遮挡感知注意力层：在掩码加权多头交叉注意力机制之后，Amodal3R 引入了遮挡感知注意力层，进一步加强了模子的性能。
[*]DINOv2 驱动的特征提取：Amodal3R 利用 DINOv2 进行高质量视觉特征提取，提供的特征能为 3D 重修过程提供丰富的上下文信息，帮助模子更准确地进行重修。
[*]合成数据的训练与泛化能力：Amodal3R 仅依赖合成数据进行训练，能够学习在真实场景中，纵然存在遮挡时也能恢复完备 3D 对象的能力。这表明模子具有出色的泛化能力，可以将从合成数据中获得的知识应用于实际场景。
Amodal3R的项目地址
[*]项目官网：https://sm0kywu.github.io/Amodal3R/
[*]HuggingFace模子库：https://huggingface.co/Sm0kyWu/Amodal3R
[*]arXiv技术论文：https://arxiv.org/pdf/2503.13439
Amodal3R的应用场景
[*]加强实际（AR）和假造实际（VR）：在 AR 和 VR 应用中，Amodal3R 能够从部分可见的 2D 图像中重修完备的 3D 模子，为用户提供更加沉浸的体验。
[*]呆板人视觉：在复杂情况中工作时，呆板人经常会碰到物体被部分遮挡的情况。Amodal3R 可以帮助呆板人更准确地明白四周情况中的物体，从而更有效地进行路径规划和任务实行。
[*]主动驾驶：在主动驾驶领域，车辆必要及时感知四周情况中的物体。Amodal3R 可以从遮挡的图像中重修完备的 3D 模子，帮助主动驾驶系统更精准地辨认和处理复杂的交通场景。
[*]3D 资产创建：在游戏开辟、影戏制作及其他必要 3D 资产的领域，Amodal3R 可以从简单的 2D 图像生成高质量的 3D 模子，从而简化 3D 建模流程。
[*]学术研究：Amodal3R 为盘算机视觉和 3D 重修领域的研究提供了新的工具和方法，研究人员可以借助该模子探索更复杂的场景和更高效的重修算法。
常见问题
[*]Amodal3R 是否支持及时处理？：Amodal3R 颠末优化，能够在许多应用场景中提供及时或接近及时的性能。
[*]可以用于哪些范例的图像？：Amodal3R 适用于各种范例的 2D 图像，尤其是那些包含遮挡的图像。
[*]模子的训练数据来源是什么？：Amodal3R 仅使用合成数据进行训练，以确保其在实际场景中的应用效果。
[*]如何获取 AModal3R 的使用权限？：用户可以访问项目官网和 HuggingFace 模子库获取相关信息和下载链接。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]