ECCV2024｜港中文提出文本生成3D方法DreamDissector，能够生成具有交互的多
DreamDissector 是一种文本生成3D对象的方法，通过将多对象文本生成的NeRF输入并生成独立的纹理网格，提供了对象级别的控制和多种应用可能性。https://img-blog.csdnimg.cn/img_convert/18a3ba3d582f95e4023352f41a145e47.png
DreamDissector 可以生成具有合理交互的多个独立纹理网格，方便各种应用，包括对象级别的文本引导纹理、通过简单操作方便的手动用户多少编辑以及文本引导的可控对象更换。
https://img-blog.csdnimg.cn/img_convert/71ec1c099f1530331dd8e146e2a7570b.png
https://img-blog.csdnimg.cn/img_convert/fba2de5d29ff602ca6579c79b6c68186.png
干系链接
论文地址：https://arxiv.org/abs/2407.16260
代码地址：https://chester256.github.io/dreamdissector（即将推出）
论文阅读
https://img-blog.csdnimg.cn/img_convert/3bd45ed00e67a53c6e695294ec332c38.png
DreamDissector：从 2D 扩散先验学习解开文本到 3D 的生成
择要
文本到 3D 生成最近取得了重大希望。为了加强其在现实应用中的实用性，生成具有交互的多个独立对象至关紧张，类似于 2D 图像编辑中的层合成。然而，现有的文本到 3D 方法难以完成这项使命，因为它们旨在生成非独立对象或缺乏空间上合理交互的独立对象。
为相识决这个问题，我们提出了 DreamDissector，这是一种能够生成具有交互的多个独立对象的文本到 3D 方法。DreamDissector 接受多对象文本到 3D NeRF 作为输入并生成独立的纹理网格。为了实现这一点，我们引入了神经种别场 (NeCF) 来解开输入的 NeRF。别的，我们提出了由深度概念发掘 (DCM) 模块促进的种别分数蒸馏采样 (CSDS)，以解决扩散模子中的概念差距问题。通过利用 NeCF 和 CSDS，我们可以有效地从原始场景中得出子 NeRF，进一步细化可以加强多少和纹理。
我们的实验结果验证了 DreamDissector 的有效性，为用户提供了在对象级别控制 3D 合成的新方法，并可能为未来各种创意应用开辟途径。
方法
https://img-blog.csdnimg.cn/img_convert/9fd1633946d9c02a84399bbe512b58cf.png
我们以由粗到精的方式生成多个独立的交互式 3D 对象。起首，我们渲染输入的文本到 3D NeRF 的视图以举行深度概念发掘 (DCM)，从而获得 T2I 扩散模子和相应的文本嵌入。然后，我们利用发掘出的嵌入和 T2I 扩散模子，利用种别分数蒸馏采样 (CSDS) 来训练神经种别场 (NeCF)。在解开输入的 NeRF 后，我们将子 NeRF 转换为 DMTets 并对其举行微调以进一步细化。最后，我们导出具有改进的多少形状和纹理的独立外貌网格。
https://img-blog.csdnimg.cn/img_convert/75c6645249ced5981c85e8a6b828aa28.png
左图：扩散模子中的概念差别。文本提示是“一只黑猩猩正在通过望远镜观察”。右图：深度概念发掘 (DCM) 概述。我们利用掩蔽扩散损失对文本嵌入和 T2I 扩散模子举行微调。
结果
定性结果
https://img-blog.csdnimg.cn/img_convert/4d60f6f9fda92af6a475fca3588e579f.png
https://img-blog.csdnimg.cn/img_convert/ce4c6211cf655d2f0254b02caae6e93c.png
与两条基线比较。我们展示了独立的对象 便于比较。
https://img-blog.csdnimg.cn/img_convert/d5f580a35a34997e8e1a52d4a862f02e.png
利用不同的计谋来解开 NeRF。我们的 DCM CSDS乐成解开了子 NeRF，而 SA3D 和 vanilla CSDS 在某些情况下会失败。
https://img-blog.csdnimg.cn/img_convert/f619a215dcd3c3b6d3814f3a10ed195f.png
DCM细化表示图。(a) 与伪影排除纠缠的NeRF; (b)原始稳固扩散采样图像(SD)， (c) DCM采样图像(SD)， (d)由于对原始SD举行微调而产生的不良结果，以及(e) DCM SD固定的伪影。
https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Ffiles.mdnice.com%2Fuser%2F67521%2F1fc900c7-dfdf-479e-890d-231d4545ba78.png&pos_id=oOdKP6ri
https://img-blog.csdnimg.cn/img_convert/77b2c463f7c7f94ceb0efa90f639614f.png
文本引导纹理编辑的应用表示图。
https://img-blog.csdnimg.cn/img_convert/506d90742ae0e81b5b8be2541f07a4e2.png
文本引导对象更换的应用表示图。
https://img-blog.csdnimg.cn/img_convert/ffd67af22e14643abfc6ea23ad8e6ea8.png
多少编辑的应用说明。
更多结果
https://img-blog.csdnimg.cn/img_convert/fdea66a1be597b7e51df1180b20d87d4.png
https://img-blog.csdnimg.cn/img_convert/e6a1975918da85089b0f1ec6032a2507.png
https://img-blog.csdnimg.cn/img_convert/eb58ff1166432586ef2682a42f79b926.png
结论
我们提出了 DreamDissector，这是一个新奇的框架，旨在生成由文本引导的多个独立交互的对象。DreamDissector 将多对象文本到 3D 神经辐射场 (NeRF) 作为输入，并生成多个纹理网格。我们引入了神经种别场 (NeCF)，这是一种能够将输入 NeRF 分解为多个子 NeRF 的体现。为了训练 NeCF，我们提出了种别分数蒸馏采样 (CSDS) 损失。别的，我们观察到 2D 扩散模子中的概念差别问题，这会低沉解缠性能。为相识决这个问题，我们引入了深度概念发掘 (DCM) 来微调文本嵌入和 2D 扩散模子，从而有效地导出子 NeRF。别的，我们提出了一个两阶段细化过程来进一步细化多少和纹理，从而加强真实感。实验结果和进一步的应用展示了 DreamDissector 在现实场景中的有效性和实用性。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]