基于AI的3D场景重建技术新突破！破局自动驾驶端到端仿真 ...

场景的保真度，对于自动驾驶仿真和合成数据天生至关重要，场景重建保真度不敷，将极大地制约高阶自动驾驶系统的训练效果。同时，在用于训练大模子和具身智能的合成数据范畴，同样对低成本的高保真场景有巨大的需求。
在此配景下，依附多年的技术积聚，51WORLD旗下AI合成数据及仿真平台公司51Sim基于AI算法，将3D Gaussian Splatting与传统图形渲染技术创新融合，不但攻克了3DGS技术泛化本领不敷等“卡脖子”困难，实现了在拟真度方面的突破性进展，还明显进步了自动驾驶系统的训练质量及仿真的置信度。

▍“端到端”自动驾驶对高保真场景需求迫切

目前已量产的智能驾驶，大多数采用的都是模块化架构：将智能驾驶拆分成感知、预测、规划等典范任务，并交给专门的AI模子或模块来处理惩罚。由于系统中包罗多个模子，因而需要对每个模子都举行专门的训练、优化和迭代。而端到端架构，则是通过一个模子来实现，因此能够更加高效和低成本地聚焦焦点功能，这也让端到端办理方案正逐渐成为主流。
端到端方案对于高保真场景的需求更加迫切，由于端到端系统需要能够在各种复杂场景中自若应对，需要将大量标注有自动驾驶活动的视频投入自动驾驶训练。然而传统的3D场景仿真技术因为场景的真实感不敷、多样性欠缺和成本高等问题，已无法完整满足端到端落地的需求。
针对这一近况，51Sim创新性地将3D Gaussian Splatting通过AI算法融合到传统图形渲染引擎中，在拟真度方面取得了突破性进展。这项技术重新界说了高保真3D场景的重建标准，通过提拔仿真的真实感、弥补了单一技术的不敷并大幅降低了场景重建的成本。

▍3D Gaussian Splatting 技术

3D高斯泼溅（3D Gaussian Splatting, 简称3DGS）是用于实时辐射场渲染的3D 高斯分布描述的一种渲染技术，通过将多视角图像表现的三维场景转化为各向异性3D高斯点云表现的场景，并能通过参数优化和密度控制来进步重建质量。
3DGS在渲染速率、图像质量、定位精度等方面呈现出了非常优秀的表现，全面补足了NeRF的短板。同时，基于3DGS的重建场景能够1:1复刻在真实智驾上发现的边缘场景（Corner Case），通过动态场景泛化，提拔端到端智驾系统应对Corner Case的本领。

3DGS重建场景

尽管3DGS在创建高质量渲染方面表现精彩，但在动态场景交互和细节保留方面存在一些局限性。比方，3DGS在处理惩罚大规模场景和动态物体时，大概会出现细节缺失、伪影和泛化本领不敷的问题。
因此，目前3DGS还难以在复杂的自动驾驶场景中实现高效的落地应用。

▍51Sim融合方案突破3DGS技术局限

针对3DGS在实际应用上的短板，51Sim依附多年在仿真范畴的技术积聚，将3DGS通过AI算法驱动与传统图形渲染技术融合，突破了单一技术的局限。

在通过3DGS点云建模的基础上，通过优化的AI融合算法，将静态3DGS场景与51Sim此前积聚的静态场景库、动态的交通场景库和各类传感器仿真举行了自然融合，确保了整体场景的连贯性和视觉真实感，并实现了场景丰富度指数级增长。同时，利用先辈的全局渲染技术，天生高质量视图，确保多相机视角的一致性和高保真度，实现了逼真的渲染效果。

3DGS融合动态、静态交通要素

融合光照天气

▍应用场景覆盖各类具身/非具身智能范畴

51Sim融合方案具有高质量和实时渲染的本领，高保真的模拟场景不但进步了自动驾驶系统的训练质量，还明显提拔了仿真的真实性，使其险些可以达到肉眼难辨的程度，大幅提拔了仿真的置信度，并弥补了3DGS在细节和泛化本领的不敷，这也是目前行业内首例真正可用于自动驾驶仿真的3DGS办理方案。

BEV多摄像头视频天生

除自动驾驶范畴的应用之外，该方案还能天生高质量合成数据用于视频大模子训练，助力AI大模子公司以提拔文生视频的训练效果。

Future

高保真场景重建，将仿真置信度提拔到了新的高度，对于端到端自动驾驶的进化与落地具有关键意义。未来，51Sim 将连续迭代3DGS融合技术，为AI训练提供充足的数据燃料，赋能更广泛的行业应用。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。