开源天生式物理引擎Genesis，可模拟世界万物

这是天生大模子时代 —— 它们能天生文本、图像、音频、视频、3D 对象…… 而假如将所有这些组合到一起，我们可能会得到一个世界！
现在，不管是 LeCun 正在探索的世界模子，还是李飞飞想要攻克的空间智能，又或是其他研究团队提出的其它雷同概念，我们都毫无疑问地在离这个世界越来越近。
2024年12月24日，Genesis横空出世。
据项目贡献者 CMU 机器人研究所博士生 Zhou Xian 和领导者 Chuang Gan 教授在 X 上分享的内容看，该项目淹灭了 2 年多时间，国内外近 20 家机构到场了内部测试，最终这个团结团队得到的 Genesis 天生式物理引擎可以天生 4D 动态世界，而其基础是一个用于通用机器人和物理 AI 应用的物理模拟平台。

Genesis，意为「创世纪」，从名字也能看出，这或许真是一个新世界的出发点。
Genesis是什么？

Genesis是卡内基梅隆大学、马里兰大学、斯坦福大学、麻省理工学院等研究机构团结推出的开源天生式物理引擎，能模拟世界万物。
Genesis能用简朴的语言描述，快速天生精确的物理模拟，包括物体运动、人物动作和机器人策略等。引擎的特点在于高度的物理正确性、快速的模拟速度(比实际世界快约43万倍)，及用户友好的Python化设计。
Genesis能模拟各种质料和物理现象，提供一个轻量级、超快速的机器人仿真平台，及一个强大而快速的照片级写实渲染系统。
Genesis能将用户的天然语言描述转换为数据模式，用在天生式数据引擎。
Genesis为通用机器人、具身AI和物理AI应用而设计，预示着物理模拟和机器人技能范畴的重大进步。
Genesis主要功能

• 物理模拟:模拟各种质料和物理现象，包括物体的运动、碰撞、流体动力学等。
  
• 机器人仿真:提供轻量级、超快速的机器人仿真平台，支持多种机器人范例，如机械臂、腿式机器人、无人机、软体机器人等。
  
• 照片级渲染:拥有强大而快速的照片级写实渲染系统，能天生高质量的视觉输出。
  
• 天生式数据引擎:将用户的天然语言描述转换为数据模式，用在天生模拟场景。
  
• 交互式3D场景:支持完全交互式的3D场景天生，包括家居室内场景、游戏环境等。
  
• 开放世界物体天生:能天生开放世界中的铰接式物体，提供高质量的mesh资产软体。
  
• 机器人模拟:针对软性机器人实现逼真的模拟，如虫、柔软的抓手等。
  
• 面部动画和语音同步:天生面部动作和表情，与语音同步，实现逼真的面部动画。
  

Genesis的技能原理

• 通用物理引擎:从头开始构建，集成各种物理求解器，如刚体、MPM(物质点方法)、SPH(光滑粒子流体动力学)、FEM(有限元方法)、PBD(位置基动力学)等，实现精确的物理拟。
  
• 天生Agent框架:在核心物理引擎之上运行，用在主动化数据天生，包括视频、摄像机运动、脚色动作、机器人策略等。
  
• 可微分仿真:支持可微分仿真，让仿真过程与机器学习算法团结，用在训练和优化。
  
• 多模态集成:将物理模拟与视觉渲染、动作捕捉、语音合成等多模态技能集成，实现全面的模拟体验。
  
• 跨平台兼容性:设计为可在不同操纵系统和计算后端(如CPU、Nvidia GPU、AMD GPU、Apple Metal)上运行。
  

Genesis应用场景

• 机器人仿真训练:模拟复杂环境，训练机器人在实际世界中执行任务。
  
• 游戏物理引擎:在游戏开发中，创建逼真的物理效果和脚色动作。
  
• 影戏殊效制作:模拟逼真的物理破坏和动态效果，用在影戏后期制作。
  
• 科学研究模拟:在物理学和工程学研究中，模拟实验和测试理论。
  
• 虚拟教学平台:在教育范畴，创建虚拟实验室，辅助物理和科学教学。
  

固然，也能用于天生训练用的主动驾驶场景数据。
接下来，我们看看详细的示例展示。

天生4D动态物理世界

Genesis 物理引擎由基于 VLM 的天生式智能体提供支持，该智能体使用模拟基础设施提供的 API 作为工具来创建 4D 动态世界，然后将其用作提取各种模式数据的基础数据源。
团结天生相机和物体运动模块，Genesis 能够天生物理上精确且视图一致的视频和其他情势的数据。并且，Genesis 还支持模拟各种不同的质料，包括刚体、铰接体、布料、液体、烟雾、可变形体、薄壳质料、弹性 / 塑性体、机器人肌肉等。
模拟一层巧克力酱，天然不在话下。

绞碎泡沫的质感看起来也非常真实。

星球与太空船的质感也非常高，看起来就像是来自一部大制作的科幻影戏。

子弹击破水球的物理过程就好像真的是来自设备良好的高速摄影。

一壶字母糖，看起来很 Q 弹。

对充气人偶的模拟也恰到好处，同样也非常幽默地模拟实际状况。

脚色动作天生

有了如此高质量的物理引擎，对于游戏制作业来说也是好消息，很多复杂的动作和效果都可以通过提示词来快速天生了：

提示：手持棍棒的迷你版悟空在桌面上飞奔 3 秒，然后跳到空中，落地时右臂向下摆动。镜头从他的脸部特写开始，然后稳定地跟随脚色，同时逐渐缩小。当悟空跳到空中时，在跳跃的最高点，动作停息几秒钟。镜头围绕脚色 360 度旋转，然后迟钝上升，然后继承动作。
设计动作的时间本钱一下子就被打下来了。

机器人策略天生

Genesis 可以利用天生式机器人智能体和物理引擎主动天生不同场景下各种技能的机器人策略和演示数据。这意味着研究职员可以在仿真环境中快速得到符合物理规律的机器人动作方案，并将其可靠地迁移到实体机器人上。
下面展示了一些不同形态的机器人执行不同任务的示例。

提示：一个移动的 Franka 机械臂使用碗和微波炉做爆米花

提示：宇树 Go2 四足机器人在雨中奔跑 (Sim)

比如，从提示词到在仿真环境中的动作策略，再迁移到实体机器人上，可以如此丝滑：

提示：宇树 H1-2 人形机器人向前行走 (Sim2Real)

做倒立需要精确平衡控制和浑身和谐，这么高难度的动作，现在也可以通过 Genesis 来实现 Sim2Real：

提示：四足机器人用前两条腿做倒立 (Sim2Real)

倒立不够，在 Genesis 的助力下，机器狗还能更快地学会「体操技巧」，稳稳地做两个直体后空翻：

四足机器人连着后空翻两次 (Sim2Real)

像拉椅子这样要和真实世界里的物体交互的动作，也没问题：

大型欠驱动机器人的运动操纵 (Sim2Real)


3D完全交互式场景天生

Genesis 的天生框架支持天生 3D 和完全交互的场景，这些场景可用于训练机器人技能。

     家庭室内场景，有客堂（包括用餐区）、卫生间、书房和卧室。

餐厅内部


开放世界铰接物体天生

Genesis 也能天生具有铰接结构的物体及其交互过程，比方汽车开关门、打开合上条记本电脑、折叠金属刀片。

软体机器人

Genesis 还是首个为软肌肉和软机器人及其与刚性机器人的交互提供全面支持的平台。Genesis 还附带雷同 URDF 的软机器人配置系统。官方还提供了一个相干教程：https://genesis-world.readthedocs.io/en/latest/user_guide/getting_started/soft_robots.html

Genesis 也能模拟带有软皮肤和刚性骨骼的肴杂机器人。

语音音频，面部表情和情绪天生

音频以及面部表情也是 Genesis 想要整合的模态，下面展示了两个示例：

人物情绪从中性转变为愤怒，然后再转变为快乐。 

 Genesis 将情绪的转变泛化到不同的面部

结语
最后，Zhou Xian 展示了一个用 Genesis 打造的俄罗斯方块游戏，此中的方块是果冻材质的，并且能以符合实际的物理规律运动。

我们以前可能也刷到过雷同的视频，但那些是视频殊效师们经心制作的效果，而现在 Genesis 已经可以一键导出，并进一步转化为真实可实现的技能突破。
淦创教授在 X 上分享了自己到场这个项目的经历：自 2018 年以来，我决定将自己的研究重点从视觉转向具身 AI，因为我着迷于创建能够与物理世界和其他具有雷同人类机动性的智能存在交互的通用智能体——我们将这个范畴称为具身 AGI（embodied AGI）。
他还写到：「说真话，偶然候我觉得这个模拟器可能太先辈了，不能发布，但我们相信让它完全开源并围绕我们的使命建立一个强大的社区是至关重要的！请加入 Genesis 社区！我们希望让机器人学研究社区相信『Generative Physics Simulator is all You Need』
 

Genesis项目地址

项目官网:Genesis

https://genesis-embodied-ai.github.io/?utm_source=ai-bot.cn
GitHub堆栈:GitHub - Genesis-Embodied-AI/Genesis: A generative world for general-purpose robotics & embodied AI learning.A generative world for general-purpose robotics & embodied AI learning. - Genesis-Embodied-AI/Genesis

https://github.com/Genesis-Embodied-AI/Genesis

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。