利用 NVIDIA Isaac Sim 4.0 和 NVIDIA Isaac Lab 通过 AI 和模仿增强呆板人 ...

目录
NVIDIA Isaac Sim 4.0 的新功能
利用 PIP 安装更快地开始
通过基于向导的导入提高了可用性
附加资产库
PhysX 5.4 的新功能可用于模仿和检查关节
新的模仿功能
增强的物理模仿
更多对传感器模仿的支持
利用 Isaac Lab 加速强化学习 
生态系统采用
Isaac Sim 为 ROS 开辟人员提供更多支持
开始开辟您的呆板人办理方案

---

由物理 AI 驱动的 AI 呆板人时代已经到来。物理 AI 模型可以大概明确其环境并自主完成物理世界中的复杂任务。许多复杂任务（例如灵巧的操纵和在崎岖地形上的人形移动）都难以编程，因此只能依靠在模仿中利用强化学习 (RL) 训练的生成物理 AI模型。
借助基于NVIDIA Omniverse构建的参考应用程序NVIDIA Isaac Sim，开辟人员可以在依照物理定律的虚拟环境中设计、模仿、测试和训练基于 AI 的呆板人和自主呆板。  
NVIDIA Isaac Sim 使团队可以大概生成合成数据、训练呆板人策略并运行多种假设场景，以在部署之前验证整个呆板人堆栈。 
该文章先容了最新的 Isaac Sim 4.0 版本，其中包括NVIDIA PhysX 5.4 和Isaac Lab。Isaac Sim 4.0 现已可供下载，它基于NVIDIA Omniverse Kit 106构建，为开辟人员带来了更大的便利性和对工作流程的控制。 
NVIDIA Isaac Sim 4.0 的新功能

Isaac Sim 4.0 提供了强大的新功能和增强功能，以增强您的呆板人工作流程，其中包括：  

• 利用 PIP 更快地安装
  
• 通过基于向导的导入和系统兼容性检查器提高可用性
  
• 新资产、环境、呆板人、环境传感器 
  
• 新的 PhysX 功能，如模仿关节、TGS 解算器、残差可视化等
  
• 用于强化学习的多 GPU 和多节点功能
  

继续阅读以了解有关这些新功能的更多信息，以及模仿阶段利用的新的 PhysX 和传感器功能。
利用 PIP 安装更快地开始

现在，您可以利用 Python包管理器（例如 PIP）在本地或长途系统上安装 Isaac Sim 。这利用开辟人员认识的相同开辟环境大大加速并简化了安装过程。在基于云的 IDE（例如 Jupyter）中轻松部署 Isaac Sim。
此外，您现在可以利用兼容性检查器应用程序查看系统要求和兼容性。这可以在开始安装过程之前提供即时反馈。 
通过基于向导的导入提高了可用性

每次模仿都从构建虚拟环境以及占据其中空间的呆板人开始。为了加速此过程，Isaac Sim 现在包含一个向导，其中包含在指定环境中导入和调整呆板人的引导过程。该向导有大量其他选项文档，最常见的工具包括 CAD 导入器、传感器、索具呆板人等。 
   

  图 1. Isaac Sim 中的导入向导提供了导入呆板人的相关工具、每个工具的离线说明以及推荐步骤的次序流程
  附加资产库

利用以下新资产进行模仿：

• 预建仓库模型 
  
• 呆板人模型
  
  
  
  • Universal Robots 的 UR20 和 UR30 呆板臂
    
  • 波士顿动力公司推出的
    
  
  
• 人形生物
  
  
  
  • 1X Neo 
    
  • 宇树 H1 
    
  • 敏捷数字
    
  • 傅立叶 GR1
    
  • 庇护所人工智能凤凰
    
  • 小鹏PX5
    
  
  
• 传感器
  
  
  
  • 驱逐
    
  • 生病的 
    
  • 威力登
    
  
  

PhysX 5.4 的新功能可用于模仿和检查关节

一旦场景构建完成并且在环境中设置好呆板人，您就可以在呆板人模型上 利用NVIDIA PhysX 5.4的一些新功能。
例如，模仿关节功能可让您对呆板人中的耦合关节位置进行建模。您现在可以对平行夹持器机构和四连杆机构或平行夹持器或呆板手的呆板耦合元件进行建模。模仿关节可以捕获 URDF 规范关系：
关节位置 = 乘数 * 参考关节位置 + 偏移量。
关节速率受到类似束缚，相互作用是双向的。模仿关节为满意束缚而施加的力会根据乘数（即传动装置）反馈给参考关节。
   

  图 2. 在 Isaac Sim 中模仿的用于呆板人操纵的平行夹持器。模仿关节功能可用于对平行机构进行建模
  物理检查器功能现在可以通过将呆板臂定位到给定模仿场景的特定姿势来创作单个关节和最大关节。团队还可以在现实模仿之前目视检查碰撞和自由度。

图 3. Physics Inspector 用户界面表现 ANYmal 四足步行呆板人的腿部定位调整
新的模仿功能

模仿阶段的一些新功能旨在帮助增强物理和传感器模仿。
增强的物理模仿

物理学是呆板人团体运动和性能不可或缺的一部分。Isaac Sim 4.0 中的新增强功能提供了更好的模仿、可视化和调试工具。 
TGS 解算器的最新更新提供了一种新模式，有助于提高解算器的收敛性和碰撞保真度。借助新引入的解算器选项，TGS 可以考虑重力和其他外力，并在每次 TGS 位置迭代（子步）中表达联合作用，而不是在时间步开始时表达一次。在物理场景高级选项中启用该模式，或利用 USD PhysxSceneAPI EnableExternalForcesEveryIteration属性。
对于高性能模仿，在求解器迭代次数和模仿保真度之间找到得当的平衡点非常告急。新的残差陈诉功能通过在时间步长结束时表现与求解器收敛质量相对应的数据来帮助完成此模仿调整任务。可以在物理场景中以汇总方式查询数据，也可以按关节和最大坐标关节查询数据。

图 4. 移动呆板人越过障碍物，模仿数据可视化工具表现从模仿中得到的残差数据
您不但可以看到解算器残差，还可以利用新的模仿数据可视化窗口监控位置和方向等模仿数据。支持的属性包括身材位置和方向、解算器残差等。有关更多信息，请参阅可视化工具文档。
您现在还可以利用同一 API 查询刚体和关节连杆的线性和角加速率。例如，陈诉的值可用于计算惯性测量单元的模仿输出。
其他功能包括 SDF 碰撞改进、接触摩擦力陈诉等。  
更多对传感器模仿的支持

传感器是呆板人感知堆栈的支柱。Isaac Sim 拥有一个不断增长的真实传感器模型库，可以模仿地面真实感知和基于物理的传感器。 
最新版本包括对非视觉质料的 RTX 支持，其中质料的光学特性现在扩展到非视觉光谱（例如红外线、无线电波和紫外线），从而实现新的更先进的传感器建模。此外，您还可以利用基于 RTX 的雷达，利用新的 RTX 非视觉质料功能集来准确模仿雷达对不同质料类型和环境的响应。
此外，IMU 传感器后端现在与 Tensor API 兼容。这有助于将 IMU 传感器的物理后端与其他 Isaac Sim 传感器和节点同一起来，从而可以大概更划一地访问最新的物理数据。
基于 OmniGraph 的传感器管道的性能改进包括通过仅在需要时运行管道而不是每帧运行管道来镌汰管道开销。
利用 Isaac Lab 加速强化学习 

Isaac Lab 建立在 Isaac Sim 之上，是一个同一、模块化、开源的呆板人学习框架，旨在简化强化、模仿和演示学习以及运动规划等常见工作流程。它整合了 Orbit 的功能，Orbit 是一个开源框架，由 NVIDIA、AI 研究所、苏黎世联邦理工学院和多伦多大学联合开辟。
Isaac Lab 帮助团队扩展规模，利用 PyTorch 分布式框架在 Linux 上进行多 GPU 和多节点训练。这些作业可以通过OSMO轻松跨异构环境扩展，OSMO 是一个云原生编排平台，用于调度复杂的多阶段和多容器异构计算工作流。
当在多个 GPU 上运行时，利用多个 GPU 可实现更高的 rollout FPS（如图 5 所示）。更高的 FPS 意味着可以在相同的时间内生成更多的轨迹和体验，从而为模型提供更丰富的数据集以供学习。与在单个 GPU 上进行训练相比，该模型可以更快地收敛并实现更高的性能程度。

图 5. 利用多个 GPU 进行强化学习的每秒生成帧数性能比力
在强化学习中，呆板人必须执行大量彼此独立的场景。当这些呆板人在多个摄像头上执行任务时，可视化它们的进度大概非常繁琐 - 但平铺渲染有助于在单一视图中可视化全部这些场景。平铺渲染的工作原理是连接来自多个摄像头的摄像头输出并渲染一个大图像，而不是每个摄像头生成的多个小图像。 
   

  图 6. 平铺渲染将多个摄像头的输出组合成一张大图像
  此外，对于具有许多环境的大型 RL 场景，与之前的版本相比，PhysX 5.4 中的新优化可将环境克隆速率提高 3 倍。
生态系统采用

1X、Agility Robotics、The AI Institute、Boston Dynamics、Fourier、Galbot、LimX Dynamics、RobotEra、Sanctuary AI 和 UBTECH 等领先的呆板人开辟商正在整合 Isaac Lab 来开辟他们的下一代呆板人和人形呆板人。其中许多公司已经利用 Isaac Sim 在现实环境中测试他们的呆板人并生成用于模型训练的合成数据。
详细了解波士顿动力公司与 NVIDIA 和人工智能研究所合作开辟 Spot强化学习研究套件。该套件结合了先进的模仿、NVIDIA Jetson AI 技术和准确的呆板人控制，可高效地将四足动物从虚拟环境过渡到现实世界的应用。
Isaac Lab 在 BSD-3 许可下开源，可通过GitHub 上的isaac-sim/IsaacLab获取。 
Isaac Sim 为 ROS 开辟人员提供更多支持

最新版本的 Isaac Sim 为 ROS 开辟人员提供了丰富的新功能，使在 Isaac Sim 中测试和模仿呆板人变得前所未有的简朴。首先是增强了可用性，支持从 ROS2 节点导入 URDF，可以在 URDF 文件或包含呆板人形貌的 ROS2 节点之间切换。对于 Cyclone DDS 用户， Isaac Sim在 Linux 上支持Isaac ROS 或 Nav2 相关工作流程。 
其他新功能包括：

• 通过 ROS2 启动支持简化和改进端到端工作流程
  
• ROS2 服务质量，用于利用 QoS 设置配置任何 ROS 订阅者或发布者
  
• 支持 ROS2发布者/订阅者和服务器/客户端的任何可用消息类型。这可用于与系统中安装的任何可用消息以及自定义消息进行交互。
  

开始开辟您的呆板人办理方案

要吸收以下附加资源和参考架构的更新以支持您的开辟目标，请注册NVIDIA 开辟者操持。 

• NVIDIA Isaac ROS基于开源ROS 2 软件框架构建，是一组加速计算包和 AI 模型，为世界各地的 ROS 开辟者带来 NVIDIA 加速。
  
• NVIDIA Isaac Sim是基于NVIDIA Omniverse构建的参考应用程序，可让开辟人员在基于物理的虚拟环境中设计、模仿、测试和训练基于 AI 的呆板人和自主呆板。它包括NVIDIA Isaac Lab，这是一款用于呆板人学习的轻量级应用程序。
  
• NVIDIA Isaac Perceptor，自主移动呆板人 (AMR) 和自动导引车 (AGV) 的参考工作流程。
  
• NVIDIA Isaac Manipulator为工业呆板臂提供了新的底子模型和参考工作流程。
  
• NVIDIA Jetson是自主呆板和嵌入式应用程序的领先平台。
  

关注LinkedIn、Instagram、X和Facebook 的最新动态。欣赏NVIDIA 文档和YouTube频道，并加入NVIDIA 开辟者呆板人论坛。通过Isaac ROS和Isaac Sim的自定进度培训和网络研讨会了解更多信息。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。