新媒网 · 跨境数据社区

各位跨境实战精英们，大家好！作为一名深耕跨境多年的老兵，我深知咱们在“出海”过程中，除了市场、运营，技术研发上的每一次突破都意味着成本的节约和效率的提升。今天，咱们就来聊聊机器人仿真领域的一个“大杀器”——英伟达（NVIDIA）的Isaac Lab平台，以及它背后的“硬核”物理引擎Newton。

在机器人研发这条路上，物理仿真一直扮演着至关重要的角色。它就像一个“数字孪生”的实验室，能帮咱们在虚拟世界里精准复刻机器人的一举一动，在真实环境落地前，就安全、高效、经济地完成算法训练、原型设计和控制验证。但大家也清楚，仿真再逼真，和现实之间总有一道“鸿沟”，也就是所谓的“虚实鸿沟”（sim-to-real gap）。要填平这道沟，咱们需要一套统一、可扩展、可定制的解决方案，尤其是要能模拟各种真实的物理效应，还得支持多种求解器。这不，今天咱们就手把手带大家瞧瞧，如何用NVIDIA Isaac Lab和Newton，来训练一只四足机器人“健步如飞”，以及如何用工业机械臂模拟“叠衣服”这样的多物理场复杂操作。

Newton：机器人学习的新引擎，你了解多少？

可能有的朋友对Newton还不熟悉。简单来说，Newton是英伟达、谷歌DeepMind和迪士尼研究院共同研发，并由Linux基金会管理的开源、可扩展物理引擎，旨在推动机器人学习和开发。它基于英伟达Warp和OpenUSD打造，能让机器人更精准、更快速、更灵活地完成复杂任务。

新媒网跨境获悉，Newton与MuJoCo Playground和Isaac Lab等主流机器人学习框架都能完美兼容。Newton的求解器API提供了一个统一的接口，让包括MuJoCo Warp在内的各种物理引擎都能在张量（tensor）数据模型上运行，这在Isaac Lab里集成训练环境时，简直是如虎添翼，流畅得很。

图1. Newton是一个独立的Python软件包，为机器人系统的物理模型和状态提供GPU加速接口。

Newton的核心是用于数值积分和约束求解的求解器模块。这些求解器可能是基于约束的，也可能是基于力学驱动的；可以采用直接法，也可以采用迭代法；还可以使用最大坐标或简化坐标表示。之所以采用统一的接口和共享的数据模型，就是为了确保无论是运行MuJoCo Warp、迪士尼研究院的Kamino求解器，还是你自己定制的求解器，与Newton的交互体验都是一致的。这种模块化设计，还意味着你无需重复编写应用代码，就能重复利用碰撞处理、逆运动学、状态管理和时间步进等逻辑，省心又省力。

为了方便训练，Newton提供了一个基于张量的API，将物理状态以PyTorch和NumPy兼容数组的形式暴露出来，实现了高效批处理，并与Isaac Lab等机器人学习框架无缝集成。通过Newton的Selection API，训练脚本可以查询关节状态、施加动作，并将结果反馈给学习算法——这一切都通过一个统一且一致的接口来完成。

谷歌DeepMind开发的MuJoCo Warp，现在已完全集成到Newton求解器中，同时也是DeepMind技术栈中MJX和Playground的核心动力。这让模型和基准测试能够在Newton、Isaac Lab和MuJoCo环境之间无缝切换，摩擦力极小。最棒的是，Newton及其相关求解器都遵循Apache 2.0许可协议发布，确保了社区可以自由采纳、扩展和贡献。

Newton Beta版本有哪些亮点？

咱们来看看Newton Beta版本带来的硬核升级：

• 速度大提升： 作为Newton的主要求解器，MuJoCo Warp在GeForce RTX 4090显卡上，针对运动控制场景的速度比MJX快了152倍，在操作任务上更是快了313倍。而NVIDIA RTX PRO 6000 Blackwell系列显卡，还能为MuJoCo Warp额外带来44%的速度提升，MJX也能提升75%。这效率，简直是质的飞跃！
• 下一代Isaac Lab后端： Newton Beta作为新一代Isaac Lab的后端引擎，与PhysX相比，在使用MuJoCo Warp进行手部灵巧操作时，速度提升了高达65%。这意味着更快的迭代和更高效的研发。
• 薄形可变形物体处理： Vortex Block Descent (VBD) 求解器对衣物等薄形可变形物体的性能和稳定性得到了扩展，同时，用于颗粒材料的隐式物质点法（MPM）求解器也得到了增强。这让模拟更复杂、更精细的物理互动成为可能。

如何在Isaac Lab中使用Newton训练四足机器人运动策略？

Isaac Lab中集成Newton物理引擎，为咱们机器人研发工作带来了更快速、更稳定的流程。这一部分，咱们就以ANYmal机器人为例，手把手教大家如何端到端地训练一个四足机器人的运动策略，验证其跨仿真器的性能，并为真实世界的部署做好准备。

第一步：利用Newton训练运动策略

首先，咱们得设置好代码仓库，然后利用Isaac Lab中的强化学习脚本，从头开始训练一个策略。在这个例子里，咱们将训练ANYmal-D机器人在平坦的硬质地面上行走，用的是rsl_rl框架。借助GPU并行化技术，我们可以同时在数千个环境中进行训练，让策略迅速收敛。为了获得最佳性能，咱们可以以“无头模式”（headless mode）启动训练，运行以下命令：

./isaaclab.sh -p scripts/reinforcement\_learning/rsl\_rl/train.py --task Isaac-Velocity-Flat-Anymal-D-v0 --num\_envs 4096 --headless

有了Newton Beta版本，咱们现在可以使用全新的轻量级Newton可视化工具，来监控训练进度，而不会像完整的Omniverse GUI那样带来性能开销。只需添加--newton_visualizer这个参数：

./isaaclab.sh -p scripts/reinforcement\_learning/rsl\_rl/train.py --task Isaac-Velocity-Flat-Anymal-D-v0 --num\_envs 4096 --headless --newton\_visualizer

训练完成后，你就会得到一个策略检查点（.pt文件），为下一步做好准备。

图2. 使用Newton可视化工具进行的强化学习训练延时摄影

第二步：通过“虚实迁移”（Sim2Sim transfer）验证策略

“虚实迁移”是一个非常关键的“体检”环节，它能确保咱们辛辛苦苦训练出来的策略，不是过度拟合某一个特定物理引擎的特性。一个能在PhysX和Newton等不同仿真器之间成功迁移的策略，它在真实物理机器人上工作的几率会大大增加。

这里有个小挑战：不同的物理引擎可能会以不同的方式解析机器人的USD模型，甚至对关节的排序也可能不一样。咱们的解决方案是通过一个简单的YAML映射文件，来重新映射策略的观测和动作。如果想在基于PhysX的Isaac Lab中运行一个用Newton训练出来的策略，可以使用提供的迁移脚本：

./isaaclab.sh -p scripts/newton\_sim2sim/rsl\_rl\_transfer.py \\ --task=Isaac-Velocity-Flat-Anymal-D-v0 \\ --num\_envs=32 \\ --checkpoint <PATH\_TO\_POLICY\_CHECKPOINT> \\ --policy\_transfer\_file scripts/sim2sim\_transfer/config/newton\_to\_physx\_anymal\_d.yaml

这个迁移脚本，大家可以在isaac-sim / IsaacLab的GitHub仓库里找到。

第三步：为“虚实落地”（Sim2Real deployment）做准备

工作流的最后一步，就是把在仿真环境中训练好的策略，转移到真实的物理机器人上。在这个例子中，一个针对ANYmal-D机器人的策略完全是在标准的Isaac Lab环境中使用Newton后端进行训练的。训练过程中，我们有意地只使用了物理机器人传感器上可用的观测数据，比如来自IMU和关节编码器的数据（也就是说，训练期间没有使用任何“特权信息”）。

在苏黎世联邦理工学院机器人系统实验室（RSL）的英伟达合作伙伴的协助下，这个策略随后直接部署到了他们的物理ANYmal机器人上。硬件测试结果显示，机器人成功执行了行走步态，这直接证明了从Isaac Lab训练到真实世界系统测试的有效路径。新媒网跨境认为，这一完整的训练、验证和部署流程，清晰展现了Newton如何赋能仿真，最终实现真实世界机器人应用的成功。

Newton独立引擎：玩转多物理场仿真

多物理场仿真，说白了，就是在同一个框架内捕捉刚体（比如机器人手部）和可变形物体（比如布料）之间的耦合交互。这能让咱们对机器人设计、控制和任务性能的评估更真实，数据驱动的优化也更有效。

虽然Newton可以与Isaac Lab协同工作，但开发者也可以直接在Python中以独立模式使用它，进行复杂物理系统的实验。这个实操指南将展示Newton的一个核心功能：模拟具有不同物理属性的混合系统。咱们会探索一个例子，看看一个刚性机械臂如何操纵一块可变形的布料，突出Newton API如何让你轻松地将多个物理求解器结合到一个实时仿真中。

第一步：启动交互式演示

Newton自带了一系列易于运行的示例。Franka机械臂和布料的演示，只需在Newton仓库的根目录下执行一条命令即可启动。首先，确保你的环境已设置好：

# Set up the uv environment for running Newton examples
uv sync --extra examples

现在，运行布料操作示例：

# Launch the Franka arm and cloth demo
uv run -m newton.examples cloth\_franka

这会打开一个交互式查看器，你可以在其中实时观看GPU加速的仿真。Franka-布料演示中采用了基于GPU的VBD布料求解器。它在RTX 4090显卡上能以大约30帧/秒的速度运行，同时保证整个仿真过程中没有穿透现象。与同样强制无穿透动力学的其他基于GPU的仿真器——比如GPU-IPC（基于GPU的增量势能接触求解器）相比，这个示例实现了超过300倍的性能提升，是目前最快的完全无穿透布料操作演示之一。

第二步：理解多物理场耦合的原理

这个演示是多物理场仿真的一个绝佳范例，其中具有不同动力学行为的系统相互作用。这是通过为每个组件分配专门的求解器来实现的。看看example_cloth_franka.py文件，你就能明白这些求解器是如何初始化的：

# Initialize a Featherstone solver for the robot
self.robot\_solver = SolverFeatherstone(self.model, ...)
# Initialize a Vertex-Block Descent (VBD) solver for the cloth
self.cloth\_solver = SolverVBD(self.model, ...)

你可以轻松地切换机器人求解器，只需将SolverFeatherstone更改为支持刚体仿真的其他求解器，比如SolverMuJoCo。

真正“魔法”发生在仿真循环中，这些求解器在这里协同工作。这个例子使用的是单向耦合，即刚体影响可变形体，但反之则不然。这在布料操作这种应用场景中是可以接受的，因为布料对机器人动力学的影响可以忽略不计。仿真循环逻辑非常直接：

1. 更新布料： cloth_solver模拟布料的运动，对来自机器人的碰撞做出反应。
2. 更新机器人： robot_solver推进Franka机械臂的状态。机械臂在这里作为运动学对象。
3. 检测碰撞： 引擎检查新定位的机器人和布料粒子之间是否发生碰撞。

# example\_cloth\_franka.py中仿真循环的简化视图
def simulate(self):
    for \_step in range(self.sim\_substeps):
        # 1. 向前迈一步机器人求解器
        self.robot\_solver.step(self.state\_0, self.state\_1, ...)
        # 2. 检查机器人和布料之间的接触
        self.contacts = self.model.collide(self.state\_0, ...)
        # 3. 迈一步布料求解器，传入机器人接触信息
        self.cloth\_solver.step(self.state\_0, self.state\_1, ..., self.contacts, ...)

这种显式、用户控制的循环展示了Newton API的强大之处，让研究人员能够对不同物理系统如何耦合拥有细粒度的控制。开发团队计划在未来扩展Newton，实现更深层次、更集成的耦合。这包括探索双向耦合，例如机器人行走在土壤或泥浆等可变形材料上，土壤也能对行走的刚体施加力，在这些场景中，两个系统之间动力学效应是相互的。团队还在设想为选定的求解器组合提供隐式耦合，以更自动化地管理系统之间的力交换。

Newton生态系统发展态势如何？

Newton的开放生态系统正迅速扩张，全球顶尖大学和企业都在积极集成专业的求解器和工作流。从触觉感知到布料仿真，从灵巧操作到崎岖地形运动，这些合作都突显了Newton如何为机器人学习提供通用基础，并弥合“虚实鸿沟”。

苏黎世联邦理工学院机器人系统实验室（RSL） 一直积极利用Newton进行土方工程应用中的多物理场仿真，尤其是在重型设备自动化方面。他们使用Newton的隐式物质点法（MPM）求解器来捕捉土壤、砾石和石块等颗粒物与刚性机械之间的相互作用。同时，RSL已将Warp更广泛地应用于机器人和图形学研究，包括用于可部署运动控制的可微分仿真、高斯溅射轨迹优化（FOCI），以及通过GarmentCodeData数据集进行大规模3D服装建模。

Lightwheel 正在通过SimReady资产开发和求解器优化，为Newton做出积极贡献，尤其是在多物理场场景中对土壤和电缆等可变形材料的处理上。下面的演示展示了隐式MPM求解器如何应用于大环境，模拟ANYmal四足机器人在由多种材料组成的非刚性地形上的运动。

北京大学（PKU） 正在通过集成其基于IPC的求解器Taccel，将Newton扩展到触觉领域，用于模拟机器人操纵器的视觉触觉感知。通过利用Newton的GPU加速、可微分架构，北京大学的研究人员能够模拟对触觉和可变形操作至关重要的细粒度接触交互。

Style3D 将其在布料和软体仿真方面的深厚专业知识带入Newton，实现了对服装和具有复杂交互的可变形物体的高保真建模。Style3D求解器的简化版本已经集成到Newton中，并计划开放API，允许高级用户运行涉及数百万个顶点的全尺寸仿真。

慕尼黑工业大学（TUM） 正在利用Newton运行经过训练的灵巧操作策略——这些策略在真实机器人上经过验证后，又在仿真中进行回溯验证，这标志着在闭合仿真与现实循环方面迈出了重要一步。目前，使用MuJoCo Warp在4000个并行环境中训练策略已经实现。下一个里程碑是将策略转移到硬件上，之后再将该框架扩展到使用空间分辨触觉皮肤进行精细操作。

现在就来体验Newton！

Newton物理引擎为机器人研究人员提供了所需的仿真精度，其模块化、可扩展和独立于仿真器的设计，使得将各种求解器耦合起来进行机器人学习变得简单直接。作为一个开源、社区驱动的项目，开发者可以自由使用、分发和扩展Newton——添加自定义求解器，并为生态系统做出贡献。

要开始使用独立的Newton Beta版本，请访问newton-physics / newton的GitHub仓库。你也可以通过实验性的Isaac Lab分支来尝试Newton。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/isaac-lab-robot-training-25-min-ai-strategy.html