NVIDIA Omniverse NuRec实操：5步吃透3D场景重建加速!

将真实世界的环境转化为可交互的模拟场景，过去可能需要耗费数天甚至数周的时间。但现在，借助英伟达（NVIDIA）Omniverse NuRec和3DGUT（3D Gaussian with Unscented Transforms），你就能从简单的传感器数据中重建出照片级的3D场景，并将其立即部署到NVIDIA Isaac Sim或CARLA模拟器中。新媒网跨境了解到，这种技术的进步，无疑将大大加速机器人和自动驾驶等领域的研究和开发进程。

下面，就让我们一起看看如何捕捉真实世界的数据，训练重建模型，并将结果加载到Isaac Sim中。

如何从照片创建交互式模拟

神经重建技术使得在逼真的模拟环境中进行高效的机器人训练成为可能，从而改善了从模拟到真实的迁移过程。以下步骤将神经重建和渲染过程简化为一个可以在不同环境中使用的流程。

图1. 使用Omiverse NuRec创建的用于机器人训练的模拟场景示例

步骤1：捕捉真实世界的场景

为了获得良好的特征匹配效果，你需要从各个角度拍摄大约100张照片，确保光照充足且图像之间有足够的重叠。例如，可以使用以下参数：f/8光圈，1/100秒以上的快门速度，18mm或类似焦距的镜头。

步骤2：使用COLMAP生成稀疏重建

COLMAP是一款通用的Structure-from-Motion (SfM)和Multi-View Stereo (MVS)流程，可以用来生成稀疏点云和相机参数。你可以通过其GUI使用自动重建功能，或者执行命令进行特征提取、特征匹配和稀疏重建。为了与3DGUT兼容，请选择pinhole或simple pinhole相机模型。

# 特征检测与提取
$ colmap feature_extractor \
 --database_path ./colmap/database.db \
 --image_path ./images/ \
 --ImageReader.single_camera 1 \
 --ImageReader.camera_model PINHOLE \
 --SiftExtraction.max_image_size 2000 \
 --SiftExtraction.estimate_affine_shape 1 \
 --SiftExtraction.domain_size_pooling 1

# 特征匹配
$ colmap exhaustive_matcher \
 --database_path ./colmap/database.db \
 --SiftMatching.use_gpu 1

# 全局SFM
$ colmap mapper \
 --database_path ./colmap/database.db \
 --image_path ./images/ \
 --output_path ./colmap/sparse

# 可视化验证
$ colmap gui --import_path ./colmap/sparse/0 \
 --database_path ./colmap/database.db \
 --image_path ./images/

步骤3：使用3DGUT进行密集重建训练

使用COLMAP的输出结果，通过配置apps/colmap_3dgut_mcmc.yaml文件，来训练3DGUT模型。

$ conda activate 3dgrut
$ python train.py --config-name apps/colmap_3dgut_mcmc.yaml \
 path=/path/to/colmap/ \
 out_dir=/path/to/out/ \
 experiment_name=3dgut_mcmc \
 export_usdz.enabled=true \
 export_usdz.apply_normalizing_transform=true

步骤4：导出为USD并进行归一化

训练完成后，使用以下关键标志将重建的场景导出为USD文件：

export_usdz.enabled=true
export_usdz.apply_normalizing_transform=true

英伟达提供了一个教程，其中包含一个可以直接从脚本编辑器或作为独立应用程序运行的示例脚本。这将创建一个与Isaac Sim模拟生态系统无缝集成的USD资产。

步骤5：部署重建的场景

通过此流程生成的USD资产可以直接加载或引用到Isaac Sim中，就像任何其他USD资产一样。只需使用“文件 > 导入”或将USD文件从内容浏览器拖放到场景中即可。

加载USD资产后，可以在Isaac Sim中创建一个地面平面，用于移动模拟，如视频1所示。

视频1. 关于如何在导入到Isaac Sim时向渲染场景添加地面平面网格和物理效果的分步教程

重建的场景也可以在NVIDIA Physical AI Dataset上找到，方便快速导入和立即进行实验。新媒网跨境认为，这种预先构建的数据集，极大地降低了新手的使用门槛。

如何在CARLA中重放自动驾驶车辆场景

对于自动驾驶车辆（AV）的开发，Omniverse NuRec库与开源CARLA AV模拟器的集成开启了强大的可能性。这是一个实验性的新功能，适用于已经在NVIDIA Physical AI Dataset中重建的示例场景。

图2. CARLA中Omniverse NuRec渲染工作流程的示例场景

步骤1：运行CARLA并设置脚本

从Physical AI Dataset中选择一个场景，然后导航到你的CARLA目录并运行以下脚本：

./PythonAPI/examples/nvidia/install_nurec.sh

步骤2：重放场景

接下来，使用以下命令重放Omniverse NuRec场景：

source carla/bin/activate
cd PythonAPI/examples/nvidia/
python example_replay_recording.py --usdz-filename /path/to/scenario.usdz

步骤3：捕捉数据

你还可以在模拟中捕捉数据以进行进一步的测试。

用于数据集生成的图像捕捉：

source carla/bin/activate
cd PythonAPI/examples/nvidia/
python example_save_images.py --usdz-filename /path/to/scenario.usdz --output-dir ./captured_images

这种集成使你能够在可控的模拟环境中重放真实世界的驾驶场景，包括原始场景中的所有参与者和动态。

如何进一步增强重建的场景

想要进一步改进你的重建场景吗？NVIDIA Cosmos Transfer是一款多控制网络世界基础模型，通过实现精确、可控的视频生成，从而增强机器人和AV模拟。使用Cosmos Transfer可以合成不同的环境、光照条件和天气场景。你还可以使用分割、深度图、高清地图等多模态控制来动态添加和编辑对象。

图3. Cosmos Transfer通过添加新的天气、光照和地形条件来增强场景多样性

这种方法简化了场景丰富的数据集创建过程，减少了手动工作量，并确保了严格、逼真的验证。通过将Cosmos Transfer-1提炼到减少70个扩散步骤，你可以在30秒内生成逼真的可控视频。基于这些性能改进，Cosmos Transfer-2即将推出，以进一步加速AV开发的合成数据生成（SDG）。