新媒网 · 跨境数据社区

在智能科技飞速发展的今天，自动驾驶技术无疑是全球瞩目的焦点。它不仅仅关乎交通方式的变革，更预示着智慧城市、高效物流乃至人们生活品质的全面提升。然而，要让自动驾驶系统真正实现安全可靠、智能无忧，其背后需要海量数据的支撑与严苛的测试验证。这些数据不仅要多，更要精，要能覆盖各种极端场景和“长尾问题”，才能真正应对复杂的现实路况。

自动驾驶系统的演进，正从传统的模块化架构逐步走向基于基础大模型的端到端设计。这一深刻的转变，对数据处理能力提出了前所未有的要求。我们需要构建一个高效的“数据飞轮”，能够源源不断地生成高质量合成数据，弥补真实世界数据采集的不足，并最终建立一套完善的验证工具链，确保自动驾驶车辆的安全研发与部署。

为了加速这一进程，一家领先的科技企业近期在自动驾驶数据领域取得了重要进展。新媒网跨境获悉，他们发布了一个规模庞大的多模态自动驾驶数据集，这无疑为整个行业注入了强大的动力。这个数据集包含了超过1700小时的摄像头、雷达和激光雷达数据，其覆盖范围之广令人惊叹，横跨全球超过2500个城市和25个国家和地区。这些数据以20秒的片段形式呈现，详细记录了各种城市驾驶场景，涵盖了从车流密集到稀疏、从晴空万里到恶劣天气、从白天到夜晚等多种环境，以及隧道、桥梁、环岛、铁路道口、收费站和坡道等丰富的道路基础设施元素。这些宝贵的数据，不仅为自动驾驶模型的预训练和后训练提供了坚实基础，更可通过后续的合成数据生成工作流，扩展为规模更大的数据集。

图1. Cosmos Dataset Search 可根据文本、图像或视频提示，即时检索各种驾驶场景，从而为后训练任务创建有针对性的数据集。

面对海量数据的挑战，如何从中快速提取有价值的信息，是自动驾驶研发中的关键一环。为此，该科技企业推出了一系列创新的数据处理工具。其中，Cosmos Curator工具，借助开放的推理视觉语言模型Cosmos Reason，能够对大规模传感器数据进行高效的筛选、标注和去重处理。Cosmos Reason以微服务的形式提供，旨在安全、便捷地部署高性能生成式人工智能服务。这意味着开发者可以迅速从庞杂的数据中梳理出精华，提升数据利用效率。

在此基础上，Cosmos Dataset Search（CDS）工具的出现，更是将数据搜索能力提升到了新高度。这是一种基于GPU加速的向量搜索工作流，能够迅速对视频数据集进行嵌入和搜索。开发者只需数秒，就能创建包含特定自动驾驶车辆或目标行为的数据集，例如在繁忙十字路口左转等特定后训练任务所需的场景。这种精准、高效的数据筛选能力，极大地缩短了开发者寻找关键数据的时间，让他们能够更专注于模型训练和优化。

将真实世界的数据转化为可交互、高保真的仿真场景，是自动驾驶测试验证的另一项核心需求。该科技企业在这方面也取得了突破性进展，推出了NVIDIA Omniverse NuRec系列技术。NuRec是一套集神经网络重建和渲染于一体的工具，它能让开发者利用现有的车队数据，重建出高保真的数字孪生体。这些数字孪生体不仅能精确复刻现实世界的环境，还能在此基础上模拟新的事件，并从全新的视角渲染传感器数据，从而显著提升自动驾驶仿真管线的效率与真实性。

NuRec的库、模型和工具为开发者提供了全面的支持。首先，它能够帮助开发者准备和处理用于重建的传感器数据。接着，将这些传感器数据重建为三维表示。最后，还能进行基于高斯的渲染，生成逼真的图像。值得一提的是，NuRec还集成了生成式人工智能模型，用于提升重建质量，使仿真更加稳健。例如，NuRec Fixer就是一个基于Transformer的模型，经过自动驾驶数据集的后训练，能够修复和解决重建过程中的伪影。开发者可以在重建过程中或神经渲染的后处理阶段运行Fixer，从而获得更高质量的仿真结果。这项技术基于在CVPR 2025大会上发布的Difix3D+论文，它的应用使得从重建场景中合成新视角，对于开放式和闭环仿真工作流而言变得切实可行。

视频1. NVIDIA NuRec Fixer 解决了重建过程中的伪影，从而从真实世界驾驶数据中实现更高质量的传感器仿真。

在扩展仿真多样性方面，世界模型扮演着至关重要的角色。该科技企业推出的NVIDIA Cosmos Predict和Cosmos Transfer便是其中的佼佼者。Cosmos Predict世界基础模型，能够以文本、图像或视频作为输入，生成新的视频状态，广泛应用于机器人和自动驾驶仿真领域。而Cosmos Transfer，则是一款基于Cosmos Predict构建的多控制网络模型，它能够根据空间控制输入（如道路布局、物体位置和方向等详细信息），生成高质量的世界仿真。用户可以通过Cosmos Transfer来创建各种多样化的天气、光照和地形变化场景。

最新的模型版本，Cosmos Predict 2.5和Cosmos Transfer 2.5，实现了更强大的功能。它们能够生成长达30秒的新视频，支持摄像头可控的多视图输出，并能更好地遵循控制信号，从而满足自动驾驶仿真日益增长的需求。对于希望深入了解Cosmos技术的开发者，可以查阅Cosmos白皮书以获取更多技术洞察。此外，Cosmos Cookbook提供了一份详尽的指南，帮助开发者为自己的应用场景构建、定制和部署Cosmos自动驾驶系统。

这些先进的模型和工作流，已经与多种开源和企业级工具链进行了深度整合，极大地简化了它们在现有仿真管线中的应用。

CARLA开源自动驾驶仿真平台

CARLA作为全球最受欢迎的开源仿真平台之一，拥有超过15万活跃开发者，是自动驾驶研究与开发的理想试验台。这家科技企业正与CARLA紧密合作，将其最新的NuRec渲染API和Cosmos Transfer世界基础模型集成到CARLA中。这一整合使得开发者能够利用高斯表示生成传感器数据，并通过光线追踪渲染，同时借助Cosmos WFM（世界基础模型）来放大仿真的多样性。

通过一个生动的例子我们可以看到，在CARLA中，系统能够协调所有智能体（包括自动驾驶车辆）的运动，并利用NuRec从自动驾驶车辆的视角渲染传感器数据。通过在CARLA中加入重建的场景，并结合其API和交通模型集成来模拟新的事件，我们能够生成大量有价值的“角点案例”数据集。随后，Cosmos Transfer与CARLA的集成可以为这些场景创建各种变体，用于训练和测试。

视频2. 使用NVIDIA NuRec在CARLA中重放3DGUT重建的驾驶场景。

NVIDIA Omniverse NuRec与Cosmos Transfer生成新视角

在从新视角渲染重建场景时，重建过程中可能会出现空白区域，从而导致伪影。开发者可以利用这家科技企业物理AI开放数据集上提供的900多个重建场景来尝试此管线。借助最新版本的CARLA，开发者现在可以完全创建新的轨迹，重新定位摄像头，并利用这个重建数据的入门包来模拟驾驶。

视频3. 右上角：在CARLA中使用NuRec重放3DGUT重建的驾驶场景。从左下方顺时针方向：Cosmos Transfer生成的重建驾驶场景变体，包括雪天、傍晚、建筑物上长满常春藤的晴朗天气、带有眩光的日落场景。

CARLA开发者可以利用Inverted.AI公司的行为可控智能体模型（如Imagining The Road Ahead，简称ITRA），以及集成CARLA和NVIDIA Cosmos的Foretellix Foretify数据自动化工具链的自动驾驶开发者，生成逼真的场景和行为变体，从而提升行为多样性的规模。

视频4. 基于文本提示和来自Foretellix的物体级别仿真（带有CARLA的物理引擎）条件，使用Cosmos-Transfer1-7B-Sample-AV [HDMap]模型生成传感器数据。

视频5. 基于文本提示和来自CARLA与Inverted AI的输出条件，大规模生成自动驾驶传感器数据，通过Cosmos Transfer实现。

Voxel51自动驾驶仿真数据管线

来自Voxel51的FiftyOne，是一款视觉和多模态AI数据引擎，它赋予了物理AI开发者策展、标注和评估大规模数据集和模型的能力，广泛应用于训练和测试环节。FiftyOne深度整合了Cosmos Dataset Search（CDS）、NuRec和Cosmos Transfer，从而创建出高质量、可用于仿真的数据集，显著提升了仿真管线的每个阶段。

首先，CDS工具允许用户对PB级视频数据执行快速、高召回率的语义搜索，从而为各种下游需求创建有针对性的数据集。其次，NuRec的集成使得用户能够将原始数据流转换为经过验证的NuRec格式数据集，并重建场景。开发者可以导入自己的数据集，评估重建质量，并创建三维数字孪生体，以供后续的仿真任务使用。最后，Cosmos Transfer的集成让用户能够直接对其数据应用风格迁移，从而大大增加数据集的多样性，确保仿真环境的丰富性和普适性。

视频6. 在Voxel51中，使用NVIDIA NuRec重放来自Waymo数据集的真实世界驾驶场景。

新媒网跨境认为，这一系列技术创新，正在以前所未有的速度推动着自动驾驶技术的发展与成熟。它们不仅解决了数据获取和处理的痛点，更通过先进的仿真手段，为自动驾驶系统提供了近乎无限的测试验证环境。这对于确保自动驾驶车辆的安全性和可靠性，加速其规模化落地具有里程碑式的意义。展望未来，随着这些技术的不断完善和普及，我们有理由相信，智能出行将更快地走进千家万户，为构建更加便捷、高效、安全的智慧社会贡献力量。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/autodrive-breakthrough-1700hr-data-global-reach.html