Jetson Thor:AI算力狂飙7.5倍!搞定物理AI机器人开发
各位跨境老铁们,大家好!我是你们的老朋友,也是在跨境战场摸爬滚打多年的实战专家与资深导师。今天,咱们不聊虚的,来给大家分享一个硬核干货:英伟达(NVIDIA)的Jetson Thor平台,它可是咱们未来布局物理AI和机器人赛道的“核武器”!
新媒网跨境获悉,机器人技术正在经历一场前所未有的革命。过去,我们看到的机器人多是“专才”,只能干特定活。但现在不一样了,通用型机器人正成为新趋势。它们就像我们人类一样,能快速反应,也能进行高层次的思考和规划,适应不同环境,完成各种任务。这不仅能大幅降低成本,还能把机器人的应用场景扩展到我们现在想象不到的领域。
在2025年的英伟达GTC大会上,英伟达发布了Isaac GR00T平台,这正是通用型机器人的基石。它融合了机器人基础模型、合成数据流水线、仿真环境和运行时计算。而今天,更令人振奋的消息来了——英伟达Jetson AGX Thor开发者套件和Jetson T5000生产模块已经全面上市,这将赋予全球开发者们打造物理AI未来的超能力!
有了Jetson Thor,机器人不再需要为每个新任务重新编程。它就像为物理AI量身定制的超级计算机,能处理生成式推理,也能搞定多模态、多传感器数据。未来,你可以将Jetson Thor集成到新一代机器人中,加速基础模型的运行,让机器人灵活应对物体操作、导航、以及理解复杂指令等各种挑战。
那么,打造一台通用型仿人机器人,究竟需要哪些核心“零件”呢?
简单来说,这需要四个关键的层次协同工作:
首先是硬件抽象层。这一层就像机器人的“感官和肢体系统”,它整合了所有关键的传感和驱动模块,让机器人能够感知周围环境,并真实地与世界互动。
其次是实时控制框架。这是机器人的“神经中枢”,它负责精确、低延迟地控制机器人的每一个动作。在这里,延迟越低,机器人的操作就越安全、响应也越灵敏。
再来是感知与规划层。这一层赋予机器人“理解世界和思考”的能力。它让机器人能理解环境、规划抓取和运动路径、实现自主移动、识别物体,并进行定位。与实时控制不同,这一层允许稍微多一点的处理时间,以确保机器人做出深思熟虑、准确的决策。
最后是高层推理层。这是机器人的“智慧大脑”,它驱动着更高级的功能,比如场景理解、复杂任务规划以及自然语言交互。在这一层,即使处理时间稍长,也是为了支持更深层次的思考和更强的适应性。
为什么说英伟达Jetson Thor是物理AI和仿人机器人的终极平台?
英伟达Jetson AGX Thor开发者套件为你带来了无与伦比的性能和可扩展性。它搭载了英伟达布莱克威尔(Blackwell)GPU和128GB内存,AI算力高达2070 FP4 TFLOPS,能够轻松运行最新的生成式AI模型,而且功耗仅为130瓦。与之前的英伟达Jetson AGX Orin相比,它的AI算力提升了7.5倍,能效也提高了3.5倍,这在实战中意味着更高的效率和更低的运营成本。
Jetson Thor通过全新的布莱克威尔多实例GPU(MIG)技术和强大的14核安谋(Arm)Neoverse-V3AE CPU,显著加速了低延迟的实时应用。它还内置了一系列加速器,包括第三代可编程视觉加速器(PVA)、双编码器和解码器,以及光流加速器等,这些都是为机器人和AI边缘应用量身打造的。
为了实现高速传感器融合,这款开发者套件提供了丰富的I/O选项,包括一个带有4x25GbE的QSFP插槽、一个有线多千兆以太网RJ45接口、多个USB端口以及其他连接接口。它还被设计成可以与现有仿人机器人平台无缝集成,方便大家快速连接,启动原型开发。
Transformer引擎与FP4支持
基于英伟达布莱克威尔架构,Jetson Thor引入了原生的FP4量化技术,并搭载了新一代Transformer引擎,可以根据需求动态切换FP4和FP8格式,以实现最佳性能。通过结合4位权重和更高内存带宽的激活,Thor在生成式AI工作负载中显著加速了预填充和解码过程。
多实例GPU(MIG)
Jetson Thor首次引入了MIG技术,可以将单个GPU划分为独立的、拥有专用资源的实例。这确保了关键工作负载的性能可预测性,同时可以并行运行时间敏感度较低的任务,这对于混合关键性机器人应用来说尤为宝贵。
以下是Jetson T5000模块和英伟达Jetson AGX Thor开发者套件载板的关键特性和接口概览:
表1. 英伟达Jetson AGX Thor开发者套件模块规格*
*初步数据,可能有所变动
英伟达Jetson T5000 | 英伟达Jetson T4000* |
---|---|
AI性能 | 2070 TFLOPS (稀疏FP4) 1035 TFLOPS (密集FP4 |
GPU | 2560核英伟达布莱克威尔架构GPU,带96个第五代Tensor Core,MIG含10个TPCs |
CPU | 14核安谋Neoverse-V3AE 64位CPU |
内存 | 128 GB 256位LPDDR5X, 273 GB/s |
频率 | GPU最高1.57 GHz,CPU最高2.6 GHz |
存储 | 支持通过PCIe连接NVMe;支持通过USB3.2连接SSD |
视觉加速器 | PVA v3.0 |
视频编码 | 高达6x 4Kp60 (H.265/H.264) |
视频解码 | 高达4x 8Kp30 (H.265) 高达4x 4Kp60 (H.264) |
摄像头 | 通过HSB支持多达20个摄像头;通过16x MIPI CSI-2通道支持多达6个摄像头;使用虚拟通道C-PHY 2.1 (10.25 Gbps) D-PHY 2.1 (40 Gbps)支持多达32个摄像头 |
显示 | 4x 共享HDMI2.1 VESA Display Port 1.4a – HBR2, MST |
功耗 | 40 W – 130 W |
表2. 英伟达Jetson AGX Thor开发者套件载板规格
集成英伟达Jetson Thor模块 | 英伟达Jetson T5000模块 |
---|---|
存储 | M.2 Key M插槽上集成1TB NVMe固态硬盘 |
摄像头 | 通过QSFP插槽支持HSB摄像头,USB摄像头 |
PCIe | M.2 Key M插槽带x4 PCIe Gen5 (已安装1TB NVMe);M.2 Key E插槽带x1 PCIe Gen5 (已安装Wi-Fi 6E及蓝牙模块) |
USB | 2x USB Type-A 3.2 Gen2;2x USB Type-C 3.1 Gen1;1x USB Type-C (仅用于调试) |
网络 | 1x 5GBe RJ45连接器;1x QSFP28 (4x 25GbE) |
Wi-Fi | 802.11ax Wi-Fi 6E |
显示 | 1x HDMI 2.0b;1x DisplayPort 1.4a |
其他I/O | 2x 13针CAN接头;2x 6针自动化接头;2x 5针接头;JTAG连接器;1x 4针风扇连接器 – 12V, PWM, 及转速计;2x 5针音频面板接头;2针RTC备用电池连接器;Microfit电源插孔;电源、强制恢复、及复位按钮 |
机械尺寸 | 243.19毫米 x 112.40毫米 x 56.88毫米 (高度包含支脚、载板、模块及散热解决方案) |
![]() |
Jetson Thor如何助力边缘生成式AI?
Jetson AGX Thor属于新一代机器人计算机,它从底层架构开始就为驱动下一代仿人机器人而设计。它支持广泛的生成式AI模型,从像英伟达Isaac GR00T N1.5这样的视觉语言动作(VLA)模型,到所有流行的各类大型语言模型(LLMs)和视觉语言模型(VLMs),通通都能搞定。
为了实现无缝的云边协同体验,Jetson Thor运行着英伟达为物理AI应用量身定制的AI软件栈,这包括了用于机器人的英伟达Isaac,用于视觉智能体AI的英伟达Metropolis,以及用于传感器处理的英伟达Holoscan。你还可以利用英伟达的智能体AI工作流,比如视频搜索与摘要(VSS),在边缘端构建你自己的AI智能体。
为什么生成式推理和多模态传感器处理对物理AI如此重要?
生成式推理模型对于机器人平台至关重要,它们能够模拟一系列可能的动作,预判结果,根据语言或视觉线索进行推理,并灵活生成高层规划或低层运动策略。这使得机器人系统变得更加灵活、适应性强,并能在真实世界环境中实现稳健、接近人类水平的推理能力。
英伟达Jetson Thor在生成式推理方面实现了巨大飞跃,相比Jetson Orin,速度提升高达5倍。而且,通过FP4和推测解码(speculative decoding)技术,开发者还能在Jetson Thor上额外获得2倍的性能提升。这意味着我们的机器人将变得更加“聪明”和“敏捷”。
Jetson Thor还能无缝处理多个生成式AI模型和大量的多模态传感器输入,实现实时响应。图5展示了其能力,它同时处理了16个并发请求,使用了Qwen2.5-VL-3B VLM和Llama 3.2 3B LLM模型。两个模型的“首个Token响应时间”(TTFT)都远低于200毫秒,“每输出Token时间”(TPOT)也远低于50毫秒,这都是衡量系统响应速度的关键指标。
Jetson Thor充分利用了布莱克威尔原生的FP4支持,还支持推测解码等先进技术。这种方法是让一个较小的“草稿模型”先提出Token,然后由一个较大的模型进行验证。这种方式在保持准确性的同时,加速了生成式AI的推理过程,最终提供了更快、更高质量的输出。
图4显示,Qwen2.5-VL-7B模型在Thor上,结合FP4量化和基于Eagle的推测解码,推理速度比在Jetson Orin上(使用W4A16模式)快了高达3.5倍。
此外,Jetson Thor在生成式AI模型(包括LLMs、VLMs和VLAs)方面提供了更高层次的加速,相比Jetson Orin,性能提升高达5倍,具体表现如表3所示:
表3. Jetson Thor和Jetson AGX Orin上的基准测试结果
家族 | 模型 | Jetson AGX Thor (输出tokens/秒) | Jetson AGX Orin (输出tokens/秒) | 加速比 |
---|---|---|---|---|
LLM | Llama 3.1 8B | 150.81 | 112.33 | 1.34 |
Llama 3.3 70B | 12.64 | 7.38 | 1.71 | |
Qwen | Qwen3-30B-A3B | 226.42 | 76.69 | 2.95 |
Qwen3-32B | 79.11 | 16.84 | 4.70 | |
DeepSeek | DeepSeek-R1-Distill-Qwen-7B | 304.76 | 180.41 | 1.69 |
DeepSeek-R1-Distill-Qwen-32B | 82.63 | 16.96 | 4.87 | |
VLM | Qwen2.5-VL-3B | 356.86 | 216 | 1.65 |
Qwen | Qwen2.5-VL-7B | 252 | 154.02 | 1.64 |
Llama | Llama 3.2 11B Vision | 69.63 | 44.22 | 1.57 |
VLA | GR00T N1 | 46.7 | 18.5 | 2.52 |
GR00T | GR00T N1.5 | 41.5 | 15.2 | 2.74 |
基准测试配置:序列长度:2048,输出序列长度:128;最大并发数:8;LLM和VLM模型使用VLLM运行,VLA模型使用TensorRT运行;Jetson AGX Thor和Jetson AGX Orin均采用MAXN功耗模式。
Jetson软件如何加速边缘AI?
Jetson软件通过提供一个紧密集成的、全栈式软件平台,专门针对机器人、医疗、物流和自主系统等领域的高吞吐量实时应用进行了优化,极大地加速了边缘AI的性能。
搭载了JetPack 7,它包含了Linux内核6.8、Ubuntu 24.04 LTS以及最新的英伟达AI软件栈,Jetson软件能够实现先进生成式AI模型的低延迟、确定性执行,这对于物理AI至关重要。它结合了硬件加速计算和系统级优化,以驱动复杂系统(如仿人机器人、自主机器和工业自动化)中响应迅速、智能的行为。
有了集成Holoscan传感器桥接、MIG支持和可抢占实时内核等功能,Jetson软件显著提升了高速传感器融合和运动规划等任务的性能和效率。在Jetson AI实验室和庞大生态系统的支持下,Jetson软件大大缩短了边缘AI和机器人应用的“上市时间”。值得一提的是,Jetson Thor平台还支持新的Cosmos Reason,这是一个开放、可定制的7B推理VLM,专为物理AI和机器人打造。
JetPack 7在架构上采用了SBSA标准。通过JetPack 7,Jetson软件与服务器基准系统架构(SBSA)对齐,这使得Jetson Thor与行业标准的安谋服务器设计处于同一水平。SBSA标准化了关键的硬件和固件接口,带来了更强大的操作系统支持、更简单的软件移植性,以及更顺畅的企业集成。
在此基础上,Jetson Thor现在支持在所有安谋目标上统一安装CUDA 13.0,这简化了开发过程,减少了碎片化,并确保了从服务器级系统到Jetson Thor的一致性。
英伟达Isaac如何端到端加速机器人开发?
英伟达Isaac是一个开放的机器人平台,它提供了CUDA加速库、框架和AI模型,用于构建自主移动机器人(AMR)、机械臂、仿人机器人等等。现代机器人需要一个先进的“大脑”,即控制、视觉和语言模型,能够实时处理多模态数据,实现从感知到行动的无缝衔接。
Jetson Thor正是为了运行像Isaac GR00T N1.5这样要求严苛的模型而量身打造的,它能实现实时人机交互、空间感知和稳健的感知能力。Isaac与Thor强强联手,共同实现了可扩展、边缘部署的多模态AI,极大地加速了工业和研究领域的机器人创新。
如何利用VSS从边缘摄像头中解锁知识?
来自英伟达Metropolis的“英伟达视频搜索与摘要(VSS)蓝图”为你提供了工具,帮助你构建和部署视频分析AI智能体。这些智能体能够通过分析实时摄像头流,执行上下文感知的实时警报、摘要生成和问答。
VSS正在赋能视觉智能体工作,涵盖了制造业的视觉检测和工人安全、体育赛事中的粉丝互动和球员分析,以及道路事故的应急响应时间提升等广泛应用。这意味着我们的“跨境制造”和“跨境服务”都有了更多智能化的可能性。
Holoscan如何在Thor上实现实时传感器处理?
英伟达Holoscan是一个AI传感器处理平台,它提供了一个加速的、全栈式基础设施,这是实现软件定义和实时AI所必需的。它的设计目标是简化和扩展企业级硬件上的边缘AI,为实时AI提供高性能边缘解决方案。
通过Jetson Thor上的Holoscan,你可以安全地对并发的AI工作流进行分区和隔离,这确保了任务的确定性性能、容错能力,并保护关键任务应用的数据不泄露。这使得AI创新能够持续进行,同时不影响安全性,让Holoscan成为受监管领域中实时行动的可靠操作层。
现代机器人依赖于各种各样的传感器,包括摄像头、IMU(惯性测量单元)、执行器等等,每个传感器都对智能操作至关重要。借助英伟达Holoscan传感器桥接,你可以通过以太网将所有传感器无缝连接到英伟达Jetson平台,无论传感器类型如何。利用Jetson Thor中提供的“摄像头即以太网”新技术,传感器数据可以直接传输到GPU内存,大大降低了延迟并最大限度地减少了CPU开销。这种方法用简化的软件定义API取代了传统的驱动复杂性,使得实时边缘AI应用能够实现精确同步和稳健的可扩展性,无论是在机器人、工业自动化还是先进医疗系统中,都将发挥巨大作用。
一个全面的生态系统加速上市时间(TTM)
为了帮助开发者更快地将解决方案推向市场,Jetson生态系统拥有超过1000个合作伙伴的网络,通过各种合作伙伴类别提供有针对性的支持,确保在流程的每个阶段都能获得正确的能力。
表4. Jetson生态系统包含1000多个合作伙伴
合作伙伴类别 | 提供的产品和服务 |
---|---|
独立软件供应商 (ISVs) | 应用程序软件 |
云服务提供商 (CSPs) 和软件工具 | 平台操作系统、设备管理、AI模型定制和移植 |
平台软件和AI服务 | 平台操作系统、系统软件 |
硬件合作伙伴 (OEM / ODM / 系统集成商、设计公司等) | 载板、COTS(商用现货)、定制系统、交钥匙设计服务、连接模块 |
传感器 | 摄像头(MIPI / GMSL、以太网、USB)、激光雷达、IMU、音频、ISP调优 |
分销商 | Jetson模块和开发者套件 |
![]() |
如何开始使用英伟达Jetson Thor进行物理AI开发?
新媒网跨境认为,现在正是您躬身入局、深度布局物理AI的绝佳时机。要加速你的软件开发,你可以直接将Jetson AGX Thor开发者套件连接到现有的机器人上。这样你就可以立即开始创建和测试应用程序,无需等待完整的系统集成。
视频1. 了解如何开始使用英伟达Jetson AGX Thor开发者套件
(此处为视频内容,省略具体内容)
全球已有超过200万开发者加入了英伟达的大家庭,现在就加入他们,启动你的下一代物理AI项目吧!Jetson AGX Thor开发者套件定价3499美元,Jetson T5000生产模块现已通过英伟达全球授权分销商全面发售。
立即开始使用Jetson AGX Thor开发者套件,并下载最新的JetPack 7。
你可以在Jetson下载中心和生态系统合作伙伴处找到全面的文档、支持资源和工具。有疑问或需要指导吗?欢迎在英伟达开发者论坛与专家和其他开发者进行交流,共同成长。
新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。

评论(0)