新媒网 · 跨境数据社区

当下，人工智能技术正以惊人的速度迭代演进，特别是生成式AI的应用范围日益广泛，深刻改变着全球各行各业的生产模式和商业形态。进入2025年，我们观察到AI模型正朝着更复杂、更智能的代理系统发展，它们不仅能够执行多步骤推理，还拥有持久记忆和处理超长上下文的能力，这使得AI在软件开发、视频内容创作以及深度科研等诸多领域展现出前所未有的潜力。

然而，伴随AI能力跃升而来的，是对底层基础设施的巨大挑战。如何在计算、内存和网络资源方面实现高效扩展与优化，成为制约AI进一步发展，尤其是大规模推理应用的关键瓶颈。这促使行业对AI推理架构进行根本性变革的思考。

长上下文处理：AI时代的新挑战与机遇

在众多AI应用场景中，处理大规模上下文数据已变得至关重要。以软件开发为例，智能AI助手需要理解整个代码库的逻辑、维护文件间的复杂依赖关系，并掌握项目层面的整体架构。这意味着AI正从简单的代码补全工具，升级为能够深度参与开发流程的智能伙伴。同样，在长篇视频制作和前沿研究领域，AI系统必须在百万级甚至千万级Token的序列中保持高度的连贯性和记忆能力，这对现有基础设施构成了严峻考验。

为了应对这一趋势，行业内正在积极探索创新的解决方案。其中，针对推理性能进行优化的全栈式、解耦式基础设施框架，正逐渐成为主流方向。例如，NVIDIA等科技公司提出的SMART框架，便旨在通过架构创新、多维度性能提升、高效的投资回报率以及整个技术生态的整合，全面优化AI推理效率。

解耦式推理：提升AI运行效率的关键

AI推理过程大致分为两个核心阶段：上下文处理阶段（Context Phase）和内容生成阶段（Generation Phase）。这两个阶段对计算资源的需求截然不同。

上下文处理阶段，主要任务是摄取和分析海量输入数据，以生成第一个输出Token。这一过程对计算吞吐量要求极高，属于计算密集型任务。

内容生成阶段，则需要通过快速的内存传输和高速互联技术（如NVLink），持续地、逐Token地生成后续输出。这一阶段更侧重于内存带宽，属于内存带宽密集型任务。

解耦式推理（Disaggregated Inference）的核心思想，正是将这两个阶段独立处理，从而可以针对性地优化计算和内存资源配置。这种架构上的转变，能够显著提高整体吞吐量，降低延迟，并提升资源利用效率。

图1：通过将GPU功能与上下文和生成工作负载对齐来优化推理

然而，解耦式推理也带来了新的复杂性，它要求在低延迟的键值（KV）缓存传输、大语言模型（LLM）感知路由以及高效内存管理之间进行精确协调。目前，行业内的一些先进平台，例如NVIDIA的Dynamo等，正致力于提供这样的编排层，以确保解耦式推理的顺畅运行和高效协作。

为了充分发挥解耦式推理的优势，尤其是在计算密集的上下文处理阶段，专业的加速方案必不可少。在2025年，NVIDIA推出的Rubin CPX GPU，正是为满足这一需求而设计的专用解决方案。它旨在为高价值的长上下文推理工作负载提供高吞吐量性能，并能无缝集成到解耦式基础设施中。

Rubin CPX：专为长上下文处理而生

Rubin CPX GPU的推出，标志着AI推理硬件发展的一个重要里程碑。它基于Rubin架构打造，旨在显著提升长上下文处理性能，与现有基础设施形成互补，并在上下文感知推理部署中实现可观的效率和投资回报。

Rubin CPX的核心亮点包括：

• 计算能力：提供高达30 petaFLOPs的NVFP4计算能力，这对于处理大规模、复杂的AI模型运算至关重要。
• 内存配置：配备128 GB的GDDR7高速显存，确保在处理长序列数据时拥有充足的带宽和容量。
• 多媒体支持：硬件支持视频解码和编码功能，使其在视频生成等对多媒体处理有高要求的场景中表现出色。
• 注意力机制加速：与NVIDIA GB300 NVL72相比，实现了3倍的注意力机制加速，这对于提升大型语言模型理解和生成长文本的效率具有决定性作用。

这些特性使得Rubin CPX能够高效处理长序列任务，特别适用于软件应用开发和高清视频生成等高价值推理用例。它旨在与现有的解耦式推理架构协同工作，提升吞吐量和响应速度，同时最大限度地提升大规模生成式AI工作负载的投资回报率。

Rubin CPX并非独立运作，它与NVIDIA Vera CPU以及Rubin GPU协同工作，后者主要负责生成阶段的处理。通过这种紧密的配合，共同构建了一个完整且高性能的解耦式服务解决方案，专为长上下文用例而设计。

Vera Rubin NVL144 CPX：集成式超大规模AI推理平台

为了满足超大规模AI推理的需求，NVIDIA进一步推出了Vera Rubin NVL144 CPX机架系统。这是一个高度集成的解决方案，其配置令人瞩目：

• GPU与CPU集成：单个机架内集成了144个Rubin CPX GPU、144个Rubin GPU以及36个Vera CPU。
• 总计算能力：提供高达8 exaFLOPs的NVFP4计算能力，是GB300 NVL72的7.5倍，展现出惊人的并行处理能力。
• 高速内存：配备100 TB的高速内存，保障数据传输的效率。
• 内存带宽：拥有1.7 PB/s的超高内存带宽，确保在处理海量数据时不会出现瓶颈。
  

图2：NVIDIA Vera Rubin NVL144 CPX机架和托盘，展示了Rubin上下文GPU (Rubin CPX)、Rubin GPU和Vera CPU

Vera Rubin NVL144 CPX系统通过NVIDIA Quantum-X800 InfiniBand或Spectrum-X Ethernet网络技术，搭配NVIDIA ConnectX-9 SuperNICs，并由Dynamo平台进行统一编排，能够为下一代百万Token级上下文AI推理工作负载提供强大动力。这不仅有望大幅降低推理成本，还将为全球的开发者和创作者解锁更多先进的AI功能。

深远影响与未来展望

从经济效益角度看，这种超大规模AI推理平台在规模化应用时，有望实现可观的投资回报。据相关海外报告分析，其潜在收益可能达到投入资本的数十倍，这意味着在AI基础设施上的投入，能够带来丰厚的回报，为企业创造巨大的商业价值。

通过结合解耦式基础设施、专用硬件加速以及全栈式编排，Vera Rubin NVL144 CPX平台正在重新定义生成式AI应用的构建方式，为企业打造新一代AI应用提供了强有力的技术支撑。这包括但不限于更智能的软件编程助手、更真实细致的生成式视频内容，以及在医疗、金融等领域实现更精准的数据分析和决策支持。

对中国跨境行业的启示

中国作为全球数字经济的先行者和AI技术应用的重要市场，对这种新型AI推理架构和高性能计算平台的发展应保持高度关注。随着中国企业在跨境电商、游戏出海、数字内容创作以及智能制造等领域不断深化全球布局，对高效、低成本、高并发的AI推理能力需求日益增长。

例如，在跨境电商领域，利用AI处理多语言、多地域的用户评论和咨询，生成个性化营销内容，甚至驱动智能客服，都需要强大的长上下文理解和生成能力。Rubin CPX等技术有望显著提升这些AI应用的效率和用户体验。

在游戏和数字内容出海方面，高质量的AI生成视频、虚拟角色对话、智能NPC（非玩家角色）行为逻辑，都离不开底层高性能AI推理的支持。这些技术进步能够帮助中国企业在全球市场中提供更具创新性和沉浸感的产品。

同时，中国在AI芯片和算力基础设施建设方面也持续投入，与国际前沿技术保持同步甚至引领，对于我们构建自主可控、高效强大的AI生态体系具有战略意义。通过借鉴和应用最新的解耦式推理架构和专用AI加速芯片，中国企业可以进一步优化其AI算力布局，降低运营成本，提升在全球市场的竞争力。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/new-ai-inference-roi-up-dozens-x.html