新媒网 · 跨境数据社区

老铁们好！作为中国跨境实战圈的老兵，咱们都明白，效率就是生命线。尤其是在AI大模型日渐普及的今天，模型训练的快慢，直接关系到咱们能不能抢占市场先机，能不能用更低的成本跑出更好的效果。今天，新媒网跨境获悉了一个重磅消息，英伟达（NVIDIA）的FP8训练技术，正在为大模型提速带来革命性突破！

以前，咱们训练大模型，普遍使用16位（BF16）精度，虽然精度高，但计算量和内存开销都很大。现在，FP8精度训练方法横空出世，它能显著提升大语言模型（LLMs）的训练速度，而且模型规模越大，提速效果越明显。这就像咱们以前用传统算盘，现在直接升级到高速智能计算器，速度自然快了不止一倍。具体来说，在英伟达H100 GPU上，针对Llama 3 8B这样相对小一点的模型，FP8能提速1.3倍；对于Llama 3.1 405B这种巨无霸模型，提速更是高达1.53倍！而在英伟达Blackwell架构的DGX B200 GPU上，MXFP8技术也能带来1.28倍到1.37倍的稳定提速。这背后，都是8位精度计算带来的内存占用降低和吞吐量提升的功劳。

在之前的技术分享中，咱们可能已经了解了一些FP8精度的基础概念和大规模深度学习中的各种缩放策略。今天，咱们就聚焦最核心的一点：实战中的速度到底有多快？那些理论上的提速，在实际应用中会不会被各种开销抵消？接下来，咱们将基于英伟达NeMo框架，在H100和DGX B200 GPU上，对各种主流FP8缩放策略（包括延迟缩放、当前缩放、MXFP8和通用块级缩放）进行深度剖析，看看它们在训练效率、数值稳定性、硬件兼容性和可扩展性上的表现。

通过深入分析这些策略在不同大模型上的收敛行为和吞吐量数据，希望能给大家提供清晰、实用的洞察，帮助咱们在实际业务场景中做出最明智的选择。

为什么FP8训练的“速度”如此重要？

训练像大语言模型（LLMs）这样的先进神经网络，是一个越来越“烧钱”、烧资源的过程，它对算力、内存和时间的需求简直是天文数字。随着模型和数据集的规模持续膨胀，随之而来的财务、环境和时间成本，已经成为研究人员和实战专家们不得不面对的核心问题。

FP8精度，正是直击这些痛点的一剂猛药。它通过将数值精度从16位甚至32位，直接降低到8位，从根本上提升了计算效率。这直接意味着咱们的研究周期能够大大缩短，基础设施的投入也能相应减少，更重要的是，在现有硬件条件下，咱们甚至有能力去训练更大、更具野心的模型，这在以前是不可想象的。

除了纯粹的计算速度，FP8还在分布式训练环境中显著降低了数据通信开销。试想一下，当咱们把大模型拆分到多张GPU上训练时，低精度数据（比如激活值和梯度）意味着卡与卡之间传输的数据量更少，这直接缓解了通信瓶颈，确保了在大规模集群下依然能保持高吞吐量。随着咱们模型和集群规模的不断扩大，这一点优势将变得越来越关键。

FP8缩放策略的优势与权衡

在FP8训练中，有几种主流的缩放策略，它们各有千秋，也存在不同的取舍。为了让大家更好地理解，咱们来逐一拆解这些核心策略：

1. 张量级延迟缩放 (Per-tensor delayed scaling)

这种方法通过使用稳定的历史数据来推断缩放因子，从而实现不错的FP8计算性能。它的优点是计算开销小，但缺点也很明显，如果历史数据中出现极端异常值，可能会影响缩放因子的准确性，导致训练过程不够稳定，甚至出现收敛困难。

2. 张量级当前缩放 (Per-tensor current scaling)

它就像一个反应灵敏的市场分析师，能实时根据当前张量数据的范围来动态调整缩放因子。这意味着它能快速适应数据的变化，从而改善模型收敛效果，并且由于实时计算，没有历史数据追踪的额外开销，计算和内存占用都非常小。

3. 子通道（通用块级）缩放 (Sub-channel (generic block) scaling)

这种策略的精细程度更高，它允许咱们自定义块（block）的维度，实现更细粒度的缩放，从而提升精度，并充分发挥FP8的效率。打个比方，如果张量级缩放是对一整块数据进行缩放，那块级缩放就是把这块数据分成很多小块，对每小块独立缩放，这样就能更好地适应数据内部的动态范围差异。不过，块越小，需要存储的缩放因子就越多，这可能会带来额外的存储开销，并且在某些转置操作时可能需要重新计算。

4. MXFP8

MXFP8是英伟达Blackwell架构下原生的硬件级解决方案。它为激活值和权重都提供了固定的32值块（block）进行高效缩放，并采用E8M0的2次幂缩放因子。这种方法通过英伟达Blackwell架构的加速操作，能够实现显著的性能提升（矩阵乘法吞吐量最高可达2倍），同时将量化误差降到最低，确保了训练的稳定性和效率。

总结一下，这些策略各有侧重：

• 延迟缩放：速度快，但稳定性一般，适合小型的密集模型，通常在NVIDIA Hopper架构上表现不错。
• 当前缩放：速度快，稳定性好，适合中等规模的密集型或混合型模型，同样在NVIDIA Hopper架构上表现出色。
• 子通道缩放：精度高，稳定性强，但速度相对居中，更适合混合专家模型（MoE），在NVIDIA Hopper和Blackwell架构上都能使用。
• MXFP8：速度与精度兼顾，稳定性极高，是针对英伟达Blackwell和Grace-Blackwell架构优化的全能型方案。
  

图1：FP8训练中各策略在矩阵乘法（GEMM）运算中相对于BF16的提速效果

图1展示了在英伟达H100 GPU上，不同FP8缩放策略在更高精度矩阵乘法（GEMM）运算中相对于BF16的吞吐量提速。我们可以清楚地看到，硬件原生的缩放方法（通道级、子通道级、张量级）最高能实现2倍的加速，这充分说明了FP8在硬件层面上的强大效能。虽然FP8相对于BF16带来了显著提速，但缩放粒度的选择——也就是缩放因子应用于张量的精细程度——会在实际性能上，尤其是GEMM操作中，引入微妙的权衡。更细的粒度虽然有助于数值稳定性和准确性，因为它能更好地适应张量内部的差异，但同时也可能带来额外的开销，从而影响原始吞吐量。

在GEMM操作中，缩放粒度不同，性能表现也呈现出明显的层级。一般来说，张量级缩放展示出最高的提速效果，因为它对整个张量只使用一个缩放因子，管理缩放的开销最小。

通道级缩放则处于中等粒度，通常对每个通道或行/列应用一个缩放因子。从图上可以看到，它的提速介于张量级和2D块级方法之间。

像子通道级2D2D缩放（例如，激活值采用1x128，权重采用128x128的块）这种更细粒度的策略，通常比张量级缩放的提速略低。这是因为管理张量内许多小块的多个缩放因子会引入计算成本，虽然这对精度至关重要，但可能会降低峰值原始吞吐量。对于其他可配置的块维度，比如1D1D或1D2D，也是同样的道理，更细的块划分意味着每次GEMM操作需要处理更多的缩放因子。

关键是，图1的横轴强调了GEMM操作规模的影响。随着K维度（即GEMM操作的规模）的增加，FP8相对于BF16的整体提速效果在所有缩放方法中普遍提高。这是因为对于更大的GEMM操作，使用8位精度带来的计算节省变得更加突出，盖过了管理缩放因子的相对开销。本质上，更大的GEMM操作能够更有效地发挥FP8计算的内在优势，即使增加了更细粒度缩放的复杂性。

虽然像MXFP8这样的硬件原生解决方案旨在通过专用的Tensor Core加速来减轻块级缩放的开销，但对于一般的FP8块级缩放实现，粒度（为了精度）与原始性能之间的权衡仍然是一个关键考虑因素。

除了原始的速度提升，低精度训练的一个核心考量是“收敛性”——也就是模型学习和降低损失的程度，以及最终在特定下游任务上的表现。训练损失曲线能为咱们提供有价值的学习过程洞察，但请记住，它并非衡量FP8效果的唯一标准；稳健的FP8下游评估指标，才是判断模型质量的最终依据。

图2：Llama 3.1模型上FP8技术和BF16的训练损失曲线

当咱们采用FP8训练时，咱们的期望是训练损失曲线应该尽可能地接近高精度基线（比如BF16），以确保模型能够有效学习而不会出现明显的性能下降。如图2所示，图中对比了不同FP8缩放策略与BF16基线（粉色线）的训练损失曲线。值得注意的是，深紫色线代表的FP8块级缩放，其轨迹与BF16基线非常相似。这种紧密的一致性表明，通过更细粒度的处理，块级缩放能够更有效地保持数值的准确性，从而使收敛行为与高精度BF16训练几乎一致。

相反，浅绿色线代表的FP8张量级缩放，偶尔会出现轻微的偏差或损失波动。这种收敛轨迹上的细微差异，恰恰揭示了粒度选择的内在权衡：虽然粗粒度的张量级缩放可能带来更高的原始GEMM吞吐量（正如咱们前面讨论的），但更细粒度的块级缩放往往能带来更小的精度损失和更稳定的学习路径，与BF16的表现更为接近。这清晰地说明了FP8训练中速度提升与数值稳定性之间需要精心平衡。

更精细的缩放方法，通过更好地适应张量内部多样化的动态范围，可以使收敛轨迹更忠实地跟踪高精度基线，尽管这可能与不那么精细的方法相比，在速度上有所差异。最佳选择通常需要在下游评估要求、可用计算资源和期望训练速度之间进行权衡。

实战演练：测试环境搭建

咱们所有的实战数据，都是基于英伟达NeMo框架25.04版本进行的。NeMo框架25.04通过英伟达Transformer Engine (TE)，提供了强大且生产级的FP8训练支持，并且对常见的密集型架构提供了开箱即用的优化方案，上手非常方便。

这次测试，咱们主要评估了两种领先的FP8方案：一种是在H100 GPU上使用的当前缩放（Current scaling）策略，另一种是针对更新的英伟达DGX B200架构的MXFP8策略。在两种方案下，咱们都测试了一系列前沿的大模型，包括Llama 3 8B、Llama 3 70B、Llama 3.1 405B、Nemotron 15B和Nemotron 340B。为了公平对比，每个设置都直接与BF16基线进行了比较，旨在衡量FP8在真实训练场景中的实际提速效果。

H100上的“当前缩放”策略表现

图3：H100 GPU上，采用FP8当前缩放策略的模型尺寸相关提速

从图3中，咱们可以看到，在H100 GPU上采用FP8当前缩放策略时，模型的提速效果与模型尺寸有着明显的正相关性。对于像Llama 3 8B这样的小模型，提速约为1.30倍。但这个优势随着模型架构的增大而变得更加显著。例如，Llama 3 70B模型实现了1.43倍的提速，而咱们测试套件中最大的Llama 3.1 405B模型，更是达到了惊人的1.53倍加速！

这种“模型越大，提速越明显”的趋势，绝不仅仅是统计上的巧合，它揭示了FP8训练在大规模语言模型中的一个根本性优势。新媒网跨境了解到，随着模型规模和计算复杂度的增加，8位精度计算带来的效率提升变得愈发突出。原因有两点：首先，更大规模的模型自然涉及更多的矩阵乘法和数据移动，而这两者都将受益于FP8在现代硬件上更小的内存占用和更高的吞吐量。其次，与缩放和动态范围调整相关的开销，在总计算量面前变得相对不那么重要，使得FP8的原始性能优势得以充分发挥。

DGX B200上的MXFP8策略表现

图4：英伟达DGX B200 GPU上MXFP8策略在不同模型尺寸下的表现

图4展示了MXFP8策略在DGX B200 GPU上的性能表现。它在不同模型尺寸下，相对于BF16实现了稳定的提速，提速范围在1.28倍到1.37倍之间。尽管这些绝对提速值略低于当前缩放策略，但其在多种模型上的稳定性和可靠性却非常值得关注。

从8B到70B参数，提速幅度相对平稳，但在340B参数时出现跳跃，这反映了块级缩放与模型及硬件特性之间的交互方式。MXFP8为每个32元素的块分配一个共享的缩放因子，这可能会为中型模型引入额外的内存访问开销。然而，随着模型规模的增加，计算成为主要瓶颈（例如Nemotron 340B），块级FP8的效率优势变得更加突出，从而实现了观察到的峰值提速。

这些结果突出了Blackwell (B200) 平台的架构优势。Blackwell平台的Tensor Core和内存层次结构，正是为MXFP8这种微缩放格式而优化的。这使得即使模型扩展到数千亿参数级别，也能保持高吞吐量和稳定的收敛。MXFP8的块级缩放方法，有效地平衡了动态范围和计算效率，在提供可靠加速的同时，也降低了数值不稳定的风险。

这种稳定性，恰恰体现了英伟达Blackwell架构的先进性。它就是为最大限度地提高FP8等低精度格式的效率而专门打造的，特别是针对MXFP8这类块级缩放方法。B200的Tensor Core和先进的内存层次结构，针对这些微缩放格式进行了优化，即便模型规模持续增长，也能实现高吞吐量和高效的内存利用。

通过MXFP8，每32个数值的块共享一个缩放因子，从而在动态范围和计算效率之间找到了一个完美的平衡点。这种方法不仅能够实现稳健的加速，还能最大限度地降低数值不稳定的风险——这在推动模型达到更大规模时，是一个至关重要的考量。

英伟达GB200 Grace Blackwell 超级芯片与Blackwell架构的比较

对比GB200和B200，咱们会发现架构集成和系统设计如何为大规模AI工作负载带来实实在在的性能提升。两者都基于英伟达Blackwell架构，但GB200超级芯片更进一步，它通过英伟达NVLink技术，将两颗B200 GPU与一颗Grace CPU紧密互联，形成了一个统一的内存域，带来了极其高的内存带宽，这对于处理超大规模AI任务简直是如虎添翼。

图5：GB200相对于B200在不同模型尺寸和FP8策略下的提速效果（注：图示数据基于NeMo FW 25.04计算，未来可能随进一步验证而变化）

结语与实战建议

新媒网跨境认为，从这些详尽的实测数据中，一个清晰的趋势浮出水面：对于密集型模型而言，模型越大，FP8带来的提速效果就越显著。这是因为随着模型规模的增长，矩阵乘法（GEMMs）的数量也会快速增加，而这些操作正是FP8通过降低精度和提升吞吐量而获益最大的地方。在大规模密集型模型中，FP8能够带来巨大的效率提升，使得咱们能够用更少的时间和计算资源，去训练和微调更大规模的语言模型，从而在激烈的市场竞争中赢得先机。

这些经验数据，不仅印证了咱们前面详细解析的各种FP8缩放策略的优势与权衡，更直接展示了无论是张量级缩放还是MXFP8方法，都能相较于BF16带来显著的提速和收敛收益。FP8绝不是一个单纯的技术名词，它是咱们跨境人提升AI效率、降低成本、抢占市场的重要利器。

风险前瞻与合规性提醒：

任何新技术都有其两面性。FP8虽好，但并非万能药。在实际应用中，咱们一定要做好充分的测试和验证，确保模型的收敛性和最终效果符合预期。尤其是在金融、医疗等对精度要求极高的领域，更要慎之又慎。同时，随着AI技术的广泛应用，数据隐私、算法偏见等合规性问题也日益凸显，咱们在追求效率的同时，绝不能忽视这些底线。

教程时效性提醒：

AI技术迭代速度惊人，咱们今天讨论的这些实战经验，可能在未来几个月甚至几周内就会有新的突破。因此，作为跨境实战专家，时刻保持学习的热情，关注英伟达官方、新媒网跨境以及行业内的最新动态，才能确保咱们始终站在技术前沿，不掉队。这篇教程的内容，基于2025年的最新技术和实测数据，建议大家在实践时，同步查阅最新资料进行验证。

准备好亲自尝试这些先进技术了吗？赶紧去探索FP8的各种实战配置和代码，让你的AI大模型训练速度飞起来吧！

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/mastering-fp8-llm-training-1-5x-speedup.html