新媒网 · 跨境数据社区

AI模型部署，是每一位跨境从业者在出海淘金路上都会遇到的“拦路虎”。模型越大、精度越高，对算力的要求就越苛刻，部署成本自然水涨船高。如何在保障模型性能的同时，大幅降低其体积和运行开销，成了大家普遍关注的焦点。新媒网跨境获悉，量化技术正是解决这一难题的利器，它能将模型参数从高精度（比如32位浮点数）压缩到低精度（如4位或8位整型），从而显著提升推理速度、减少内存占用。

常规的模型量化，我们通常会采用“训练后量化”（PTQ）的方式。顾名思义，这是一种在模型完成训练后，再对其进行量化处理的方法。它操作简便，无需额外的训练环节，直接就能将高精度模型“瘦身”。然而，PTQ也并非万能钥匙。当模型量化到非常低的精度时，例如从FP32降到FP4，有时会不可避免地带来精度损失，影响模型的实际表现。

这时，我们更需要一些“精雕细琢”的手段，例如“量化感知训练”（QAT）和“量化感知蒸馏”（QAD）。它们就像给模型量身定制的“健身计划”，让模型在“瘦身”前就适应低精度的“体态”，从而最大程度地恢复量化后的模型精度。

图1. PTQ、QAT和QAD的决策流程图，展示了模型如何根据精度标准逐步部署。

QAT和QAD的核心思想，是在模型训练阶段就模拟量化带来的影响。通过这种方式，原本高精度的模型权重和激活值，能够提前适应低精度数据类型所能表示的范围。这种“预适应”让模型从高精度向低精度的过渡更为平滑，往往能带来更出色的精度恢复效果。

在接下来的内容中，作为您的实战导师，我将和大家一起深入探讨QAT和QAD这两种前沿技术，并手把手教您如何借助TensorRT Model Optimizer工具，将其应用到您的AI模型中。Model Optimizer提供了与Hugging Face和PyTorch原生兼容的API接口，让大家在熟悉的工作流程中，也能轻松地为QAT/QAD准备模型。当模型通过这些技术完成训练后，我们还会演示如何高效地将其导出并通过TensorRT-LLM进行部署，真正实现“模型落地，效益先行”。

量化感知训练（QAT）：让模型“未雨绸缪”

量化感知训练（QAT）是一种非常巧妙的技术，它让模型在预训练完成之后，额外进行一个训练阶段，目的是学习如何处理低精度算术。与PTQ仅仅在全精度模型训练完成后，利用校准数据集进行量化不同，QAT在正向传播过程中就直接使用量化后的数值进行训练。

QAT的工作流程与PTQ大致相似，但关键在于，在将量化“配方”应用到原始模型之后，我们额外插入了一个训练阶段。

图2. 量化感知训练（QAT）的工作流程，展示了模型如何被准备、量化，并用模拟的低精度权重进行迭代训练。

QAT的终极目标，是为了生成一个量化后仍能保持高精度、并拥有出色推理性能的模型。这与我们追求训练效率提升的“量化训练”有所区别。因此，QAT可能会采用一些并非为了最大化训练吞吐量，但能为推理阶段带来更精确模型的策略。

在实践中，QAT通常在正向传播中使用“伪量化”（fake quantized）的权重和激活值。这意味着，低精度的数据类型会通过量化/反量化操作，在更高精度的数据类型中被表示出来。

图3. 此图展示了QAT/PTQ中相邻层间的“伪量化”。第N层的权重被量化到目标精度，立即反量化回BF16/FP16，然后被该层的操作使用——因此计算是在近似（反量化）值上进行的。生成的第N层输出激活值接着馈送到第N+1层，后者也使用反量化权重，表明下一层的输入是反量化激活值，而精度误差源于量化并向下游传播。

由于这个“伪量化”机制，QAT并不需要硬件原生支持低精度计算。例如，NVFP4的QAT就可以在Hopper架构的GPU上通过模拟量化来实现。它能够自然地融入现有的高精度训练流程，反向梯度在高精度下计算，而量化则被建模为一种直通操作（straight-through estimation, STE）。通过在训练过程中将损失函数暴露给舍入和裁剪误差，QAT使模型能够从中适应并恢复。

实践经验告诉我们，QAT可能无法最大化训练性能，但它提供了一个稳定且实用的训练过程，能够得到高精度的量化推理模型，这才是我们真正追求的价值。

在当前Model Optimizer的实现中，QAT的输出是一个新模型，它保持了原始的精度，但其权重已经根据量化需求进行了更新，同时还包含了转换到目标格式所需的关键元数据，比如：

• 每一层激活值的缩放因子（动态范围）
• 量化参数，例如位数
• 块大小

如何用Model Optimizer跑QAT

使用Model Optimizer进行QAT操作，整个流程相当直观。QAT支持与PTQ工作流相同的量化格式，这其中包括了我们熟悉的FP8、NVFP4、MXFP4、INT8以及INT4等关键格式。比如下面的代码片段，我们就选择了NVFP4的权重和激活值量化。

import modelopt.torch.quantization as mtq
config = mtq.NVFP4_MLP_ONLY_CFG

# 定义用于校准的正向循环
def forward_loop(model):
    for data in calib_set:
        model(data)

# 量化模型并为QAT做准备
model = mtq.quantize(model, config, forward_loop)

看到这里，您可能会发现，到目前为止的代码与PTQ阶段并无二致。那么，要真正进行QAT，关键一步就是需要执行一个额外的训练循环。这个循环中包含了我们日常微调模型时常用的可调参数，比如优化器选择、学习率调度器、学习率大小等等。

# 使用常规微调流程进行QAT
# 调整学习率和训练周期
train(model, train_loader, optimizer, scheduler, ...)

为了获得最佳效果，新媒网跨境建议您将QAT的训练时长设定为初始训练周期的大约10%。特别是在处理大型语言模型（LLMs）时，我们的实践观察到，即使QAT微调的时间不到原始预训练时间的1%，也往往足以恢复模型的质量，这无疑为我们节省了大量的宝贵时间。

如果您想深入了解QAT的更多细节，我们强烈建议您查阅完整的Jupyter notebook演练教程，里面有更详细的步骤和解释。

量化感知蒸馏（QAD）：让“老师”指导“学生”

与QAT类似，量化感知蒸馏（QAD）同样是为了在训练后量化中恢复模型精度，但它更进一步，同时引入了知识蒸馏（knowledge distillation）的理念。传统的知识蒸馏通常是一个更大的“教师”模型指导一个更小的“学生”模型，而QAD中的“学生”模型，则是在正向传播时利用了伪量化。这里的“教师”模型，是那个已经在相同数据上完成训练的原始高精度模型。

蒸馏过程的目标，是让量化后的“学生”模型的输出与全精度的“教师”模型输出保持一致。我们会用一个蒸馏损失函数来衡量量化预测与教师模型预测之间的偏差。

图4. QAD在教师模型指导下训练低精度学生模型，结合了蒸馏损失和标准QAT更新。

在蒸馏过程中，“学生”模型的计算是经过伪量化的，而“教师”模型则保持全精度运行。量化引入的任何不匹配，都会直接暴露给蒸馏损失函数，从而促使低精度的权重和激活值向“教师”模型的行为调整。

图5. QAD损失结合了来自教师模型的蒸馏损失和QAT损失，通过STE在量化条件下更新学生模型的权重。

QAD训练完成后，得到的模型在推理性能上与PTQ和QAT的表现一致（因为精度和架构没有改变），但由于蒸馏损失提供了额外的学习机制，其精度恢复效果往往会更好。

实践表明，这种方法比先蒸馏一个FP32模型再进行量化更为有效。这是因为QAD过程能够更好地考虑量化误差，并直接调整模型来弥补这些误差。

如何用Model Optimizer跑QAD

目前，TensorRT Model Optimizer提供了实验性的API，来帮助我们应用这项技术。其起始流程与QAT和PTQ类似，首先需要将量化配方应用到学生模型上。之后，就可以定义蒸馏配置，这包括指定教师模型、训练参数以及蒸馏损失函数等要素。当然，QAD的API还在不断完善中，未来会变得更加简便易用。为了获取最新的代码示例和文档，建议大家关注Model Optimizer仓库中关于QAD的最新更新。

QAT和QAD的效果如何？我们用数据说话

当然，并非所有模型都必须进行QAT或QAD。很多时候，通过简单的PTQ，模型在关键基准测试中就能保持99.5%以上的原始精度，这已经足够满足绝大多数场景的需求。

但在某些特定情况下，比如Llama Nemotron Super这样的模型，我们发现QAD能够带来显著的效益提升。请看图6，它对比了该模型在GPQA Diamond、LIVECODEBENCH、Math-500和AIME 2024等基准测试中，BF16基线分数与PTQ和QAD处理后的表现。除了LIVECODEBENCH，其他所有基准测试通过QAD都实现了至少4%到22%的精度恢复，这足以说明其价值。

图6. QAD在不同基准测试中保持了基线精度，超越了PTQ在Math-500和AIME 2024等任务上的表现。QAT精度未在此模型中测量，但预计介于PTQ和QAD之间。

在实际应用中，QAT和QAD的成功与否，很大程度上取决于训练数据的质量、所选择的超参数以及模型架构。特别是当我们将模型量化到4位数据类型时，像NVFP4这样的格式，会因为其更细粒度和更高精度的缩放因子而受益匪深。

图7展示了Llama-Nemotron Nano在常见VLM基准测试中NVFP4和MXFP4的精度对比。在AI2D、ChartQA和DocVQA等测试中，我们看到NVFP4始终以不到1%的微弱优势领先。虽然看似微小，但新媒网跨境认为，这些细微的差异在实际应用中却可能带来可感知的显著影响。在OpenVLM Hugging Face排行榜上，顶级模型与排名靠后的模型在某个特定基准测试上的性能差距，往往也只有几个百分点。

图7. NVFP4和MXFP4格式的QAD 4位精度模型评估精度与原始精度对比。

在视觉问答（VQA）任务，如InfoVQA和DocVQA之间，我们观察到了更大的差距。InfoVQA和DocVQA虽然都要求模型回答关于图片的问题，但它们在推理过程中侧重不同。InfoVQA的数据集通常包含复杂的图表和图形，里面有细小的数字、纤细的线条和精妙的标注。当模型被量化到4位时，我们很可能因为舍入误差而损失模型捕捉这些微小细节的能力。这时，NVFP4的优势就体现出来了，因为它采用了更细粒度的缩放（更小的块和更高精度的缩放因子），能更好地保留微弱信号和偶尔出现的异常值——这使得视觉和文本组件之间的对齐更加稳定（减少了舍入/裁剪误差）。相比之下，DocVQA主要处理干净、结构化的文档（如表格、发票、收据），一旦找到正确的字段，答案就一目了然。因此，这两种格式的模型表现都接近上限，差距自然较小。

结语：让您的AI模型“飞得更高，跑得更快”

量化感知训练（QAT）和量化感知蒸馏（QAD）是PTQ的有力补充，它们通过让模型直接适应低精度环境，从而在简单校准无法满足精度需求时，依然能够恢复模型的准确性。正如Math-500和AIME 2024等基准测试所展现的，这些技术能够有效弥合低精度推理与全精度基线之间的差距。这意味着，开发者们可以鱼和熊掌兼得：既享受FP4执行带来的高效，又保留高精度训练所赋予的稳健。当然，在实际操作中，数据集的选择和训练超参数的调整至关重要，它们会对最终结果产生显著影响。

有了TensorRT Model Optimizer的加持，这些先进的工作流通过大家熟悉的PyTorch和Hugging Face API就能轻松实现，让尝试NVFP4和MXFP4等前沿格式变得触手可及。无论您追求PTQ的速度，QAT的韧性，还是QAD带来的精度提升，TensorRT Model Optimizer都为您提供了一整套完善的工具包，助您在NVIDIA GPU上轻松压缩、微调和部署模型。新媒网跨境预测，这将让您的AI模型变得更快、更小、更准，为您的出海业务插上腾飞的翅膀，在规模化生产中脱颖而出！

想要了解更多实战细节，别忘了查看我们提供的Jupyter notebook教程。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/trt-ai-model-deploy-1pct-time-99-acc-restore.html