跨境AI降本：大模型吞吐量暴增2.1倍！

在2025年的当下，人工智能技术正以惊人的速度迭代，深刻改变着全球各行各业的运作模式。对于中国的跨境电商、贸易及相关服务领域而言，如何有效利用AI，尤其是在不大幅增加运营成本的前提下，提升智能客服、内容生成、数据分析等核心环节的效率与质量，已成为业界关注的焦点。大型语言模型（LLMs）的强大推理能力虽然备受认可，但其高昂的运行成本和对计算资源的需求，常常让许多企业望而却步。因此，如何在保证模型性能的同时，显著提升其运行效率，成为了当前AI领域亟待解决的关键课题。

正是在这一背景下，一项关于高效推理模型蒸馏的新进展引起了广泛关注。研究人员成功地将其拥有强大推理能力的150亿参数模型转换为Mamba混合架构，在基本不牺牲模型质量的前提下，实现了2.1倍的吞吐量提升。这一突破的关键在于对蒸馏数据选择的独到见解，它颠覆了传统直觉，为AI模型的优化开辟了新路径。

回溯到2024年10月，外媒曾有观点认为“高效注意力机制已走到尽头”，但很快便被新的技术证明并非如此。事实证明，技术路径的选择，往往取决于具体的应用场景和限制条件。本次研究面临的挑战也很明确：如何在不进行海量数据预训练，不从零开始设计架构的前提下，将一个现有的、强大的150亿参数推理模型变得更加高效？简单来说，就是能否通过蒸馏的方式，为现有模型“加装”效率引擎？答案是肯定的，但这需要我们抛弃对蒸馏数据选择的固有认知。

Apriel-H1 系列模型的构建与性能表现

Apriel-H1 系列模型家族包含了多个版本，涵盖了25到40个Mamba层（总共50层），展现了效率与质量之间的完整权衡曲线。其中，旗舰模型Apriel-H1-15b-Thinker-SFT在保持卓越推理能力的同时，实现了2.1倍的吞吐量提升。具体而言，该模型在MATH500和MTBench等推理基准测试中，分数略有提升（MATH500从0.90提升至0.92，MTBench从8.30提升至8.58）。而在GSM8k（从0.97轻微下降至0.95）、GPQA（从0.59轻微下降至0.55）和AIME24（从0.70轻微下降至0.65）等测试中，分数略有回落，但整体性能仍然出色。该模型的总训练量达到了768亿个词元。

（Apriel-H1-15b-Thinker-SFT模型（绿色）与全注意力教师模型（蓝色）的评估对比。在基准测试中，推理质量基本保持不变，而吞吐量根据上下文长度实现了1.89至2.09倍的提升。）

上述数据显示，Apriel-H1-15b-Thinker-SFT模型在关键推理任务上的表现与原始模型基本持平，但处理效率却有了显著飞跃。这对于需要大规模部署AI模型的跨境电商平台和卖家而言，无疑是一个利好消息，意味着在处理客户咨询、生成营销文案等场景下，可以更快速、更经济地响应。

打破常规的洞察：蒸馏数据的选择

研究初期，团队曾根据直觉认为，只需在预训练数据上进行蒸馏，再辅以少量的监督微调（SFT）即可。其理由在于，新引入的Mamba层从未接触过数据，需要从头学习通用的词元混合机制，因此应当接触与原始注意力层相同的广泛数据分布。然而，经过尝试，包括混合预训练数据和SFT数据，这种方法并未奏效，蒸馏后的混合模型推理质量出现了大幅下降。

真正的突破在于，他们发现应该使用来自教师模型SFT数据集中的高质量推理痕迹进行蒸馏。蒸馏一个推理模型，其目的并非简单地传递通用型下一个词元预测能力，因为基础模型本身已具备这一能力，且研究起始于一个强大的150亿参数基础模型。更重要的是，要精准地保留教师模型复杂且脆弱的多步推理模式。这些模式源自精妙的注意力机制，例如：从数千个词元外提取上下文信息，识别并延续逻辑链条的归纳注意力，以及连接遥远前提与结论的远距离依赖关系。

当用Mamba的线性循环机制全面替代注意力机制时，这些计算模式会受到干扰。混合模型必须寻找新的路径来达到相同的推理结果。这种路径的发现，需要明确的示例来展示推理结构清晰且正确的案例，例如：

• 多步数学证明： 每一步思考都清晰地承接前一步。
• 编程任务： 具有明确的逻辑依赖关系。
• 科学分析： 包含详细的解释链条。

与此相反，预训练数据往往过于嘈杂和分散，推理信号容易被淹没。因此，我们需要的是专注于特定能力的集中型示例。

在明确了数据选择后，蒸馏方法也变得清晰起来。研究团队采用了反向KL散度（温度设置为1），而非传统的正向KL散度，并取得了持续的优势。究其原因，是在教师模型具有高置信度和清晰结构的问题上进行训练时，反向KL散度追求模式匹配的特性，能鼓励学生模型也对这些高置信度预测保持同样高的置信度。当教师模型既自信又正确时，我们当然希望学生模型也能如此。

这一洞察，是整个方法论的基石：它告诉我们，在模型蒸馏时，选择数据要围绕你希望保留的核心能力，而非试图从头构建的能力。这对于我国跨境行业在优化AI模型时具有重要启示，即应聚焦业务场景中真正需要保留的核心能力（如复杂的订单处理逻辑、多语言客服的精准理解等），而非盲目追求数据规模。

分阶段蒸馏的实践路径

将注意力层直接替换为Mamba层并期望获得良好效果，是不切实际的。研究团队在实践中也曾遭遇挫折，最终开发出了一套可靠的分阶段蒸馏流程：

1. 第一阶段：识别并替换非关键层。
   研究团队通过“留一法”（Leave-One-Out, LOO）分析来评估每个层的重要性：移除一个层，用恒等映射替代，然后测量性能下降幅度。根据重要性排序后，将最不重要的25层替换为使用Mamba-in-Llama (MIL) 初始化的混合器。随后进行端到端蒸馏，成功构建了H-25检查点。

2. 第二阶段：超越25层的渐进式转换。
   当Mamba层数超过25时，LOO方法的有效性开始下降，因为那些在孤立状态下不重要的层，在组合后可能变得至关重要。为解决此问题，他们开发了一种名为MIL-Mamba-Replacement (MMR) 的动态启发式方法。对于每个剩余的注意力层，他们用MIL初始化一个Mamba混合器，运行100个训练步骤，并记录蒸馏损失。那些收敛到较低损失的层被认为更容易被替换。这种方法捕捉了训练动态，而非静态重要性。团队以增量方式推进：从25个Mamba层逐步增加到27、30、34、37，最终达到40层，并根据MMR分数进行分组替换。每个检查点都从前一个检查点进行蒸馏。

3. 第三阶段：端到端SFT训练。
   在达到目标Mamba层数后，团队进行了最终的监督微调（SFT），直到推理性能稳定下来。经过559亿个蒸馏词元和209亿个SFT词元的训练，最终得到了Apriel-H1-15b-Thinker-SFT模型。
   
   （Apriel-H1系列模型的完整效率边界。每个检查点都显示了累积训练词元。旗舰模型H-30-SFT（即Apriel-H1-15b-Thinker-SFT）总共使用了768亿词元，实现了2.1倍的吞吐量和0.76的平均得分。激进转换的H-40版本使用了1365亿词元，实现了3.4倍的吞吐量。）

值得一提的是，英伟达的Nemotron-Nano-9B-v2模型在0.77的平均得分下实现了4.6倍的吞吐量，但那需要从零开始训练，并投入远超Apriel-H1项目数个数量级的计算资源。这再次印证了在有限资源下，分阶段蒸馏的实用价值。

开放工具：Fast-LLM训练框架

为了确保研究成果的可复现性，所有工作都是基于Fast-LLM这一开源训练框架完成的。Fast-LLM的核心设计理念是大型语言模型Transformer应该模块化，这意味着注意力机制和Mamba模型作为“混合”接口的不同实现，可以自由替换。Fast-LLM框架支持梯度累积、分布式训练、张量并行以及检查点等大规模实验所需的所有功能，且已开源并遵循Apache 2.0协议。

常见问答摘要

• 为何发布所有检查点？
  研究团队认为，最佳选择取决于用户自身的限制条件。例如，H-30版本提供了最佳的平衡，而H-40版本则在延迟敏感型任务中最大化了吞吐量。中间的检查点为用户提供了根据具体需求进行精确权衡的选择空间。

• 为何在不同上下文长度下，加速比有所不同？
  Mamba模型的线性复杂度优势会随着序列长度的增加而愈发显著，而注意力机制的复杂度呈平方级增长，因此Mamba的效率优势在长序列处理中更为突出。

• 为何仅尝试了Mamba模型？
  主要基于三点考量：Mamba在蒸馏方面已有成功的案例、在实际应用中表现出色，并且在他们的框架中易于实现。这使得研究团队能够优先专注于解决数据选择的核心问题。

• Mamba模型的超参数设置？
  具体设置为：状态大小16，DT秩16，内部维度4096。在Apriel模型的GQA（分组查询注意力）设置中，输入投影（B）和状态（x）的维度被扩展以匹配Mamba-1中的总注意力头数。

• 为何未尝试更先进的转换方法？
  研究团队使用了Mamba-in-Llama初始化和知识蒸馏，而非MOHAWK的多阶段程序，因为初步实验表明后者并未展现出显著优势。

• 为何仅对H-30模型进行SFT？
  仅对H-30模型应用SFT是为了验证蒸馏后的混合模型可以通过标准的后期训练进一步提升。其他检查点是纯粹的蒸馏结果，但同样可以进行微调。

• 为何未探索强化学习（RL）？
  这是研究范围的决定，旨在独立探讨知识蒸馏是否足以传递推理能力。答案是肯定的。但未来版本的迭代中，强化学习有望进一步缩小质量差距，团队正在积极探索。

• Apriel-H1是否在相似计算预算下，真正匹配了全注意力模型的推理能力？
  研究团队并未在全注意力Apriel模型与基于Apriel-H1架构从预训练开始进行同样训练的混合模型之间进行苹果对苹果的直接比较，因为这将超出其计算预算。但可以肯定的是，通过蒸馏方式为现有模型 retrofitting（加装）效率是实用且有效的，且由此产生的混合模型经过微调后，可以匹配甚至超越教师模型的推理质量。

实际部署考量

目前，Apriel-H1已在Hugging Face Transformers和vLLM中实现。在Transformers中的集成相对直接，通过引入一个新的模型类，使得注意力层和Mamba层可以互换。vLLM的集成则利用了其最新的Mamba缓存操作，支持连续批处理、前缀缓存和分块预填充，vLLM插件已准备就绪。

坦诚而言，在2025年部署混合模型仍面临一些挑战，其工具链仍在快速成熟中，但尚未达到开箱即用的程度。这意味着用户可能需要编写自定义代码，仔细验证数值行为，并解决框架限制。对于能够承担这些初期成本的团队而言，吞吐量的显著提升是值得的。而对于暂时无法承担的团队，等待技术进一步成熟或许是更明智的选择。

核心启示

大多数团队并不具备进行万亿级词元预训练的无限计算资源。如果企业已经投入构建了一个强大的基础模型，并希望在此基础上实现效率提升，那么这项研究展示了一条切实可行的路径：利用与要保留能力相匹配的高质量、任务特定数据，对模型进行蒸馏，从而转化为混合架构。这个反直觉的发现——即使用推理数据来蒸馏推理能力——事后看来似乎是显而易见的，但它却推翻了最初的直觉。研究团队不仅验证了这一方法，解释了其工作原理，还构建了基础设施以确保其可复现性。

对于国内的跨境从业者而言，紧密关注这类能有效平衡模型性能与运行成本的技术创新，将有助于我们在激烈的市场竞争中保持技术领先性，为业务发展提供更坚实的AI支持。

获取资源
模型：HuggingFace上的Apriel-H1模型集合
训练框架：GitHub上的Fast-LLM
教师模型：Apriel-Nemotron-15B-Thinker

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/cross-border-ai-cuts-llm-costs-2-1x-speed.html