颠覆！AI拒绝竟可控，LLM知害仍遵从！

大型语言模型（LLMs）的飞速发展，正以前所未有的速度重塑着我们的数字生活，它们在文本生成、智能对话、内容创作等多个领域展现出惊人的潜力。然而，伴随其强大能力而来的，是对模型安全性和可控性的更高要求。为了确保AI技术的健康发展，研究人员一直在探索如何让模型在面对不恰当或有害指令时，能够坚定地“说不”，也就是我们常说的“拒绝行为”。

这种拒绝机制，是AI安全防线的重要组成部分。它旨在防止模型生成有害内容，维护数字空间的健康与和谐。然而，在某些特定的、需要高度精准控制的场景下，例如科研探索、安全漏洞分析或特定行业应用，过于宽泛的拒绝行为可能会限制模型的潜能。这时，如何既能保持模型的安全性，又能对其拒绝行为进行精细化管理，就成为了一个重要的研究课题。

新媒网跨境获悉，一项名为“投射式消融法”（Projected Abliteration）的创新技术，为我们理解和调控大型语言模型的“拒绝行为”提供了新的视角。这项研究旨在通过更精准的干预手段，在不损害模型核心安全原则的前提下，实现对拒绝行为的细粒度控制。

传统的消融法，就像是在模型的“大脑”中，找到一个与“拒绝”相关的特定方向，然后直接将其“抹去”。这个方向通常是通过比较模型在处理“有害但被拒绝的指令”和“无害且被接受的指令”时，其内部激活模式的平均差异来确定的。简单来说，就是把模型“拒绝有害指令”时激活的特征，减去“接受无害指令”时激活的特征，从而得到一个代表“拒绝”的向量方向。

然而，这种简单粗暴的干预方式，有时可能会带来意想不到的副作用。研究人员发现，模型对指令的“拒绝”可能不是一个单一的、纯粹的“不”，而是包含多种复杂因素的综合表现。这种拒绝方向可能不仅仅代表了模型对“有害性”的识别，还可能混杂着其他与模型“乐于助人”或“无害响应”等通用能力相关的特征。如果把这些混杂在一起的特征一股脑地移除，就像是切除病灶时，不小心也损伤了健康的组织，模型可能会因此变得“迟钝”，甚至出现其他性能下降的问题。例如，外媒曾有研究指出，未经优化的消融操作可能导致模型性能下降，输出变得不合语法规范。

新媒网跨境了解到，为了解决这一问题，“投射式消融法”应运而生。这项技术的核心思想是：对模型内部的“拒绝方向”进行精细的“解构”，将其分解为不同的组成部分，然后只针对其中真正与“拒绝行为”强相关、具有明确机制意义的部分进行干预。

我们可以把模型的内部激活空间想象成一个复杂的思维地图。当模型接收到指令时，这个地图上的某些区域会被点亮，形成特定的“思维模式”。“拒绝方向”就像是这张地图上的一条特定路线。研究人员发现，这条“拒绝路线”实际上可以被分解为两个主要的分支：一个分支与模型“提供有益、无害帮助”的通用能力高度相关（可以理解为“平行分量”），另一个分支则更纯粹地代表了“拒绝”这一特定行为（可以理解为“正交分量”）。

“平行分量”的含义往往比较模糊，它可能只是不同情境下“有用性”表征上的细微差异，也可能是拒绝行为与模型核心“乐于助人”能力之间某种必要的耦合。直接移除这部分，可能会对模型正常的“乐于助人”行为造成不必要的干扰。而“正交分量”则相对清晰，它捕捉了超出通用“有益模式”之外的、独特的拒绝特征，更可能是拒绝机制的本质所在。

通过对Gemma 3 12B Instruct模型进行的实证测量，研究人员发现了一个有趣的现象：虽然拒绝方向与有害方向之间呈现正相关（这符合预期），但与无害方向之间却呈现负相关。这暗示了传统的观点，即将拒绝视为单一方向的理解可能并不完全准确。实际上，拒绝行为可能包含两个方面：一方面是“推向拒绝”的力量，另一方面是“推离遵从”的力量。

关键在于，如果我们的目标是让模型在特定受控情境下能够“遵从”某种指令，那么移除那个“推离遵从”的成分，在理论上是站不住脚的，因为遵从本身正是目标。更重要的是，在未经充分理解的情况下，对模型核心的遵从机制进行干预，很可能会损害其作为已训练和微调模型的性能表现。因此，研究人员提出，在进行消融操作之前，应当将这种“推离遵从”的成分从拒绝方向中剔除。

“投射式消融法”正是基于这样的理论考量，它精准地只移除了拒绝方向中与“无害行为”方向正交的成分。用数学语言来说，就是从总的拒绝方向中，减去其在无害方向上的投影。这样一来，剩下的就是那个更纯粹、更具机制特异性的拒绝行为分量。这种方法，在概念上与其他的基于正交化的拒绝调制技术有所关联，但它并非简单地调整干预强度，而是直接去除了特定的方向性成分，从而实现更加精准的调控。这种额外的计算量微乎其微，所需信息在常规拒绝方向计算时便已具备，因此实施起来非常高效。

在具体的实施过程中，研究人员也遇到了一些技术挑战，但他们通过精巧的设计和细致的调试一一克服。例如，在使用Gemma 3 12B Instruct模型进行测量时，他们发现模型的激活值中存在一些极端异常值。这些异常值使得有害和无害方向之间的区分变得复杂，甚至导致两者之间的人为高余弦对齐。这主要是由于Gemma 3模型所采用的GeGLU激活函数特性所致。

为了有效解决这些问题，研究团队采取了多项创新措施：
首先，他们发现，在进行中间计算时，必须使用完整的32位浮点精度，而非模型权重默认的bfloat16精度，以避免数值不稳定性。这如同在精细的科学实验中，对测量工具的精度有着严格要求。
其次，为了有效分离这些方向，他们采用了“温瑟化”（Winsorization）处理，这是一种统计学上用于处理异常值的方法。具体来说，他们在将每个激活测量值输入到用于稳定计算平均值的算法之前，通过将超出99.5%分位数的值进行幅度剪裁。如果没有这一预处理步骤，传统的消融法会导致模型输出不连贯，甚至无法生成合乎语法的文本。虽然温瑟化的强度是通过经验试错法确定的，但它在确保模型连贯性方面发挥了关键作用。

更令人振奋的是，研究团队在4位Bitsandbytes量化版本的模型上测量了提示的激活，并根据这些测量值计算出拒绝方向，随后将这些方向应用于全bfloat16精度的模型进行干预，最终在后续的推理中实现了模型的连贯性。这意味着，即使在引入了量化误差的情况下，这种跨精度的迁移也能成功，表明模型中拒绝和遵从编码的根本鲁棒性。这对于未来AI模型在低功耗设备上的部署具有重要的指导意义。

为了进一步验证这种方法的普遍性，研究人员还在4位量化版和全精度版的Nemo Instruct 2407 12B模型上分别测量了激活值。结果显示，不同层之间的拒绝方向余弦相似度在不同精度级别下表现出高度的一致性，仅有轻微的差异反映了量化误差。值得注意的是，Nemo模型无需温瑟化预处理，这表明异常值挑战可能特定于Gemma 3的架构，而非所有模型普遍存在的问题。

在效率方面，研究团队以32的批次大小进行推理和激活测量，这不仅提高了实验效率，也部分复制了生产环境中批处理推理所产生的激活偏移，提升了测量结果的生态有效性，更贴近实际应用场景。

在干预策略上，Gemma 3模型包含重复的5个局部注意力层和1个全局注意力层（共48层）。研究人员在两个全局注意力层（第23层和第29层）测量了拒绝方向。他们认为，全局注意力层在模型的中间到中后层，能够捕捉到语义上连贯的拒绝意识。随后，他们将测量到的方向应用于更广泛的局部和全局层范围：来自第23层的方向应用于第11-23层，而来自第29层的方向应用于第24-41层。这种策略基于一个假设，即局部注意力层即使在注意力范围有限的情况下，也能在全局层之间传播拒绝信号。需要如此广泛的多层干预，表明拒绝机制在模型的深度上是稳健分布的，而非局限于特定层。当早期层未被修改时，安全拒绝行为依然存在；将干预扩展到后续层，则提高了拒绝消除的质量和一致性。这表明，有效的消融操作可能需要空间上一致的干预，以对抗安全拒绝的稳健分布式编码。这与仅在单层进行干预的朴素消融法有所不同。

最终的实验结果令人鼓舞。通过使用这种改进后的“投射式消融法”对Gemma 3 12B Instruct模型进行操作，研究人员成功地在有害测试提示下绕过了模型的拒绝行为。更重要的是，他们再次证实了此前研究（Zhao et al, 2025）的发现，即模型对“有害性”的编码和“拒绝行为”的编码是彼此独立的。这意味着，即使模型被引导去执行一个原本会拒绝的指令，它仍然能够“意识”到该指令潜在的危害（例如，会提供安全提示或免责声明），从而在遵从指令的同时，保持对风险的感知。

新媒网跨境认为，这项研究为大型语言模型的安全性和可控性打开了新的大门。它不仅仅是技术层面的突破，更是对AI内部机制理解的深化。能够精准地调控模型的拒绝行为，意味着我们可以在保证模型对“有害性”基本认知的前提下，为特定受控场景（如专业领域的安全测试、复杂数据分析或创新型人机交互实验）开发出更加灵活和强大的AI工具。

未来，随着对AI内在机制理解的不断深入，我们有望构建出既能充分发挥其强大能力，又能始终坚守安全底线的智能系统。这项技术的发展，将促使AI在更多领域发挥积极作用，为社会进步贡献智慧和力量，共同推动AI技术朝着更加负责任、更加普惠、更加安全的方向发展。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/llm-refusal-now-control-know-harm-obey.html