新媒网 · 跨境数据社区

新媒网跨境获悉，《国家科学院学报》（PNAS）发表的一项同行评议研究表明，大型语言模型（LLMs）在被要求从多个选项中进行选择时，往往更倾向于选择其它LLMs创作的内容。研究作者指出，这种趋势可能会导致AI辅助内容在未来产品发现和推荐中处于优势地位。

关于该研究

研究的测试内容

此次研究由沃尔特·劳里托（Walter Laurito）与简·库尔维特（Jan Kulveit）联合率领团队展开。研究将人类和AI创作的内容进行了对比，具体涵盖三类领域：商品市场的产品描述、学术论文摘要以及电影情节概述。

研究中使用了一些当前主流的大型语言模型作为选择方，包括：GPT-3.5、GPT-4-1106、Llama-3.1-70B、Mixtral-8x22B和Qwen2.5-72B。这些模型通过成对对比的方式，面对人类与AI编写的文字内容，在其中强制做出单项选择。

报告中指出：

“我们的研究结果显示，基于LLM的AI在选择对比内容时对AI生成的选项表现出一致偏好。这暗示了未来AI系统可能对人类作为一类内容创作者存在隐性歧视，从而赋予AI代理或AI辅助创作者不公平的优势。”

核心结论一览

在实验中，当实验者使用GPT-4生成AI创作内容并将其与人类创作内容进行对比时，选择方（LLMs）比人类评估者更倾向于选择AI创作的内容：

• 商品描述：89%的LLMs选择AI内容，而人类为36%;
• 论文摘要：78%的LLMs选择AI内容，而人类为61%;
• 电影概要：70%的LLMs选择AI内容，而人类为58%。

此外，研究还指出部分模型存在“顺序效应”，即某些模型更倾向于选择列表中靠前的选项。为降低这一效应的影响，研究团队采取了交换选项顺序并平均结果的策略。

研究的意义

如果市场、聊天助手或搜索体验逐步采用LLMs来评分或概括内容，那么AI辅助文本将更有可能被这些系统选中。这一趋势可能会对企业内容创作的方式产生重大影响。

研究作者指出，企业未来或将不得不为AI生成工具付费，以避免在AI评估系统中被降级处理。这种担忧不是简单的创意开发问题，更涉及到营销运营的层面。

同时，这也提升了对于利用AI工具与人类创作者协作的新需求。在确保文字语气和声明准确性的同时，也要平衡AI生成内容的“可发现性”和转化率。

研究的局限性及待解问题

此次实验的人类基线样本较小，仅由13名研究助理组成，调查结果也尚处于初步阶段。此外，实验设计中的成对对比选择方法并未直接衡量最终销售效果等后续影响。

另一个未解的关键问题是：LLMs为何更倾向于AI创作内容？目前机制尚不明确。研究团队呼吁后续工作应从内容风格分析（Stylometry）及缓解技术层面展开更多探索。

展望与建议

随着AI参与排名与内容发现的程度逐渐加深，企业需要认真审视AI辅助工具在保持内容可见性中的作用。这并不意味着完全取代人类创作者，而是基于实际效果实验，在合适时机利用AI助手业内优势。然而，在生成的内容涉及语气、价值主张以及客户体验时，仍需保持人类创作的独立性和平衡作用。

对于内容创作者而言，AI工具可以是优化效率和提升可见性的强大帮手，但如何确保最终结果符合目标用户需求仍然是不可忽视的关键。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/16295.html