AI搜索新玩法：13万词元塞满上下文，SEO迎来变革！

近期，全球AI搜索领域的发展备受关注。新媒网跨境获悉，来自Perplexity AI公司的专家杰西·德怀尔（Jesse Dwyer）在一次专访中，详细解读了AI搜索的工作原理及其对传统搜索引擎优化（SEO）策略的影响，为业内人士提供了宝贵的洞察。此次对话不仅揭示了AI搜索的内在机制，也指明了内容创作者和优化者未来应关注的核心方向。

AI搜索的当下：个性化成为核心变革

杰西·德怀尔强调，当前AI搜索与传统搜索的一个关键区别在于其“非零和博弈”的特性。这意味着，即使是针对同一个查询，两位用户也可能获得截然不同的搜索结果。这主要是因为AI工具（如Perplexity、ChatGPT）能够将用户的个人记忆或历史语境加载到其“上下文窗口”（context window）中，从而生成高度个性化的回答。

在传统搜索中，搜索引擎通常会针对特定查询显示相对一致的搜索结果列表。然而，AI搜索的个性化特性打破了这一常态。德怀尔指出，这种差异根植于索引技术的底层架构。尽管如此，他明确表示，当前大多数传统的搜索引擎优化（SEO）最佳实践依然适用。这意味着，内容的基础质量、相关性以及网站的技术优化仍是确保内容被AI搜索系统检索到的前提。

德怀尔进一步阐释，尽管AI搜索结果的呈现形式发生变化，但内容能否被检索到，SEO依然发挥着重要作用。例如，Perplexity AI在内部评估网站的流行度和相关性时，据说会采用一种类似于“PageRank”（页面排名）的链接分析方法。PageRank是谷歌早期使用的重要算法，通过分析网页间的链接关系来评估其重要性。这暗示着，高质量的外链建设和网站权威性在AI搜索时代仍是优化的重点之一。

总结来说，德怀尔的观点是，传统搜索引擎倾向于为特定查询稳定地展示前十个站点，而AI搜索由于其对话的上下文特性，更有可能为每个用户提供不同的答案。他对此表示认同，并强调这是AI搜索时代的一大特点。

深度解析：文档级与子文档级处理的根本差异

杰西·德怀尔在专访中深入探讨了AI搜索生成答案的幕后机制，主要区分了两种截然不同的处理方式：“文档级处理”和“子文档级处理”。

1. 文档级处理：传统模式下的AI摘要

德怀尔解释说，传统的搜索引擎以“整个文档”为单位进行索引。它们抓取一个网页，对其进行评分，然后归档。当基于这种架构构建的AI工具（如集成了网页搜索功能的ChatGPT）工作时，它本质上是执行一次经典的搜索，获取排名前10到50的文档，然后指示大型语言模型（LLM，Large Language Model）对这些文档进行摘要。

这种方式被戏称为“披着大衣的四次必应搜索”，形象地说明了模型是基于标准的搜索结果来生成输出的。德怀尔将这种优化策略称之为“生成引擎优化”（GEO，Generative Engine Optimization）。这种文档级搜索本质上仍是算法驱动的，并非纯粹的AI，因为索引中的数据仍然是传统的页面评分机制。

2. 子文档级处理：AI原生搜索的核心

与文档级处理形成鲜明对比的是“子文档级处理”，这被认为是AI原生的方法。在这种模式下，搜索引擎不再索引整个页面，而是索引具体、细粒度的“片段”（snippets）。这里的“片段”并非传统SEO中常说的“精选摘要”，在AI术语中，一个片段大约是5到7个“词元”（tokens），也就是2到4个单词。这些文本数据通过一种被称为“变换器模型”（transformer，也是GPT中T的来源）的基础AI处理过程，被转换为数字形式。

当用户向一个子文档系统发出查询时，系统不会检索50个文档，而是会检索大约130,000个词元，即约26,000个最相关的片段，以供给AI模型。德怀尔指出，这些数字并非绝对精确，实际的片段数量会使得总词元数恰好填满特定大型语言模型的“上下文窗口”容量（目前平均约130,000个词元）。

新媒网跨境了解到，这种方法的目的是完全用最相关的信息填充AI模型的上下文窗口。当上下文窗口被充分饱和时，模型产生“幻觉”（hallucinate，即生成不准确或虚构信息）的可能性会大大降低。换言之，它不再是一个纯粹的“创意生成器”，而是能够提供更精确的答案。

德怀尔认为，子文档方法代表着行业的发展方向，也因此更适合被称为“答案引擎优化”（AEO，Answer Engine Optimization）。他承认，尽管这是一个简化的描述，但正是这种个人化的语境使得每次搜索的结果不再是普遍一致的。因为大型语言模型能够利用其掌握的搜索者的所有信息，帮助填满整个上下文窗口，这远超传统谷歌用户画像所能提供的信息量。

像Perplexity或任何其他转向子文档处理的AI搜索公司，其核心竞争力体现在索引与数万个片段之间的技术上。通过“调节计算”（modulating compute）、“查询重构”（query reformulation）以及运行在索引之上的专有模型等技术，这些公司能够使检索到的片段与用户查询高度相关，这是获得更好、更丰富答案的关键所在。

德怀尔还提及，Perplexity的搜索API也正是基于这一原理，对于开发人员在产品中集成搜索功能而言，这种差异是巨大的。

影响与启示：优化策略的演变

德怀尔的阐述清晰地对比了两种根本的索引和检索方法：一种是“整个文档索引”，即网页作为完整单元被检索和排名；另一种是“子文档索引”，即意义以细粒度片段的形式存储和检索。

在第一种模式下，AI位于传统搜索之上，主要负责总结排名靠前的页面。而在第二种模式中，AI系统直接检索片段，从不完全基于完整的文档进行推理。

他还指出，答案质量受到“上下文窗口饱和度”的制约，即准确性来源于用相关片段填满模型的整个上下文窗口。当检索成功饱和了该窗口时，模型便几乎没有能力虚构事实或产生幻觉。新媒网跨境认为，这种机制揭示了AI搜索追求精确性的底层逻辑。

最后，德怀尔强调，“调节计算、查询重构和专有模型”是Perplexity在检索与搜索查询高度相关的片段方面的“秘密武器”。这些技术使得AI搜索能够在复杂的查询中提供更精准、更个性化的答案，预示着未来搜索优化将更加注重内容的细粒度价值和上下文匹配度。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/ai-search-130k-tokens-context-seo-change.html