新媒网 · 跨境数据社区

近期，全球网络基础设施服务商Cloudflare宣布推出一项名为“内容信号策略”（Content Signals Policy）的新功能，作为robots.txt协议的补充，旨在赋予网站所有者对其内容被访问后如何使用的偏好设置权限。这项新策略的核心目标是阻止谷歌（Google）的人工智能摘要（AI Overviews）产品利用网站内容，同时允许网站内容继续在谷歌的常规搜索结果中正常展示。新媒网跨境获悉，此举反映出内容发布者在人工智能技术广泛应用于搜索引擎背景下，对自身内容控制权的日益重视。

Cloudflare新策略的提出与背景

2025年1月，Cloudflare正式发布了这项内容信号策略。据外媒报道，Cloudflare首席执行官Matthew Prince在接受采访时表示，该公司致力于简化网站发布者更新其robots.txt文件的流程，以纳入特定的语言指令，例如允许谷歌将其内容用于常规搜索，但不允许用于AI Overviews。这一声明与Cloudflare在2024年7月时任CEO提出的，将推动谷歌遵守仅阻止AI Overviews抓取内容的目标相呼应，而此次推出的内容信号策略被视为实现该目标的一次重要尝试。

robots.txt文件在互联网生态中扮演着重要的角色，它是一组位于网站根目录的文本文件，包含一系列指令，用于告知网络爬虫（如搜索引擎的爬虫）哪些区域可以访问，哪些区域不应访问。其本质上是一种协议性的君子协定，依赖于爬虫的自愿遵守。Cloudflare在全球互联网流量中占据约20%的份额，其作为重要的基础设施提供商，此举无疑为广大网站管理者提供了一种新的技术路径来表达其内容使用偏好。

谷歌方面的回应与潜在争议

尽管Cloudflare推出了这项新策略，但谷歌方面尚未明确表态是否会遵守这些新的robots.txt指令。Matthew Prince在采访中指出，Cloudflare已就这项新产品提前知会了谷歌方面的人士，但谷歌并未承诺将遵守这些新的指示。

robots.txt指令并非具有法律约束力，这已是业界共识，Cloudflare的高管也曾提及这一点。然而，Matthew Prince也表示，如果谷歌或其他人工智能公司选择无视robots.txt中的新指令，可能会为内容发布者提供提起诉讼的理由。这暗示了在未来，围绕人工智能内容抓取与使用的法律界定，可能会成为行业关注的焦点。

技术细节与操作方式

Cloudflare发布的截图清晰展示了其内容信号策略的界面和逻辑。通过这项策略，网站所有者可以更精细地控制不同类型搜索引擎服务对内容的访问权限。具体操作上，使用Cloudflare免费套餐的网站，可以在Cloudflare控制面板的“安全设置”（Security Settings）部分或“概览”（Overview）部分中，启用或关闭内容信号策略。

行业专家Glenn Gabe对Cloudflare的这项新功能进行了总结，他认为这是Cloudflare新推出的内容信号策略，允许网站所有者在其robots.txt文件中添加关于人工智能训练与常规搜索的指令。他同时强调，谷歌尚未表示会遵循这些指令。这意味着，尽管技术路径已经提供，但其最终效果仍有待观察，关键在于搜索引擎巨头的响应。

行业背景与深层思考

Cloudflare此次推出内容信号策略，并非孤立事件，而是当前全球数字内容生态中，内容创作者与人工智能平台之间关系日益复杂化的一种体现。随着生成式人工智能技术，特别是大型语言模型（LLMs）的飞速发展，以谷歌AI Overviews为代表的人工智能摘要服务，能够在不引导用户访问原始网站的情况下，直接在搜索结果页面提供高度聚合的信息。

这种模式在提升用户搜索效率的同时，也引发了内容发布者对其流量损失、广告收入下降以及知识产权保护的担忧。许多网站赖以生存的商业模式是基于用户访问带来的广告展示和数据分析，而AI Overviews直接提供答案，可能截断这一用户旅程，从而影响内容创作者的收入来源。因此，Cloudflare此举可以被视为内容生产者集体呼声的技术响应，旨在通过技术手段重新划定内容使用边界。

这场围绕robots.txt指令的“默契”与“非默契”之争，实际上是数字时代内容生产、分发与利用模式演变的一个缩影。它不仅关乎技术协议的遵守与否，更触及了互联网内容生态的经济模型、版权法理以及用户体验的平衡。未来，随着人工智能在搜索领域的深度渗透，如何有效平衡内容创作者的权益、搜索引擎的创新以及用户的信息获取需求，将是整个行业需要持续探索的重大议题。Cloudflare此次的尝试，无疑为这场探讨增添了新的维度和可操作的工具。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/cloudflare-blocks-google-ai-overviews.html