Cloudflare阻4160亿次AI抓取，助网站主夺回内容权。

新媒网跨境获悉，全球内容分发网络（CDN）巨头Cloudflare近日披露，自今年7月将其AI机器人抓取阻断功能设为默认选项以来，在短短五个月内，该公司已累计阻止了超过4160亿次AI机器人抓取请求。这一举措是在其“内容独立日”（Content Independence Day）倡议之后推出的，旨在赋予网站所有者更多内容控制权。

Cloudflare首席执行官马修·普林斯（Matthew Prince）在外媒采访中表示，该功能允许网站所有者默认阻止AI抓取工具，除非AI公司为获取其内容支付费用。普林斯指出：“互联网的商业模式历来是通过生成内容来吸引流量，然后销售商品、订阅服务或广告。”他进一步强调：“我认为人们没有意识到的是，人工智能是一次平台转变。互联网的商业模式即将发生剧烈变化。我不知道它会变成什么样，但这几乎是我清醒时每时每刻都在思考的问题。”

尽管Cloudflare能够有效阻止绝大多数AI抓取工具，但有一个特定的机器人——Google的抓取工具，却无法在不影响其客户在线存在的情况下被完全阻止。原因是Google已将其搜索和AI抓取工具合并为一个。这意味着，选择退出Google AI抓取的用户，其网站将无法在Google搜索结果中被索引。

普林斯对此表示，这种捆绑方式带来了实际挑战，并形容其“疯狂”。他认为：“你不应该在退出其中一个功能时，也必须退出另一个。这不应该成为你利用昨日的垄断地位，来巩固明日市场垄断地位的手段。”这一局面突显了网站所有者在内容控制与搜索可见性之间面临的艰难抉择。

高质量的人工生成内容对于AI模型的训练至关重要。研究表明，当AI模型使用AI生成的数据进行训练时，其输出质量会显著下降。与此同时，AI摘要服务已被证明会减少网站流量，尤其对那些严重依赖可见性和访问量获取广告收入的网站造成冲击。通过与AI公司签订内容许可协议，可以帮助抵消这一影响，从而确保在线出版商仍能为创作者和内容发布者提供可行的收入来源。

Cloudflare自身也从一个多元化的互联网生态中受益，这个生态承载着来自真实人类创造的内容。普林斯在外媒采访中透露，公司致力于构建一个创作者和企业能在公平环境中成长的未来。一个内容丰富的互联网意味着将有更多的网站需要安全和性能保护服务，从而为Cloudflare带来更多潜在客户。Cloudflare作为全球最大的内容分发网络之一，截至2022年已占据市场79.9%的份额。然而，这种高度集中也使得互联网基础设施变得脆弱，例如今年11月，一个配置错误的文件曾导致全球互联网大范围中断。

这突出反映了当前全球网络基础设施面临的问题。整个互联网严重依赖少数几家大型公司提供服务，其中包括亚马逊网络服务（AWS）、微软Azure、Cloudflare、CrowdStrike和Google等。尽管这些机构为依赖互联网的企业提供了更便捷、更高效的服务，但也意味着其中任何一家服务出现故障，都可能导致数十亿美元的经济损失和全球范围内的严重业务中断。新媒网跨境认为，确保网络基础设施的稳健性和抗风险能力，是当前行业发展中不容忽视的重要课题。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/cloudflare-blocks-416b-ai-for-site-control.html