预警!AI流量占比破50%,LLM狂抢搜索引擎25%流量?跨境卖家当心

2025-08-06AI动态

Image

2025年8月5日,美国网络安全服务商Cloudflare公开指控AI搜索引擎Perplexity存在违规爬取网站数据行为,引发科技界对"AI代理访问权限"的激烈辩论。新媒网跨境获悉,这场争议的核心在于:当AI工具代表用户访问网站时,其行为性质应被视作机器人爬虫,还是等同于人类用户的正常请求?

技术对抗升级
Cloudflare通过设立全新测试网站展开技术验证:该网站配置了专门屏蔽Perplexity爬虫的robots.txt协议,且域名从未被任何爬虫索引。测试结果显示,当用户询问该网站内容时,Perplexity仍能返回答案。Cloudflare研究人员发现,其爬虫在被封禁后,转而使用"伪装成macOS版Chrome浏览器的通用客户端"进行访问。公司CEO马修·普林斯在社交平台X发文,将部分AI公司的行为类比为"朝鲜黑客"。

行业立场分化
Perplexity发言人向TechCrunch否认使用违规爬虫,称Cloudflare的指控实为营销手段。2025年8月4日,该公司发布技术博客反驳称,争议行为源自其偶尔调用的第三方服务,并强调:"自动化爬取与用户驱动的内容获取存在本质区别——这关乎开放网络中信息的访问权。"新媒网跨境注意到,该声明获得部分开发者支持,Hacker News论坛有用户指出:"若人类用户请求访问公开网站,为何AI代理的行为会被区别对待?"
技术对抗示意图

行业标准之争
Cloudflare援引OpenAI作为正面案例,指出后者严格遵守robots.txt协议,并采用新兴的Web Bot Auth认证标准。这项由互联网工程任务组(IETF)推进的技术规范,旨在通过加密手段识别AI代理的网页请求。外媒报道显示,当前互联网流量结构已发生历史性变化:据Imperva发布的《恶意机器人报告》,2025年第二季度AI流量首次超越人类活动,占比突破50%,其中大语言模型(LLM)贡献主要增量,但恶意机器人仍占据37%的流量份额。

商业利益博弈
传统搜索引擎时代,网站通过robots.txt引导谷歌等爬虫索引内容,以此获取流量反哺。但随着LLM分流搜索请求(高德纳预测2026年搜索引擎流量将下降25%),内容提供方面临新困境。社交平台X的讨论显示,部分用户坚持"AI代理应能代表我访问任何公开内容",而网站运营者则担忧流量与广告收入被中间环节截取。这种矛盾在交易转化场景尤为突出——当用户通过AI代理直接完成消费时,原始网站可能完全失去曝光机会。

新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源:新媒网 https://nmedialink.com/posts/10702.html

评论(0)

暂无评论,快来抢沙发~
Cloudflare指控Perplexity违规爬取数据,引发AI代理访问权限争议。Cloudflare通过技术手段验证Perplexity绕过robots.txt协议,伪装用户代理进行爬取。行业对AI爬虫的合规性、流量分配及商业利益产生分歧,Web Bot Auth等技术标准或成解决方案。
发布于 2025-08-06
查看人数 1848
关注我们
新媒网跨境发布
本站原创内容版权归作者及NMedia共同所有,未经许可,禁止以任何形式转载。