粤公网安备 44011302004783号 预警！AI爬虫绕过封锁，日请求破百万？跨境电商数据安全当心！
新媒网跨境获悉，全球互联网架构巨头Cloudflare在2025年第二季度发布一份报告，指控AI搜索初创公司Perplexity的AI爬虫存在“隐形爬取”行为，绕过网站设置的访问限制。该事件涉及大规模网络数据抓取争议，引发行业广泛关注。Cloudflare总部位于美国，是全球领先的安全和性能服务提供商，其报告指出Perplexity在遭遇封锁时会伪装成普通浏览器访问网站资源。
事件发生于2025年第二季度，Cloudflare基于客户投诉启动了调查。报告详细描述了Perplexity的操作机制：当网站通过robots.txt文件或Web应用程序防火墙（WAF）规则明确禁止AI爬虫访问时，Perplexity的爬虫首先会以自身标识如“PerplexityBot”或“Perplexity-User”尝试连接。如果受阻，爬虫会更改用户代理信息——即标识访问者身份的数据段——伪装成谷歌Chrome浏览器在macOS系统上运行，同时使用“轮换”IP地址和变更自治系统网络（ASN，用于识别IP网络组的编号）。这些IP地址未列入Perplexity公开的爬虫IP列表中，使得网站无法有效识别和阻止。Cloudflare测试显示，这种行为每天涉及数万个域名和数百万次请求。
涉及方回应中，Perplexity发言人Jesse Dwyer（美国籍）向媒体表示，该报告是一场“公关秀”，并称“文章中存在诸多误解”。新媒网跨境了解到，2024年Perplexity曾因无视付费墙和robots.txt文件规定而引发争议，当时首席执行官Aravind Srinivas（美国籍）将责任归咎于第三方爬虫。Cloudflare在报告发布后迅速采取行动，已撤销Perplexity作为“已验证机器人”的资格，并更新了防御机制以阻止其隐形爬虫。
事态进展方面，Cloudflare首席执行官Matthew Prince（美国籍）长期关注AI对出版业的潜在威胁，曾在公开场合称其为“生存性威胁”。2025年第二季度，Cloudflare推出了新政策，允许网站所有者要求AI公司付费才能爬取其内容，并默认阻止未经授权的AI爬虫访问。这一举措被视为应对类似争议的行业标准强化。
数据层面，Cloudflare报告基于2025年第二季度的实时监测，覆盖全球多个地区。核心数据显示，Perplexity的隐形爬虫行为在测试中平均每天触发数百万次请求，影响范围涵盖电子商务、新闻媒体和教育类网站等数十万域名。数据按网络流量维度细分，包括IP地址轮换频率和ASN变更模式。这些现象反映了AI爬虫技术在规避访问控制上的技术演进，与当前互联网隐私和版权保护趋势相关联。新媒网跨境注意到，行业背景中，AI驱动的搜索引擎正加速发展，出版商对内容滥用的担忧持续升温，但报告仅陈述事实，未延伸预测未来影响。
新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。
评论（0）