随着人工智能技术的快速发展，AI搜索引擎与传统网站之间的互动方式正成为行业关注的焦点。外媒报道了网络安全公司Cloudflare与AI搜索引擎Perplexity之间关于数据抓取的争议事件，引发了关于AI在互联网上行为规范的讨论。

Cloudflare指责Perplexity未经授权抓取网站数据，即使网站已明确禁止其AI机器人访问。 Cloudflare通过建立一个新域名进行测试，设置了针对Perplexity AI机器人的特定屏蔽措施。然而，Perplexity仍然能够访问该网站的内容。Cloudflare首席执行官Matthew Prince将此行为比作“朝鲜黑客”， 但这一说法受到了多方质疑。许多人认为，在访问公共网站时，应将AI代理视为与人类用户类似。

Perplexity回应称，相关行为是由第三方服务而非其自身机器人造成的。该公司强调了自动化爬取和用户驱动获取之间的区别，并指出Cloudflare的系统未能区分合法的AI助手和实际威胁。

机器人活动日益成为互联网流量的主要组成部分。Imperva公司的一份报告显示，机器人流量目前占在线活动的50%以上，其中很大一部分是由大型语言模型（LLM）驱动的。这一转变引发了人们对AI对传统网络流量影响的担忧。Gartner预测，到2026年，搜索引擎的流量将下降25%。随着AI代理变得越来越普遍，网站是否会适应它们，或者继续实施可能损害其商业利益的阻止措施，仍然是一个问题。

以下是一些关于机器人流量的具体数据，方便大家更直观地了解情况：

从上述数据可以看出，机器人流量已占据互联网流量的半壁江山，且对搜索引擎流量构成一定影响。

进一步分析，外媒的报道反映出以下几个行业趋势：

1. AI数据抓取的合规性问题日益突出： 随着AI技术的应用日益广泛，如何规范AI的数据抓取行为，保障网站的数据安全和版权，成为亟待解决的问题。

2. 网站与AI之间的博弈加剧： 网站所有者需要权衡允许AI访问带来的便利与潜在风险，并采取相应的防御措施。AI公司则需要不断提升技术水平，在合规的前提下获取所需数据。

3. 行业标准亟待建立： 明确AI数据抓取的边界和规范，建立统一的行业标准，有助于规范市场秩序，促进行业健康发展。

4. 流量获取方式的变革： 传统搜索引擎流量可能受到AI的影响，企业需要探索新的流量获取渠道和方式，例如通过优化内容以适应AI的抓取和分析。

对于国内跨境电商从业者而言，上述趋势可能带来以下影响：

• 营销策略调整： 跨境电商企业需要关注AI搜索引擎的发展，及时调整营销策略，确保产品和品牌在AI搜索结果中获得更好的曝光。
• 内容优化： 针对AI的特点优化网站内容，提高内容质量和相关性，有助于提升网站在AI搜索中的排名。
• 数据安全防护： 加强网站的数据安全防护，防止未经授权的数据抓取，保护企业的商业机密。
• 合规意识提升： 了解并遵守相关法律法规和行业规范，确保数据抓取行为的合法合规。
• 关注行业动态： 密切关注国外关于AI数据抓取的争议和解决方案，为国内企业提供借鉴。

中国跨境电商企业应密切关注此类动态，及时调整策略，积极应对AI技术带来的机遇与挑战。随着AI技术的不断发展，跨境电商的运营模式也将不断演变。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/10746.html