在当今这个全球互联互通的时代，互联网上的内容却仍然主要以少数几种语言呈现，这着实令人深思。虽然人工智能（AI）承诺打破语言障碍，但搜索和大型语言模型（LLM）在很大程度上仍然忽视了小语种，这不仅是一个技术问题，更关乎信息获取的公平性和文化多样性。

技术进步本应消除语言障碍，实现无缝翻译和实时 AI 翻译，让人们能够即时获取全人类的集体知识。然而，当我们仔细观察搜索结果、AI 生成的答案以及数字交流时，就会发现现实与理想之间存在巨大差距。互联网或许是全球性的，但它主要使用的语言仍然是英语、俄语、西班牙语以及其他少数几种主要语言。

对于那些从事语言、搜索和 AI 交叉领域工作的人来说，这不仅仅是一个错失的机会，更是一个结构性缺陷，它对信息的可发现性、包容性以及在线真相的呈现方式都产生了深远的影响。

作者以自身经历为例，她将浏览器和搜索设置配置为白俄罗斯语，但无论她用英语还是白俄罗斯语进行搜索，谷歌经常会推送俄语结果，这并非偶然现象，而是一种偏见，这种偏见源于搜索引擎如何解释、权衡和优先排序语言。

事实上，在全球范围内，使用非主流语言搜索或来自少数语言环境的用户，都会被悄无声息地引导至主流语言区域。这种引导不仅影响我们阅读的内容，还影响我们的信念、分享的内容，以及最终定义我们现实的声音。

全球有超过 7100 种现存语言，其中约 4000 种有书写系统。但在实践中，只有大约 150 种语言在网上有意义地呈现，而不到 10 种语言占据了超过 90% 的网络内容。单单英语就占所有索引网页的一半以上。加上俄语、德语、西班牙语、法语、日语和中文，就覆盖了大部分可搜索内容。其余的呢？要么是碎片化的，要么是索引不足的，要么是根本不可见的。

这种不平衡会产生严重的后果。搜索引擎、AI 系统和社交平台不仅呈现事实，还塑造了我们所居住的信息世界。当这些系统绝大多数情况下优先考虑英语或其他主要语言时，它们不仅过滤掉了声音，还抹平了细微差别，消除了当地背景。新媒网跨境了解到，这让少数几种主要语言讲述其他所有人的故事。

在政治敏感、文化复杂或快速发展的环境中，情况尤其如此。以俄罗斯为例，该国拥有 100 多种语言，其中 37 种是官方认可的，但其国际数字存在几乎是单语的。鞑靼语博客在哪里？萨哈文化档案在哪里？车臣口述历史在哪里？它们确实存在，但它们并没有进入全球对话，因为搜索没有将它们呈现出来。

非洲、亚洲、南美洲以及美国、加拿大和其他地方的土著社区也是如此。我们并不缺乏内容，我们缺乏的是能够识别、排名和适当翻译这些内容的系统。

人们有理由相信 AI 能够打破语言障碍。像 GPT-4、Gemini 和 Claude 这样的大型语言模型可以处理几十种语言，即时翻译，并总结传统搜索无法提供的内容。Chrome 可以实时翻译整个页面。DeepL 可以处理从芬兰语到日语再到乌克兰语的高保真翻译。

但是，多语言 AI 的承诺尚未完全转化为实践，因为 AI 在不同语言之间的流畅程度远非平等。它们对较小或代表性不足的语言的理解仍然不一致，并且常常不可靠。

以白俄罗斯语为例。尽管白俄罗斯语是一种标准化的民族语言，拥有丰富的文化和文学传统，但 GPT 模型经常错误地识别它。它们可能会用俄语或乌克兰语回复，或者产生感觉扁平化和过于简化的白俄罗斯语。输出通常忽略了该语言的表达范围，插入侵蚀真实性和细微差别的俄语或俄语化词汇。

谷歌的情况也好不到哪里去。白俄罗斯语搜索查询通常会自动更正为俄语，并且结果（包括 AI 概览）也是俄语，并引用俄语来源。这反映了一种根深蒂固的假设：可以用较小或政治上相邻的语言安全地将查询重定向到主要语言。但是，这种重定向并非中立的。它悄悄地抹去了语言身份，破坏了信息权威，对人们和地点在网上的呈现方式产生了实际影响。

随着 LLM 成为信息检索的默认层，为商业、医学、教育和其他领域的决策提供支持，这种不平衡成为一种负担。这意味着我们访问的知识是不完整的，它通过一组狭隘的语言假设和过度代表的来源进行过滤，从而塑造了我们所看到的内容以及我们所听到的声音。

那么，需要改变什么？谁需要先行动起来？

这个问题不仅是技术性的，而且是文化和战略性的。要解决这个问题，需要同时处理生态系统的多个层面。

1. 谷歌（以及主要搜索引擎）

谷歌必须放松其排名系统中的语言边界。如果一个查询是用英语提出的，但最准确或最有见地的答案是用白俄罗斯语、斯瓦希里语或盖丘亚语编写的，那么应该在需要时通过清晰的自动翻译来呈现该内容。相关性应优先于语言匹配，尤其是在内容高质量且为最新内容时。

如今，语言信号（如 inLanguage、hreflang、description 和 translationOfWork）存在于 Schema.org 中，但在实践中，它们仍然是弱信号。谷歌应该加强其在排名、摘要生成和 AI 输出中的权重。

谷歌的 AI 概览应该在设计上明确支持多语言，从各种语言中获取答案，并透明地引用非英语来源。内联翻译或悬停摘要可以在不牺牲包容性的前提下弥合理解上的差距。

毋庸置疑，谷歌必须停止跨语言自动更正查询。

2. AI 平台、LLM 提供商、内容分发商和自助出版商

像 OpenAI、Anthropic、Mistral 和 Google DeepMind 这样的公司需要超越语言平等的幻想。如今的 LLM 可以处理几十种语言，但对于许多非主流语言来说，它们的流畅性是不均衡的、肤浅的或容易出错的。

用户可以要求语言模型从特定语言的来源中提取信息，例如，“总结最近缅甸语关于季风农业的文章”，有时，结果是有用的。但是，这种能力是脆弱且不可靠的。没有内置的方法来设置首选来源语言，无法保证准确性，并且经常出现幻觉。用户也无法控制或了解模型实际从哪些语言中提取信息。

从书籍到视频再到音乐的大型内容平台需要支持和索引所有语言的内容，而不仅仅是预加载在其元数据下拉列表中的少数几种语言。许多小众或地区语言仍然有数千万的 speakers，但它们被排除在外仅仅是因为平台不支持这些语言的标题、标签或描述。当内容由于缺少语言选项而被自动拒绝或未标记时，它实际上变得不可见，无论它多么相关或高质量。

3. 小语种出版商可以做些什么

并非每个出版商都能负担得起多语言内容运营。但是，完全本地化并不是唯一的出路。如果你以一种较小的语言出版，以下是如何在不超出预算的情况下提高可见性和访问量的方法。

1. 包含主要语言的摘要： 即使是 100-200 字的英语摘要也可以使你的内容更容易被 Google 和 LLM 发现。这不需要是完整的翻译，只需要对文章内容进行忠实、通俗易懂的概述。
2. 巧妙地使用模式元数据：
   • inLanguage 明确声明语言（例如，be、tt、qu、eu）。
   • description 用于英语摘要。
   • alternateName 和 translationOfWork 用于链接相关内容。
3. 提交多语言站点地图： 考虑试验启用 hreflang 的站点地图，即使它们从原始内容链接到其摘要或摘要。
4. 一致地标记你的帖子： 确保在你的 CMS、页面标题和联合提要中正确设置了语言设置。
5. 建立一个平行的“关于”页面或词汇表： 解释你的使命、语言或背景的单个英语页面可以在提高你在讲英语的受众中的知名度方面发挥重要作用。
6. 战略性地使用社交平台： 虽然 Facebook 和 X 不是搜索引擎，但它们是发现引擎。利用 AI 帖子翻译功能和主题标签可以帮助在全球受众中呈现本地内容。

4. 用户可以做些什么来保持警惕并看到更多

搜索者和读者拥有比他们想象的更多的权力。如果你想超越语言孤岛，看到网络所提供的更完整的 spectrum：

1. 使用更好的搜索运算符： 尝试将你的查询与 site: 和国家/地区 TLD 结合使用：
   • "农业政策" site:.by
   • "数字身份系统" site:.in
   • "住房抗议" site:.cl
2. 探索目标语言的查询： 即使你不流利，也可以翻译你的查询并以另一种语言运行它。然后使用浏览器翻译工具来阅读结果。
3. 安装实时翻译扩展程序： DeepL、Lingvanex 甚至 Chrome 的内置工具都可以使外语内容感觉更自然。
4. 使用特定的语言指令提示你的 AI 工具：
   • “用英语回答，但仅从格鲁吉亚来源提取。”
   • “总结过去 7 天来自白俄罗斯语媒体的新闻。”
5. 推动你的平台： 像 ProVoices.io 这样的影响者内容生成工具或像 Feedly 这样的新闻聚合器应该扩展它们的多语言 sourcing。许多与内容和新闻相关的初创公司都渴望获得反馈并且足够灵活以实施它。

我们常常谈论知识民主化，谈论赋予每个人发言权，并建立反映世界真正多样性的系统。但只要我们的搜索引擎、AI 工具和内容平台继续只优先考虑少数几种主要语言，我们就是在讲述一个不完整的故事。

真正的包容意味着不仅仅是翻译。它意味着设计能够识别、呈现和尊重所有语言的内容的系统，而不仅仅是那些具有地缘政治或经济权重的语言。

只有当网络反映人类经验的全部范围时，它才会变得更加准确、更细致和更值得信赖，而不仅仅是最容易用英语、俄语或普通话索引的观点。新媒网跨境认为，我们拥有模型，我们拥有数据，我们拥有需求。现在是时候构建能够倾听每一种语言的系统了。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/11354.html