跨境AI提速！谷歌LLM检索效率暴涨4.7倍，500文档秒处理！

谷歌DeepMind的科研团队近日披露了一项名为BlockRank的创新技术，有望重塑大型语言模型（LLM）信息检索与排序的效率。这项技术的核心在于优化了LLM处理海量信息时的“上下文排序”（In-context Ranking, ICR）机制。

“上下文排序”是指模型在接收到一个查询指令后，同时审阅多个文档，并从中甄别出与查询最相关的信息。这项任务对于LLM而言，此前一直面临着效率和成本的挑战。新媒网跨境获悉，BlockRank的详细研究成果已在一份名为《基于生成模型的自适应上下文排序》（Scalable In-Context Ranking with Generative Models）的最新研究论文中公布。尽管目前BlockRank尚未应用于谷歌旗下的产品，例如搜索、Gemini或AI概览等，但其未来应用的可能性不容忽视。

BlockRank如何实现效率变革

传统的上下文排序方法在处理大量信息时效率较低且成本高昂。这主要源于LLM内部的“注意力机制”（Attention mechanism）。在该机制下，模型在处理文本时，每个词语都需要与文本中的其他所有词语进行比较，以确定其相互关系。当需要对数百份文档进行排序时，这种比较的复杂性会呈指数级增长，导致处理速度显著下降。

BlockRank的创新之处在于重新构建了LLM处理文本时“注意力”的分配方式。与以往每个文档都必须关注并比较其他所有文档不同，BlockRank使得每个文档仅需关注自身内容以及共享的指令。同时，模型中的查询部分则能够全面访问所有待排序文档，从而有效地进行比较并确定哪个文档最能回应查询。

这种结构性的改变，使得模型的注意力计算成本从原先的“二次方增长”（即处理信息量增加一倍，计算量可能增加四倍甚至更多，速度极慢）转变为“线性增长”（即处理信息量增加一倍，计算量也大致增加一倍，速度快得多）。这意味着在处理大量信息时，BlockRank能够显著提升效率。

数据揭示的卓越性能

在采用Mistral-7B模型进行的实验中，谷歌DeepMind的研究团队对BlockRank的性能进行了详尽测试，并取得了令人瞩目的成果：

速度提升显著： 在对100份文档进行排序时，BlockRank的运行速度比标准微调模型快了4.7倍。
可扩展性优异： 该技术能够顺利扩展，在约一秒的时间内处理多达500份文档（大约10万个Token），展现出强大的处理能力。
性能媲美顶尖： 在MSMARCO、Natural Questions (NQ) 和 BEIR等权威基准测试中，BlockRank的性能与RankZephyr和FIRST等领先的列表式排序器持平甚至超越。

对AI信息检索的潜在影响

BlockRank的出现，预示着未来由人工智能驱动的信息检索和排序系统可能发生深刻变革。这项技术有望让系统更加有效地识别用户的真实意图、内容的清晰度以及相关性。从技术层面看，这意味着那些内容清晰、重点突出，且能精准回应用户搜索目的（而不仅仅是其输入的关键词）的内容，将在未来的AI驱动搜索结果中获得更高的优先级。

谷歌DeepMind的科研人员正在持续探索和定义生成式AI时代下“信息排序”的内涵。当前，AI技术在搜索领域的演进速度飞快，BlockRank作为一项前沿研究成果，无疑为该领域的发展方向提供了新的视角。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/google-llm-boost-47x-x-border-ai-500-docs.html