AI巨震!OpenAI神话破灭?扩展失效,3周即凉!

2025-07-29AI工具

Image

人工智能(AI)模型的表现,对于那些投资和部署相关技术的企业来说至关重要。但目前,大型语言模型的发展进步是否正在放缓,依然是一个备受争议的话题。

这场讨论的焦点,集中在人工智能的缩放定律上。

由美国OpenAI公司推广的AI缩放定律背后的逻辑相对简单:即在更多的计算资源上训练出的更大规模的模型,将会获得更好的性能。OpenAI公司在2020年发布的论文《神经语言模型的缩放定律》,是首篇展示缩放定律且具有深远影响的文献。

谷歌DeepMind于2022年发表的论文《训练计算优化大型语言模型》则提出了一个关键观点:影响模型性能的两个关键因素,是数据(而非模型大小)以及计算能力。他们的Chinchilla模型的规模不到GPT-3的一半,但其数据量却是GPT-3的四倍,性能也因此超越了GPT-3。

Y Combinator创业加速器的总裁Garry Tan在其视频系列YC Decoded中表示:“在过去的几年里,人工智能实验室似乎找到了一种行之有效的策略:扩展更多的参数,更多的数据,以及更多的计算资源。持续扩展模型,它们就会不断进步。”

但有迹象表明,最初的性能飞跃正在减缓。

UST公司人工智能和机器学习首席架构师Adnan Masood在一篇博客文章中写道,数据和计算这两大扩展的主要驱动力正变得日益稀缺和昂贵。“这些趋势强烈地表明,大型语言模型目前的轨迹正趋于平缓。”

例如,在知识问答、数学应用题和编程测试中,改进的幅度正在“变平”。Masood指出,在MMLU基准知识测试中,GPT-3的记录为43.9%,到2023年GPT-4翻了一番,达到86.4%,但此后在2024年停滞在90%。

Tan提出疑问:“如果旧的缩放定律开始失去优势,那么接下来会发生什么?”

Tan和Masood的答案一致:缩放定律正在发生改变。人工智能模型的性能仍在进步,但这主要是由于新技术,而不仅仅是扩大数据和计算能力。

Tan表示,这正是OpenAI公司在GPT系列之后推出其o1和o3人工智能推理模型的原因。对于o(或称omni)模型,OpenAI使用了“思维链”技术,让模型能够深入思考其答案。结果是性能得到了提升。(OpenAI跳过了将模型命名为o2,因为它是一家电信供应商的名称。)

Tan说:“OpenAI的研究人员发现,o1思考的时间越长,其表现就越好。现在,随着其继任者o3的最新发布,这种新型的LLM扩展模式的前景似乎是无限的。”

Tan表示,o3“打破了之前被认为人工智能遥不可及的基准”。

新媒网跨境了解到,根据Innovation Endeavors于2025年6月发布的一份报告显示,在美国,领先的人工智能模型保持使用率榜首的时间仅为大约三周,之后就会被超越,特别是被开源竞争对手超越。模型的发布周期仍然很快,尽管不再是指数级的增长。

缩放定律尚未消亡,但人工智能社区正在为未来做准备,这个未来将强调更智能的架构、推理驱动的模型以及分布式数据源的使用。新媒网认为,人工智能领域正迎来一个更加注重创新和效率的新阶段。
图片说明

新媒网跨境获悉,随着数据和计算资源日益受限且成本上涨,传统缩放定律推动的人工智能性能提升正在放缓,这导致了像MMLU这样的关键基准测试结果趋于平稳。

包括“思路链”推理和优化训练方法在内的新技术,例如OpenAI的o系列模型所采用的技术,正在逐渐取代传统的蛮力扩展方式,以实现性能的提升。

新媒网跨境认为,尽管美国的模型开发依然快速,但随着传统扩展带来的收益递减,重点正逐渐转向更智能的架构和基于推理的人工智能。

外媒报道提到,人工智能模型在美国的使用周期正在缩短,开源模型的竞争力日益增强,整个行业正在积极探索新的发展路径。

新媒网跨境了解到,尽管缩放定律尚未完全失效,但人工智能领域正在为未来做准备,未来将更加重视智能架构、推理驱动的模型以及分布式数据源的运用。 这一转变预示着人工智能发展方向的重大调整。

新媒网(公号: 新媒网跨境发布),是一个专业的跨境电商、游戏、支付、贸易和广告社区平台,为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源:新媒网 https://nmedialink.com/posts/7519.html

评论(0)

暂无评论,快来抢沙发~
人工智能发展面临新挑战,传统缩放定律效益递减。OpenAI的o系列模型等新技术通过“思维链”推理提升性能。行业关注智能架构、推理驱动模型及分布式数据。美国AI模型迭代快,开源模型竞争增强,预示AI发展方向重大调整。
发布于 2025-07-29
查看人数 431
关注我们
新媒网跨境发布
本站原创内容版权归作者及NMedia共同所有,未经许可,禁止以任何形式转载。