
Epoch AI 预言:最快 1 年内,推理模型步伐将放缓
IT之家 5 月 14 日消息,非营利 AI 研究机构 Epoch AI 最新发布报告,指出 AI 企业难以从推理模型中,持续榨取巨大性能收益,最快在一年内,推理模型的进步将放缓。报告基于公开数据和假设,强调了计算资源的限制和研究开销的增加。AI 行业长期依赖这些模型来提升基准表现,但这种依赖性正面临挑战。该机构分析师 Josh You 指出推理模型的兴起,源于其在特定任务上的出色表现。例如,O
IT之家 5 月 14 日消息,非营利 AI 研究机构 Epoch AI 最新发布报告,指出 AI 企业难以从推理模型中,持续榨取巨大性能收益,最快在一年内,推理模型的进步将放缓。
报告基于公开数据和假设,强调了计算资源的限制和研究开销的增加。AI 行业长期依赖这些模型来提升基准表现,但这种依赖性正面临挑战。
该机构分析师 Josh You 指出推理模型的兴起,源于其在特定任务上的出色表现。例如,OpenAI 的 o3 模型在最近几个月里,主要提升数学和编程技能。
而这些推理模型通过增加计算资源来解决问题,从而提升性能,不过作为代价,这些推理模型需要更多计算来处理复杂任务,因此比传统模型耗时更长。
IT之家注:推理模型的训练过程先是基于海量数据训练一个常规模型,然后应用强化学习技术。该技术像给模型提供“反馈”一样,帮助它优化对难题的解决方案。这种方法推动了 AI 的快速迭代,但也暴露了潜在的瓶颈。
OpenAI 等前沿 AI 实验室正加大对强化学习的投资。公司表示,在训练 o3 时,使用了约 10 倍于前代 o1 的计算资源,大部分用于强化学习阶段。研究者 Dan Roberts 透露,OpenAI 的未来计划将优先强化学习,并投入更多计算力,甚至超过初始模型训练的水平。
这种策略加速了模型的改进,但 Epoch 的分析提醒,这种改进并非没有上限,计算资源的增加会遇到物理和经济约束。
Josh You 在分析中详细解释了性能增长的差异。标准 AI 模型训练的性能目前每年翻番,而强化学习的性能每 3-5 个月增长十倍。这种快速增长可能到 2026 年与整体 AI 前沿进展趋同。
他强调,推理模型的规模化面临不止计算问题,还包括高研究开销:“如果研究需要持续的高开销,推理模型可能无法达到预期规模”。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
发表评论 取消回复