当前位置:首页 > 杂谈 > 科技新闻

苹果:AI推理存在很大缺陷!

时间:2024-10-15 22:24:35   作者:老李   来源:老李博客   阅读:2356  
近日,苹果公司的AI研究团队在一项新发表的研究中,揭示了大型语言模型在推理能力方面存在的显著弱点。
图片
这项研究发布在学术平台arXiv上,详细阐述了苹果对包括OpenAI、Meta及其他知名开发者在内的多种主流语言模型的评估情况,主要聚焦于这些模型在处理数学推理任务时的表现。
 
研究结果显示,即便是问题表述上的细微变化,也可能导致模型性能出现巨大差异,进而在需要逻辑一致性的场景中削弱其可靠性。
 
苹果特别指出了语言模型中的一个持续存在的问题:它们依赖于模式匹配,而非真正的逻辑推理。在多项测试中,研究人员通过向问题中添加与数学结果无关的多余信息,发现模型会给出截然不同的答案。
图片
例如,研究报告中提到的一个简单数学问题,是询问一个人在几天内收集了多少个猕猴桃。当引入关于部分猕猴桃大小的无关细节时,如OpenAI的GPT系列(在报告中以o1代称)和Meta的Llama等模型,错误地调整了最终总数,尽管这些额外信息对解决方案没有任何影响。
 
研究人员指出,在语言模型中未发现正式推理的证据。他们的行为更符合复杂模式匹配的特征,而这种模式匹配实际上非常脆弱,以至于改变名称就能使结果产生约10%的差异。
 
这种推理能力的脆弱性促使研究人员得出结论:这些模型并非使用真正的逻辑来解决问题,而是依赖于训练过程中学到的复杂模式识别。他们发现,“仅仅改变名称就能改变结果”,这对于未来需要在现实世界中实现一致、准确推理的AI应用来说,可能是一个令人担忧的迹象。
图片
据研究称,从较小的开源版本如Llama到专有模型如OpenAI的GPT-4(在报告中以GPT-4o代称),所有测试模型在面对输入数据中看似无关紧要的变化时,都表现出了显著的性能下降。
 
苹果建议,AI可能需要将神经网络与传统基于符号的推理(即神经符号AI)相结合,以获得更准确的决策和问题解决能力。

 

老李博客:www.biufkw.com

备用网址:www.pubg98.com

文章来自网络收集,如有侵权请联系删除!

Email:pubg98com@163.com


标签:模型  推理  研究  问题  研究人员  
相关评论

本栏推荐

联系我们 - 免责声明 - 网站地图 - 会员投稿

文章来自网络收集如有侵权问题请联系站长处理!联系邮箱:pubg98com@163.com

  冀ICP备2021006722号