近日,在最新一期的《歌手》节目中,孙楠与外国歌手的微小分数差异,引发了网友关于13.8%和13.11%谁大谁小的争论。
![](https://np-newspic.dfcfw.com/download/D24806483694443408019_w1179h858.jpg)
![](https://np-newspic.dfcfw.com/download/D25738294096700226691_w1080h1465.jpg)
有网友竟给出“13.11%大于13.8%”的错误答案,而记者发现,不少大模型也与部分网友一样,弄不清这个小学四年级的知识点 。
在《科创板日报》记者的测试中,Kimi、智谱清言、通义等大模型应用纷纷翻车,而百度文心一言、字节豆包则守住了大模型的尊严。
记者提问后,Kimi称:13.11大于13.8。在进行了一番引导后,包括询问13.11减去13.8的答案为负数,如何解答其意义,Kimi才给出了正确回答。
![](https://np-newspic.dfcfw.com/download/D25582367189657861530_w1179h2121.jpg)
记者又多次询问Kimi 13.11和13.8谁大,Kimi有时能回答正确。从错误的回答来看,Kimi与部分网友一样,把13.8误以为13.08,所以得出了13.11更大的结果。
![](https://np-newspic.dfcfw.com/download/D25223178328833444420_w1179h1883.jpg)
记者询问了Kimi是否知道湖南卫视《歌手》排名引发13.11和13.8谁更大的事件?Kimi顺利地回答了,并为自己此前答错而道歉。
![](https://np-newspic.dfcfw.com/download/D25753467296650891969_w1179h1632.jpg)
![](https://np-newspic.dfcfw.com/download/D25043700503568325921_w1179h1231.jpg)
之后,记者还测试了其他小数点比大小,Kimi的准确率为50%。
![](https://np-newspic.dfcfw.com/download/D25584963637739420695_w1179h1823.jpg)
Kimi在数理逻辑方面存在胡说八道的现象,那么其他大模型是否能准确回答?在记者的测试中,文心一言和豆包都给出了正确的答案。
![](https://np-newspic.dfcfw.com/download/D25706601286335398421_w1179h2001.jpg)
其中,文心一言给出了具体的推理过程,也答出了近期新闻事件。
![](https://np-newspic.dfcfw.com/download/D24688036136937247325_w1179h2192.jpg)
豆包也经受住了考验。
![](https://np-newspic.dfcfw.com/download/D25528349489452779374_w1179h1786.jpg)
智谱清言同样犯了与网友相同的位数错误,由于认为11比8大,推理出13.11比13.8大。而通义也坚定相信13.11大于13.8。
![](https://np-newspic.dfcfw.com/download/D25250065826971480321_w1179h1948.jpg)
智谱清言的回答
![](https://np-newspic.dfcfw.com/download/D25071432839850812166_w1179h1992.jpg)
通义的回答
值得一提的是,ChatGPT也出现了胡说八道的现象。在为13.8填补了13.80的零位数后,才得出了正确的回答。
![](https://np-newspic.dfcfw.com/download/D25300884448574639861_w586h646.jpg)
这类大模型说胡话的现象,在业界被称为大模型出现幻觉。此前,哈尔滨工业大学和华为的研究团队发表的综述论文认为,模型产生幻觉的三大来源:数据源、训练过程和推理。大模型可能会过度依赖训练数据中的一些模式,如位置接近性、共现统计数据和相关文档计数,从而导致幻觉。此外,大模型还可能会出现长尾知识回忆不足、难以应对复杂推理的情况。
有产业界人士告诉《科创板日报》记者,目前大模型的幻觉率仍然较高,这也是产业界缺乏真正颠覆性应用的原因之一,业界都在共同解决这一核心问题,让大模型在业务流程中变得更可控。