这个话题主要是由《歌手2024》栏目引发的,孙楠与外国歌手的微小分数差异,引发了网友关于 13.8% 和 13.11% 谁大谁小的争论。
很多网友给出了自己认为 13.11 > 13.8 理由,看似合理,实则漏洞百出。
这个小学四年级的知识点,一下子就成为了全民热议的话题。很多网友还举例 AI 给出的结果也是 13.11 大,一下子激起我的兴趣,这么简单的问题,AI 竟然回答错误了。
国内模型测试
通义千问:
腾讯元宝:
文心一言:
智谱清言:
讯飞星火:
商汤商量:
国外模型测试
Claude-3.5:
原因分析
看到测试结果,国内模型 7 个回答错误 4 个,国外模型全军覆没,这是代表国内模型更强嘛?其实并不然,很多网友早起测试通义千问也是回答 13.11 更大,后续应该是开发团队针对这个问题优化了。国内很多模型应该都是针对性优化过后,现在才能回答正确。
只是国内的热议并未传播到国外,所以国外 AI 模型并未针对这个问题优化过,导致现在强如 GPT-4O 和 Claude-3.5 这两个地表最强 AI 模型都回答错误。
那么 AI 模型为什么会普遍回答错误呢?其实从很多模型的回答中也能猜到原因,主要是因为它们对数字的解读方式与人类不同,以及训练数据中存在的偏差。
大语言模型在数值比较方面的局限性,提醒我们在依赖这些模型进行决策时,需要谨慎并考虑多种可能性。
本文转载自,作者:
© 版权声明