每經(jīng)記者 可楊    每經(jīng)編輯 梁梟    

13.11%和13.8%哪個大？9.9和9.11哪個大？

兩道小學(xué)數(shù)學(xué)難度的題目難倒了眾多主流大模型，在比大小的過程中，不少大模型給出了錯誤的答案。此外，此前《每日經(jīng)濟新聞》發(fā)布的《每日經(jīng)濟新聞大模型評測報告（第1期）》中，主流大模型被要求計算企業(yè)營業(yè)收入復(fù)合增長率時，沒有一家大模型計算出正確答案。

7月17日，有大模型企業(yè)人士向記者表示，對于大模型而言，這不是很難解決的技術(shù)難點，只要喂了這方面的數(shù)據(jù)，就能得到準(zhǔn)確的答案，只不過大部分的大模型廠商沒有把這方面的訓(xùn)練作為重心，所以可能會出現(xiàn)上述不準(zhǔn)確的回答。

大模型比大小“翻車”？

由綜藝節(jié)目《歌手2024》排名引發(fā)的熱議蔓延到大模型領(lǐng)域，也成了一場針對大模型數(shù)學(xué)能力的小測。

在《每日經(jīng)濟新聞》記者7月17日的測試中，對于13.11%與13.8%誰大的問題，除了智譜清言外，文心一言、通義千問、kimi、商湯商量、百川智能百小應(yīng)等大模型均給出了正確回答。

大部分大模型都在給出答案的同時呈現(xiàn)了推理過程。智譜清言給出的推理過程顯示，在比較13.11%和13.8%時，13.11%是更大的數(shù)值。這是因為當(dāng)比較兩個百分?jǐn)?shù)時，我們首先比較整數(shù)部分，如果它們相同，則比較小數(shù)部分。在這里，兩個數(shù)的整數(shù)部分都是13，但13.11的小數(shù)部分（11）大于13.8的小數(shù)部分（8），因此13.11%大于13.8%。

從推理過程判斷，可能由于小數(shù)點后數(shù)位不同，大模型在比較過程中產(chǎn)生了幻覺。經(jīng)過兩輪提問后，智譜清言給出了正確回答。

當(dāng)記者把問題換成“9.9與9.11誰大”，零一萬物的萬知大模型等同樣在一開始給出錯誤答案，當(dāng)記者進一步追問“9.11減9.9等于多少”，甚至有大模型給出“0.21”的答案。

萬知的推理過程稍顯混亂：在比較9.9和9.11時，由于整數(shù)部分都是9，所以比較小數(shù)點后的第一位數(shù)字。9.9的小數(shù)點后第一位是9，而9.11的小數(shù)點后第一位是1。由于9小于10，所以在比較小數(shù)點后第二位數(shù)字時，9.9的小數(shù)點后第二位是0（隱含的），而9.11的小數(shù)點后第二位是1。因此，9.9的小數(shù)點后第二位數(shù)字（隱含的0）小于9.11的小數(shù)點后第二位數(shù)字（1），所以9.9小于9.11。

隨后，記者向大模型提問：為何會出現(xiàn)有大模型認(rèn)為13.11大于13.8的情況？

ChatGPT給出的回答顯示，出現(xiàn)這種情況的原因可能是由于計算或比較方式的錯誤?？赡艿恼`差原因包括：數(shù)值理解錯誤，有時系統(tǒng)可能會誤解數(shù)字的小數(shù)點位置；字符串比較，如果直接按字符串比較，可能會出現(xiàn)錯誤。因為字符串比較是按字符順序逐一比較的，而不是按數(shù)值比較；代碼實現(xiàn)錯誤，在編程中，可能存在比較邏輯或轉(zhuǎn)換錯誤。

文心一言給出的解答則是，訓(xùn)練數(shù)據(jù)偏差、輸入處理與理解、模型幻覺、推理能力不足等原因。訓(xùn)練數(shù)據(jù)偏差層面，即大模型在訓(xùn)練過程中，可能接觸到了大量包含數(shù)字的數(shù)據(jù)，但這些數(shù)據(jù)并不總是以比較大小為目的。例如，數(shù)字可能出現(xiàn)在版本號、股票代碼、基金表現(xiàn)、匯率等上下文中，這些場景下的數(shù)字大小并不總是具有直接的比較意義。如果訓(xùn)練數(shù)據(jù)中存在關(guān)于數(shù)字比較的偏差或不足，模型可能無法學(xué)習(xí)到正確的比較規(guī)則。

另一方面，可能由于大模型在處理輸入文本時，將數(shù)字視為字符序列，而不是具有數(shù)值意義的實體。因此，在比較數(shù)字大小時，模型可能沒有正確地將其轉(zhuǎn)換為數(shù)值進行比較。另外，模型在處理小數(shù)時可能存在困難，特別是當(dāng)小數(shù)位數(shù)不同時。模型可能沒有正確地理解小數(shù)部分的比較規(guī)則。

業(yè)內(nèi)人士：非廠商訓(xùn)練重點所致

7月17日，有大模型企業(yè)人士在接受記者電話采訪時表示，對于大模型而言，這不是很難解決的技術(shù)難點，只要喂了這方面的數(shù)據(jù)，其實就能得到準(zhǔn)確的答案，只不過大部分的大模型廠商沒有把這方面的訓(xùn)練作為重心，所以可能會出現(xiàn)上述不準(zhǔn)確的回答。

這也并非大模型的數(shù)學(xué)能力首次受到關(guān)注。

6月，上海人工智能實驗室通過旗下司南評測體系OpenCompass對7個大模型進行高考“語數(shù)外”全卷能力測試。測試結(jié)果顯示，三科總分420分，大模型最高分僅303分，其中語文、英語表現(xiàn)相對良好，數(shù)學(xué)全不及格。

在此前《每日經(jīng)濟新聞》發(fā)布的《每日經(jīng)濟新聞大模型評測報告（第1期）》中，對主流大模型的財務(wù)數(shù)據(jù)計算和分析能力同樣進行了測評。在財務(wù)數(shù)據(jù)計算中，當(dāng)被要求計算營業(yè)收入復(fù)合增長率時，沒有一家大模型計算出正確答案。

綜合來看，Anthropic Claude 3 Opus表現(xiàn)最為出色，以總分136分高居榜首。該模型在計算題的任務(wù)一（同比增長率計算）和任務(wù)二（毛利率計算）中均獲得了較高的分?jǐn)?shù)，但在任務(wù)三（復(fù)合增長率計算）中未能給出正確答案。

幻方求索DeepSeek-V2是“財務(wù)數(shù)據(jù)計算和分析”場景評測中的一匹“黑馬”，以總分133.4分緊隨其后。該模型在計算題的任務(wù)一和任務(wù)二中同樣表現(xiàn)良好，但在任務(wù)三中也未能給出正確答案。不過，在計算復(fù)合增長率的任務(wù)中，盡管其答案有誤，但已掌握了正確的公式。

零一萬物Yi-Large的總分達到了126.4分，該模型盡管“分析寫作題”得分略遜一籌，但在計算題的任務(wù)一和任務(wù)二中表現(xiàn)穩(wěn)定，在計算題得分以29.4分領(lǐng)先。此外，該模型在計算復(fù)合增長率時，同樣給出了錯誤答案，但也給出了正確的公式。