每經(jīng)記者 文巧    每經(jīng)實(shí)習(xí)記者 岳楚鵬    每經(jīng)編輯 高涵    

在人工智能發(fā)展的道路上，科技巨頭們?cè)?jīng)競(jìng)相開(kāi)發(fā)規(guī)模龐大的語(yǔ)言模型，但如今出現(xiàn)了一種新趨勢(shì)：小型語(yǔ)言模型（SLM）正逐漸嶄露頭角，挑戰(zhàn)著過(guò)去“越大越好”的觀念。

當(dāng)?shù)貢r(shí)間8月21日，微軟和英偉達(dá)相繼發(fā)布了最新的小型語(yǔ)言模型——Phi-3.5-mini-instruct和Mistral-NeMo-Minitron 8B。這兩款模型的主要賣點(diǎn)是它們?cè)谟?jì)算資源使用和功能表現(xiàn)之間實(shí)現(xiàn)了良好的平衡。在某些方面，它們的性能甚至可以媲美大型模型。

人工智能初創(chuàng)公司Hugging Face的首席執(zhí)行官Clem Delangue指出，高達(dá)99%的使用場(chǎng)景可以通過(guò)SLM來(lái)解決，并預(yù)測(cè)2024年將成為SLM之年。據(jù)不完全統(tǒng)計(jì)，包括Meta、微軟、谷歌在內(nèi)的科技巨頭們今年已經(jīng)發(fā)布了九款小型模型。

大模型訓(xùn)練成本攀升，性能提升卻有限

SLM的崛起并非偶然，而是與大模型（LLM）在性能提升與資源消耗方面的挑戰(zhàn)密切相關(guān)。

AI初創(chuàng)公司Vellum和Hugging Face今年四月份發(fā)布的性能比較表明，LLM之間的性能差距正在迅速縮小，特別是在多項(xiàng)選擇題、推理和數(shù)學(xué)問(wèn)題等特定任務(wù)中，頂級(jí)模型之間的差異極小。例如，在多項(xiàng)選擇題中，Claude 3 Opus、GPT-4和Gemini Ultra的得分均超過(guò)83%，而在推理任務(wù)中，Claude 3 Opus、GPT-4和Gemini 1.5 Pro的準(zhǔn)確率均超過(guò)92%。

Uber AI 前負(fù)責(zé)人Gary Marcus指出，LLM的最新研究論文都指向同一個(gè)方向，十幾個(gè)LLM都與GPT-4在一個(gè)領(lǐng)域，“其中一些性能比GPT-4略好一些，但并沒(méi)有質(zhì)的飛躍。我想每個(gè)人都會(huì)說(shuō)GPT-4比GPT-3.5領(lǐng)先了一步，但此后的一年多沒(méi)有任何質(zhì)的飛躍。”

與有限的性能提升相比，LLM的訓(xùn)練成本卻在不斷攀升。訓(xùn)練這些模型需要海量數(shù)據(jù)和數(shù)以億計(jì)甚至萬(wàn)億個(gè)參數(shù)，導(dǎo)致了極高的資源消耗。訓(xùn)練和運(yùn)行LLM所需的計(jì)算能力和能源消耗令人咋舌，這使得小型組織或個(gè)人難以參與核心LLM開(kāi)發(fā)。

國(guó)際能源署估計(jì)，數(shù)據(jù)中心、加密貨幣和人工智能相關(guān)的電力消耗到2026年，會(huì)大致相當(dāng)于日本全國(guó)的用電量。

OpenAI首席執(zhí)行官Sam Altman曾在麻省理工學(xué)院的一次活動(dòng)上表示，訓(xùn)練GPT-4的成本至少為1億美元，而Anthropic首席執(zhí)行官Dario Amodei預(yù)測(cè)，未來(lái)訓(xùn)練模型的成本可能達(dá)到1000億美元。

此外，使用LLM所需的工具和技術(shù)的復(fù)雜性也增加了開(kāi)發(fā)人員的學(xué)習(xí)曲線。從訓(xùn)練到部署，整個(gè)過(guò)程耗時(shí)漫長(zhǎng)，減緩了開(kāi)發(fā)速度。劍橋大學(xué)的一項(xiàng)研究顯示，公司可能需要90天或更長(zhǎng)時(shí)間才能部署一個(gè)機(jī)器學(xué)習(xí)模型。

LLM的另一個(gè)重大問(wèn)題是容易產(chǎn)生“幻覺(jué)”——即模型生成的輸出看似合理，但實(shí)際上并不正確。這是由于LLM的訓(xùn)練方式是根據(jù)數(shù)據(jù)中的模式預(yù)測(cè)下一個(gè)最可能的單詞，而非真正理解信息。因此，LLM可能會(huì)自信地生成虛假陳述、編造事實(shí)或以荒謬的方式組合不相關(guān)的概念。如何檢測(cè)和減少這些“幻覺(jué)”是開(kāi)發(fā)可靠且可信賴語(yǔ)言模型的持續(xù)挑戰(zhàn)。

圖片來(lái)源：視覺(jué)中國(guó)

擴(kuò)展參數(shù)并非提高性能的唯一路徑

對(duì)LLM巨大能源需求的擔(dān)憂，以及為企業(yè)提供更多樣化AI選項(xiàng)的市場(chǎng)機(jī)會(huì)，讓科技公司將注意力逐漸轉(zhuǎn)向了SLM。

《每日經(jīng)濟(jì)新聞》記者注意到，不管是Arcee、Sakana AI和Hugging Face等AI初創(chuàng)公司，還是科技巨頭都在通過(guò)SLM和更經(jīng)濟(jì)的方式吸引投資者和客戶。

此前，谷歌、Meta、OpenAI和Anthropic都發(fā)布了比旗艦LLM更緊湊、更靈活的小型語(yǔ)言模型。這不僅降低了開(kāi)發(fā)和部署的成本，也為商業(yè)客戶提供了更便宜的解決方案。鑒于投資者越來(lái)越擔(dān)心AI企業(yè)的高成本和不確定的回報(bào)，更多的科技公司可能會(huì)選擇這條道路。即便是微軟和英偉達(dá)，如今也先后推出了自己的小型模型（SLM）。

SLM是LLM的精簡(jiǎn)版本，具有更少的參數(shù)和更簡(jiǎn)單的設(shè)計(jì)，它們需要更少的數(shù)據(jù)和訓(xùn)練時(shí)間——只需幾分鐘或幾小時(shí)。這使得SLM更高效，更易于在小型設(shè)備上部署。例如，它們可以嵌入到手機(jī)中，而無(wú)需占用超算資源，從而降低成本，并顯著提升響應(yīng)速度。

微軟在小型模型技術(shù)報(bào)告中指出，Phi-3.5-mini-instruct是一款為手機(jī)本地部署設(shè)計(jì)的高性能語(yǔ)言模型。

SLM的另一個(gè)主要優(yōu)勢(shì)是其針對(duì)特定應(yīng)用的專業(yè)化。SLM專注于特定任務(wù)或領(lǐng)域，這使它們?cè)趯?shí)際應(yīng)用中更加高效。例如，在情緒分析、命名實(shí)體識(shí)別或特定領(lǐng)域的問(wèn)答中，SLM的表現(xiàn)往往優(yōu)于通用模型。這種定制化使得企業(yè)能夠創(chuàng)建高效滿足其特定需求的模型。

SLM在特定領(lǐng)域內(nèi)也不易出現(xiàn)“幻覺(jué)”，因?yàn)樗鼈兺ǔＴ诟?、更有針?duì)性的數(shù)據(jù)集上訓(xùn)練，這有助于模型學(xué)習(xí)與其任務(wù)最相關(guān)的模式和信息。SLM的專注性降低了生成不相關(guān)、意外或不一致輸出的可能性。

盡管規(guī)模較小，SLM在某些方面的性能并不遜色于大模型。微軟最新推出的Phi-3.5-mini-instruct僅擁有38億個(gè)參數(shù)，但其性能優(yōu)于Llama3.18B和Mistral 7B等參數(shù)遠(yuǎn)高于它的模型。美國(guó)東北大學(xué)語(yǔ)言模型研究專家Aaron Mueller指出，擴(kuò)展參數(shù)數(shù)量并非提高模型性能的唯一途徑，使用更高質(zhì)量的數(shù)據(jù)訓(xùn)練也可以產(chǎn)生類似效果。

OpenAI首席執(zhí)行官Sam Altman在4月的一次活動(dòng)中表示，他相信當(dāng)前正處于巨型模型時(shí)代的末期，“我們將通過(guò)其他方式來(lái)提升它們的表現(xiàn)。”

不過(guò)，需要注意的是，雖然 SLM 的專業(yè)化是一大優(yōu)勢(shì)，但也有局限性。這些模型可能在其特定訓(xùn)練領(lǐng)域之外表現(xiàn)不佳，缺乏廣泛的知識(shí)庫(kù)，和 LLM相比無(wú)法生成廣泛主題的相關(guān)內(nèi)容。這一限制要求組織可能部署多個(gè) SLM 來(lái)覆蓋不同的需求領(lǐng)域，這可能會(huì)使 AI 基礎(chǔ)設(shè)施復(fù)雜化。

隨著AI領(lǐng)域的快速發(fā)展，小型模型的標(biāo)準(zhǔn)可能會(huì)不斷變化。東京小型模型初創(chuàng)公司Sakana的聯(lián)合創(chuàng)始人兼首席執(zhí)行官David Ha表示，幾年前看似龐大的AI模型，現(xiàn)在看來(lái)已經(jīng)顯得“適中”。“大小總是相對(duì)的，”David Ha說(shuō)道。