每經(jīng)記者 蔡鼎    每經(jīng)編輯 蘭素英    

對于專注于構(gòu)建專業(yè)人工智能（AI）模型的開發(fā)人員來說，他們面臨的長期挑戰(zhàn)是獲取高質(zhì)量的訓(xùn)練數(shù)據(jù)。較小的專家模型（參數(shù)規(guī)模在10億~100億）通常利用“蒸餾技術(shù)”，需要利用較大模型的輸出來增強(qiáng)其訓(xùn)練數(shù)據(jù)集，然而，使用來自O(shè)penAI等閉源巨頭的此類數(shù)據(jù)受到嚴(yán)格限制，因此大大限制了商業(yè)應(yīng)用。

而就在北京時(shí)間7月23日（周二）晚間，全球AI領(lǐng)域的開發(fā)人員期待已久的開源大模型“ChatGPT時(shí)刻”終于到來——Meta發(fā)布最新AI模型Llama 3.1，其中參數(shù)規(guī)模最大的是Llama 3.1-405B版本。

扎克伯格將Llama 3.1稱為“藝術(shù)的起點(diǎn)”，將對標(biāo)OpenAI和谷歌公司的大模型。測試數(shù)據(jù)顯示，Meta Llama 3.1-405B在GSM8K等多項(xiàng)AI基準(zhǔn)測試中超越了當(dāng)下最先進(jìn)的閉源模型OpenAI GPT-4o。這意味著，開源模型首次擊敗目前最先進(jìn)的閉源大模型。

而且，Llama 3.1-405B的推出意味著開發(fā)人員可以自由使用其“蒸餾”輸出來訓(xùn)練小眾模型，從而大大加快專業(yè)領(lǐng)域的創(chuàng)新和部署周期。 

開源社區(qū)的“里程碑”：Llama 3.1-405B在多項(xiàng)測試中超越GPT-4o

2024年4月，Meta推出開源大型語言模型Llama 3。其中，Llama 3-8B和Llama 3-70B為同等規(guī)模的大模型樹立了新的基準(zhǔn)，然而，在短短三個(gè)月內(nèi)，隨著AI的功能迭代，其他大模型很快將其超越。

在你追我趕的競爭環(huán)境下，Meta最新發(fā)布了AI模型Llama 3.1，一共有三款，分別是Llama 3.1-8B、Llama 3.1-70B和Llama 3.1-405B。其中，前兩個(gè)是4月發(fā)布的Llama 3-8B和Llama 3-70B模型的更新版本。而Llama 3.1-405B版本擁有4050億個(gè)參數(shù)，是Meta迄今為止最大的開源模型之一。

而在發(fā)布當(dāng)天的凌晨（北京時(shí)間），“美國貼吧”reddit的LocalLLaMA子論壇泄露了即將推出的三款模型的早期基準(zhǔn)測試結(jié)果。

泄露的數(shù)據(jù)表明，Meta Llama 3.1-405B在幾個(gè)關(guān)鍵的AI基準(zhǔn)測試中超越了OpenAI的GPT-4o。這對開源AI社區(qū)來說是一個(gè)重要的里程碑：開源模型首次擊敗目前最先進(jìn)的閉源大模型。

而Meta團(tuán)隊(duì)研究科學(xué)家Aston Zhang在X上發(fā)布的內(nèi)容，也印證了被泄露的測試數(shù)據(jù)。

圖片來源：X

具體來看，Meta Llama 3.1-405B 在IFEval、GSM8K、ARC Challenge和Nexus等多項(xiàng)測試中均優(yōu)于GPT-4o。但是，它在多項(xiàng)MMLU測試和GPQA測試等方面卻落后于 GPT-4o。另外，Llama 3.1的上下文窗口（context window）涵蓋128000個(gè)標(biāo)記，比以前的Llama模型更大，大約相當(dāng)于一本50頁書的長度。

圖片來源：X

但需要指出的是，值得注意的是，這些基準(zhǔn)反映的是Llama 3.1基本模型的性能。這些模型的真正潛力可以通過指令調(diào)整來實(shí)現(xiàn)，而指令調(diào)整過程可以顯著提高這些模型的能力。即將推出的Llama 3.1模型的指令調(diào)整版本預(yù)計(jì)會產(chǎn)生更好的結(jié)果。

Llama 4已于6月開始訓(xùn)練

盡管OpenAI即將推出的 GPT-5預(yù)計(jì)將具備先進(jìn)的推理能力，可能會挑戰(zhàn)Llama 3.1在大模型領(lǐng)域的潛在領(lǐng)導(dǎo)地位，但Llama 3.1對標(biāo)GPT-4o的強(qiáng)勁表現(xiàn)仍然彰顯了開源AI開發(fā)的力量和潛力。

要知道，對于專注于構(gòu)建專業(yè)AI模型的開發(fā)人員來說，他們面臨的長期挑戰(zhàn)是獲取高質(zhì)量的訓(xùn)練數(shù)據(jù)。較小的專家模型（參數(shù)規(guī)模在10億~100億）通常利用“蒸餾技術(shù)”，需要利用較大模型的輸出來增強(qiáng)其訓(xùn)練數(shù)據(jù)集，然而，使用來自O(shè)penAI等閉源巨頭的此類數(shù)據(jù)受到嚴(yán)格限制，因此大大限制了商業(yè)應(yīng)用。

而Llama 3.1-405B的推出意味著開發(fā)人員可以自由使用其“蒸餾”輸出來訓(xùn)練小眾模型，從而大大加快專業(yè)領(lǐng)域的創(chuàng)新和部署周期。預(yù)計(jì)高性能、經(jīng)過微調(diào)的模型的開發(fā)將激增，這些模型既強(qiáng)大又符合開源道德規(guī)范。

賓夕法尼亞大學(xué)沃頓商學(xué)院副教授伊桑·莫利克（Ethan Mollick）寫道：“如果這些數(shù)據(jù)屬實(shí)，那么可以說頂級AI模型將在本周開始免費(fèi)向所有人開放。全球各地都可以使用相同的AI功能。這會很有趣。”

Llama 3.1-405B的開源，也證明開源模型與閉源模型的差距再次縮小了。

圖片來源：X

《每日經(jīng)濟(jì)新聞》記者還注意到，除了廣受期待的Llama 3.1-405B外，外媒報(bào)道稱，Llama 4已于6月開始訓(xùn)練，訓(xùn)練數(shù)據(jù)包括社交平臺Facebook和Instagram用戶的公開帖子。而在開始之前，Mate已經(jīng)向數(shù)據(jù)隱私監(jiān)管最嚴(yán)格的歐盟地區(qū)用戶發(fā)送超過20億條通知，提供了不同意把自己數(shù)據(jù)用于大模型訓(xùn)練的選項(xiàng)。

據(jù)悉，Llama 4將包含文本、圖像、視頻與音頻模態(tài)，Meta計(jì)劃將新模型應(yīng)用在手機(jī)以及智能眼鏡中。