每經(jīng)記者 蔡鼎    每經(jīng)編輯 蘭素英    

近年來，大型語言模型（下稱LLMs）的能力不斷提高，引發(fā)了各界關(guān)于它們是否只是學(xué)習(xí)了表面的統(tǒng)計規(guī)律，還是形成了包含數(shù)據(jù)生成過程的內(nèi)在模型（即世界模型）的爭論。近日，來自麻省理工（下稱MIT）的研究人員公布了他們的研究，就此給出了答案。

MIT研究人員Wes Gurnee和Max Tegmark于10月3日提交在預(yù)印本arXiv上的論文稱，他們通過分析三個空間數(shù)據(jù)集（世界、美國、紐約市的地點）和三個時間數(shù)據(jù)集（歷史人物、藝術(shù)作品、新聞標(biāo)題）在Llama-2系列模型中的學(xué)習(xí)表征，發(fā)現(xiàn)了世界模型的證據(jù)。

研究人員發(fā)現(xiàn)，LLMs學(xué)習(xí)了空間和時間的線性表征，并且這些表征在不同的尺度和實體類型（如城市和地標(biāo)）之間是統(tǒng)一的。此外，作者還識別出了單個的“空間神經(jīng)元”和“時間神經(jīng)元”，它們可靠地編碼了空間和時間坐標(biāo)。論文稱，現(xiàn)代LLMs獲取了關(guān)于空間和時間這些基本維度的結(jié)構(gòu)化知識，證明LLMs學(xué)習(xí)的不僅僅是表面統(tǒng)計規(guī)律，而是真正的世界模型。

LLMs中存在“時間和空間神經(jīng)元”

在空間和時間數(shù)據(jù)集層面，研究人員在實驗中構(gòu)建了六個數(shù)據(jù)集，包含有對應(yīng)空間或時間坐標(biāo)的地點或事件的名稱，分別涵蓋了不同的空間或時間尺度，包括全球范圍內(nèi)的地點、美國國內(nèi)的地點，以及紐約市范圍內(nèi)的地點；過去3000年內(nèi)去世的歷史人物；1950年以來發(fā)布的歌曲、電影和書籍；以及2010年至2020年發(fā)布的新聞標(biāo)題。

圖片來源：arXiv網(wǎng)站論文

對于每個數(shù)據(jù)集，研究人員納入了多種類型的實體，例如城市等人口密集場所和湖泊等自然地標(biāo)，以研究不同對象類型的統(tǒng)一表征情況。此外，研究人員還維護(hù)并豐富了相關(guān)的元數(shù)據(jù)，以便通過更詳細(xì)的分類分析數(shù)據(jù)。

研究人員使用標(biāo)準(zhǔn)的探測技術(shù)，即在LLMs的內(nèi)部激活上擬合一個簡單的模型來預(yù)測與輸入數(shù)據(jù)相關(guān)聯(lián)的目標(biāo)標(biāo)簽。具體來說，給定一個激活數(shù)據(jù)集A和一個目標(biāo)Y，包含時間或二維經(jīng)緯度坐標(biāo)，作者擬合線性回歸探測器得到一個線性預(yù)測器。在未提示過的數(shù)據(jù)上強(qiáng)大的預(yù)測性表明，LLMs中有可被線性解碼出來的空間和時間信息。

作者首先探測了Llama-2-{7B, 13B, 70B}每一層對每個空間和時間數(shù)據(jù)集的預(yù)測性能。結(jié)果顯示，在所有數(shù)據(jù)集上，空間和時間特征都可以被線性探測器恢復(fù)，而且這些表達(dá)隨著模型規(guī)模增大而變得更準(zhǔn)確，并且在達(dá)到穩(wěn)定狀態(tài)之前，模型前半層的表達(dá)質(zhì)量會平穩(wěn)提高。例如，他們發(fā)現(xiàn)，Llama-2-70B竟然能夠描繪出真實世界的文字地圖。

總結(jié)來說，MIT研究人員的研究顯示：LLMs不僅僅是隨機(jī)的模型——Llama-2已經(jīng)是包含世界的詳細(xì)模型，甚至包含獨立的“時間神經(jīng)元”和“空間神經(jīng)元”！

論文作者之一、MIT研究大模型優(yōu)化的博士生Wes Gurnee的論文一經(jīng)arXiv和推特（現(xiàn)X）發(fā)布，便引發(fā)廣泛關(guān)注。其推文概述了論文的內(nèi)容，截至發(fā)稿，已經(jīng)有近300萬次閱讀。

LLMs學(xué)習(xí)的空間和時間線性表征在不同實體類型間是統(tǒng)一的

此外，作者還研究了Llama-2的這些空間或時間表征是否對提示詞敏感，即是否可以通過上下文來引發(fā)或抑制這些事實回憶。直覺上，對于任何實體詞，自回歸模型都有動機(jī)產(chǎn)生一個適合應(yīng)對任何未來可能的上下文或問題的表達(dá)。

為了研究這一點，研究人員創(chuàng)建了新的激活數(shù)據(jù)集，其中在每個實體詞前加上不同的提示。在所有情況下，作者都包括了一個“空”提示，只包含實體詞（和一個序列開始符號）。然后，作者包括了一個詢問模型回憶相關(guān)事實的提示，例如“<地點>的經(jīng)緯度是多少”或“<作者>的<書籍>發(fā)布于何時”。對于美國和紐約市數(shù)據(jù)集，作者還包括了詢問這個地點在美國或紐約市哪里的提示，試圖消除一些地點名稱的歧義（例如City Hall）。

作為基準(zhǔn)的模型，作者囊括了10個隨機(jī)提示詞作為提示。為了確定是否可以模糊主題，對于一些數(shù)據(jù)集，作者將所有實體名稱全部大寫。最后，對于標(biāo)題數(shù)據(jù)集，作者嘗試在最后一個詞和在標(biāo)題后面加上句號兩種情況下進(jìn)行測試。研究人員發(fā)現(xiàn)，顯式地提示模型信息，或者給出消除歧義的提示，對Llama-2的輸出結(jié)果幾乎沒有影響。然而，作者驚訝地發(fā)現(xiàn)隨機(jī)干擾詞和將實體大寫會降低其輸出內(nèi)容的質(zhì)量。唯一明顯改善性能的修改是在標(biāo)題后面加上句號進(jìn)行探測，這表明句號被用來包含句子結(jié)束。

圖片來源：arXiv

Wes Gurnee和Max Tegmark在論文的“討論”章節(jié)指出，他們提供的證據(jù)表明，LLMs學(xué)習(xí)的空間和時間線性表征在不同實體類型之間是統(tǒng)一的，并且對提示詞具有相當(dāng)敏感的反應(yīng)，而且存在對這些特征高度敏感的單個神經(jīng)元。由此推論，在模型和數(shù)據(jù)量足夠大的情況下，LLMs僅靠下一個標(biāo)記的預(yù)測就足以學(xué)習(xí)世界的文字地圖。

“我們的分析為今后的工作提出了許多有趣的問題。雖然我們表明可以線性地重建樣本在空間或時間中的絕對位置，而且一些神經(jīng)元使用了這些探測方向，但空間和時間表征的真正范圍和結(jié)構(gòu)仍不清楚。特別是，我們推測這種結(jié)構(gòu)的最典型形式是離散化的分層網(wǎng)狀結(jié)構(gòu)，其中任何樣本都被表示為其最近基點的線性組合。此外，LLMs可以也確實在使用這種坐標(biāo)系，以線性探針（linear probe）的方式使用正確的基點方向線性組合來表示絕對位置。我們預(yù)計，隨著LLMs規(guī)模的擴(kuò)大，這一坐標(biāo)系將通過更多的基點、更多的粒度以及更精確的實體到模型坐標(biāo)的映射而得到增強(qiáng)。”研究人員寫道。

Wes Gurnee和Max Tegmark的論文標(biāo)題 圖片來源：arXiv 

作者還指出，在他們的分析以及更廣泛的研究中，另一個干擾因素是他們的數(shù)據(jù)集中存在許多模型本身并不知道的“實體”，從而“污染”了他們的激活數(shù)據(jù)集。

“我們對這些了解空間和時間維度的世界模型是如何學(xué)習(xí)或使用的理解也僅僅觸及了其表面。在初步的實驗中，我們發(fā)現(xiàn)我們的模型在不依賴多步推理的情況下難以回答基本的時空關(guān)系問題，這使得因果干預(yù)分析變得復(fù)雜，但我們認(rèn)為這是理解何時以及如何使用這些特征的關(guān)鍵步驟。”論文作者補(bǔ)充道。

封面圖片來源：視覺中國-VCG111421248465