每經(jīng)記者 張韻    每經(jīng)編輯 董興生    

大模型也有自己的“摩爾定律”？2024世界人工智能大會期間，深耕端側(cè)大模型的清華大學(xué)計算機(jī)系長聘副教授、面壁智能首席科學(xué)家劉知遠(yuǎn)分享了他的研究思路：“如果擁有在端側(cè)有限的算力、內(nèi)存、能耗條件下，將知識濃縮到更小的參數(shù)規(guī)模中的能力，那么便可探尋大模型的高效成長規(guī)律。”

圖片來源：每經(jīng)記者 張韻 攝

在訓(xùn)練大模型之前，劉知遠(yuǎn)會在“模型沙盒”中做成百上千次演練。他解釋道，在小模型上高效尋找最優(yōu)數(shù)據(jù)和超參配置，并外推至大模型，可找到一個更高的知識密度，從而帶來一個更加高效的模型。

劉知遠(yuǎn)認(rèn)為，如果說芯片制程會帶來終端算力持續(xù)增強(qiáng)，模型制程也將帶來模型知識密度的持續(xù)增長，那么兩者交匯將揭示端側(cè)智能的巨大潛力。因此，大模型時代會擁有自己的“摩爾定律”，即模型知識密度的持續(xù)增強(qiáng)。據(jù)劉知遠(yuǎn)觀察，模型的知識密度呈現(xiàn)出每8個月提升一倍的規(guī)律。

劉知遠(yuǎn)進(jìn)一步得出結(jié)論，未來高效大模型第一性原理的關(guān)鍵詞便是知識密度，也就是每一次計算依托的參數(shù)規(guī)模所對應(yīng)的能力消耗。當(dāng)大模型數(shù)據(jù)驅(qū)動技術(shù)方向大致確定，模型的架構(gòu)、算法、數(shù)據(jù)等技術(shù)方案卻仍在高速迭代，因此持續(xù)改進(jìn)模型制程、極致提升知識密度成為行業(yè)努力的方向。