每經(jīng)記者 可楊    每經(jīng)編輯 張海妮    

2024年6月14日，AI行業(yè)盛會“2024北京智源大會”在中關(guān)村展示中心開幕?！睹咳战?jīng)濟新聞》在現(xiàn)場注意到，在全體大會中的主題討論環(huán)節(jié)，零一萬物CEO李開復與清華大學智能產(chǎn)業(yè)研究院院長、智源學術(shù)顧問委員張亞勤對談。

圖片來源：主辦方提供 

張亞勤談到了大模型的“三個做對了”和“三個目前需要改進”。

關(guān)于“三個做對了”，張亞勤提出：

首先，規(guī)模定律Scaling Law。規(guī)模定律的實現(xiàn)，主要得益于對海量數(shù)據(jù)的利用以及算力的顯著提升。再加上現(xiàn)在的Diffusion和Transformer架構(gòu)能夠高效地利用算力和數(shù)據(jù)，使得“飛輪效應”得以正循環(huán)。盡管有人質(zhì)疑Scaling Law在2~3年后是否仍然有效，但張亞勤個人認為至少在未來5年里，它仍將是產(chǎn)業(yè)發(fā)展的主要方向。

其次是“Token-Based”統(tǒng)一表述方式。在大模型中，“Token”是一個基本元素。無論是文本、語音、圖像、視頻，還是自動駕駛中的激光雷達信號，甚至是生物領(lǐng)域的蛋白質(zhì)和細胞，最終都可以抽象為一個Token。Token之間的訓練、學習和生成是核心環(huán)節(jié)，這與我們大腦中的神經(jīng)元工作原理相似，無論執(zhí)行何種任務，其基礎(chǔ)機制都是相同的。

最后是通用性。這與Token緊密相關(guān)。現(xiàn)在的通用性不僅體現(xiàn)在文本處理上，還擴展到了多模態(tài)領(lǐng)域，甚至可以生成如蛋白質(zhì)等復雜結(jié)構(gòu)。此外，它在物理世界（如具身智能）和生物世界（如生物智能）中也有著廣泛的應用前景。

以上這三個是大模型做對的，而關(guān)于現(xiàn)階段的主要問題，張亞勤也提出了三個點：

第一個，效率較低。特別是大模型的計算效率低下問題，與人類大腦的高效性形成了鮮明的對比。人類大腦擁有860億個神經(jīng)元，每個神經(jīng)元又有數(shù)千個突觸連接，卻只需要20瓦的能量，重量還不到三斤；而GPT4這個萬億參數(shù)模型則需要巨大的算力和能源，與人腦相比相差1000倍之多。此外，人腦能夠根據(jù)不同的情境靈活調(diào)用不同區(qū)域的神經(jīng)元，而大模型卻每次輸入一個問題都要調(diào)用和激活幾乎大量參數(shù)。因此，如何借鑒人類大腦的計算方法，在降低計算耗能、提高效率方面進行探索和創(chuàng)新，是一個值得關(guān)注的方向。

第二個，大模型目前還未能真正理解物理世界，相關(guān)的推理能力、透明性以及幻覺等問題都還在深入研究中。有一個重要的問題是，即使我們的大模型做得再好，它在生成式表述與對真實世界的描繪之間仍存在矛盾。因此，我們需要探索如何將生成式的概率大模型與現(xiàn)有的“第一性原理”或真實模型、知識圖譜相結(jié)合。目前，雖然已經(jīng)有了一些嘗試，如采用RAG技術(shù)或進行微調(diào)，并取得了一定的進展，但張亞勤認為這些方法并非根本解決方案。張亞勤預測，在未來五年內(nèi)，將會有一個全新的架構(gòu)出現(xiàn)，這個架構(gòu)有望取代目前的Transformer和Diffusion模型。

第三個欠缺的地方是邊界問題?，F(xiàn)在大模型無法知道“我不知道什么”，這是目前要解決的問題，是它的邊界效應。

封面圖片來源：主辦方提供