每經(jīng)記者 張韻    每經(jīng)編輯 魏官紅    

2023WAIC大會上，正在沖擊港股IPO的AI公司第四范式帶來了式說大模型，其首秀的“大模型之城”匯集了公司在金融、零售、房地產(chǎn)、航空、制造、司法等行業(yè)最具代表性的大模型實踐，受到廣泛關(guān)注。

從大模型技術(shù)發(fā)展演進出發(fā)，第四范式副總裁、主任科學(xué)家涂威威在接受《每日經(jīng)濟新聞》記者專訪時提出，類GPT模型結(jié)構(gòu)和學(xué)習(xí)方式的瓶頸在于不具備邏輯推理能力，并表示未來的AI發(fā)展路徑不是依靠文字背書，而是從“抄襲”人類行為的步驟轉(zhuǎn)變?yōu)閷W(xué)習(xí)做這件事的目標(biāo)，通過一步步學(xué)習(xí)更高層級的目標(biāo)達到超越人類上限的效果，真正的通用推理模型尚未出現(xiàn)，大模型三要素比拼的核心不只是算力，更重要的是數(shù)據(jù)。

大模型進化基于商業(yè)化路徑

NBD：對于技術(shù)圈而言，生成式AI的發(fā)展已歷經(jīng)數(shù)年，那么從技術(shù)演進的角度來看，用一個模型是如何從只能解決一個問題到可以解決多個問題的？

涂威威：自然語言處理（NLP）其實是一個老生常談的問題，以前所有的做法都是用人工的方式篩選數(shù)據(jù)特征，再跑一個簡單的模型，做個簡單的任務(wù)，直到深度學(xué)習(xí)出現(xiàn)之后，大家開始在模型上做優(yōu)化。

一開始，深度學(xué)習(xí)不能工作的原因是模型本身比較復(fù)雜，數(shù)據(jù)太少，如果放進一個參數(shù)規(guī)模很大的模型里，效果比較差，所以都放在一個小模型里跑，每個模型只能完成某一種任務(wù)。

后來，大家慢慢地把各種各樣的任務(wù)混到一起去訓(xùn)練，發(fā)現(xiàn)這些模型之間會相互幫助，不同任務(wù)之間可以共享通行的參數(shù)，本質(zhì)理論就是遷移學(xué)習(xí)，當(dāng)然不是所有的遷移學(xué)習(xí)都會奏效，遷移學(xué)習(xí)也有負(fù)向遷移的問題。

在商業(yè)化上，像百度和谷歌，他們是最早把AI用到商業(yè)化系統(tǒng)里去的。

NBD：為什么最早是這幾個公司先把模型做大？

涂威威：首先是一個投資邏輯，要把模型做大需要有大量的數(shù)據(jù)和算力，這些都是成本，在十幾年前，我們在百度的一個搜索廣告模型的參數(shù)量從千萬做到了上千億甚至上萬億的規(guī)模，廣告推薦場景之所以能把模型做這么大，是因為它能立馬變現(xiàn)。

那時候，我們發(fā)現(xiàn)隨著數(shù)據(jù)和算力的投入，把模型不斷變大，模型效果會越來越好，推薦的越來越準(zhǔn)，變現(xiàn)效率也會更高。

深度學(xué)習(xí)出現(xiàn)之后，就像亂拳打死老師傅，比如圖像領(lǐng)域，基本沒有人再做視覺特征，而是直接加入CNN模型，所以圖像很快發(fā)展起來。隨著圖像開源的數(shù)據(jù)越來越多，大家也就把模型層數(shù)越做越深，效果也越來越好。

NBD：相比機器學(xué)習(xí)、深度學(xué)習(xí)在商業(yè)應(yīng)用上的快速發(fā)展，自然語言處理領(lǐng)域為何長期沒有起色？

涂威威：NLP之前存在的問題，一方面是沒有一個特別好的模型架構(gòu)出現(xiàn)，另一方面是沒有明確的商業(yè)化前景，所以大家不愿意投入更多資源。

NLP在RNN時代，人們發(fā)現(xiàn)這個模型的效果很難往上提。Transformer出現(xiàn)之后，大家認(rèn)為這是一個符合模型做大的底層邏輯的架構(gòu)。OpenAI想去做AGI，就要解決NLP這個核心技術(shù)，于是才開始投入資源到GPT。

GPT很難做邏輯推理

NBD：GPT是如何做到第四代的？

涂威威：OpenAI一開始做的GPT模型其實并不大，在Transformer被提出來之后，GPT是一個預(yù)訓(xùn)練方向的第一個有名的嘗試，大家發(fā)現(xiàn)在某些任務(wù)上效果比原來好，但是第一版沒有好太多。緊接著過了大概一兩個月，谷歌改變模型結(jié)構(gòu)，加大訓(xùn)練數(shù)據(jù)，橫空出世了一個Bert模型，兩個的訓(xùn)練方式有所不同，前者是通過前一個詞推下一個詞，后者是在兩個詞之前做選詞填空。

因為Bert的生成方式比GPT容易，帶來的結(jié)果是它的效果刷爆，另一方面，GPT和Bert這類預(yù)訓(xùn)練模型可以同時提升好幾個NLP領(lǐng)域的問題。過了沒幾個月，OpenAI就進一步把模型變大，到了GPT-2的時候，出來的效果終于追平了Bert，甚至更好一點。

這時候，OpenAI提出用自然語言預(yù)測下一個詞的模式可以學(xué)到很多，而且形式上能夠以prompt的方式用一個模型解決很多NLP領(lǐng)域的不同問題，從而能解決一些更復(fù)雜的任務(wù)，雖然當(dāng)時效果沒那么好。但是一個確定性的趨勢是從小模型到大模型的效果會變好，OpenAI把這個模型堆到巨大，GPT-3問世。

一旦讓一個超級大的模型學(xué)習(xí)到了足夠多的語料，將所有共性任務(wù)合在一起處理，效果相比之前的小模型就變好了很多，這個和原來搜索廣告、圖像把模型做大的邏輯很類似。

NBD：目前GPT距離真正的智能有多遠？

涂威威：這自始至終還是統(tǒng)計機器學(xué)習(xí)，GPT看起來效果這么好，是因為它看了很多人一輩子看不完的書，并背了下來，所以它看起來好像啥都懂，你可以隨意和它閑聊。

但是最后到業(yè)務(wù)上能不能幫助個人或者企業(yè)，還是有很多專業(yè)壁壘，一個核心壁壘是專業(yè)領(lǐng)域的數(shù)據(jù)，這些是基座大模型在訓(xùn)練時很難接觸到的數(shù)據(jù)。統(tǒng)計機器學(xué)習(xí)有個基本假設(shè)叫獨立同分布，面對從來沒見過的數(shù)據(jù)它效果就很難(呈現(xiàn)得)好。

大模型也不是完全不能解決業(yè)務(wù)的問題，關(guān)鍵之一就是讓它學(xué)習(xí)特定領(lǐng)域的高質(zhì)量數(shù)據(jù)。我們此前和我愛我家的合作中，在使用房產(chǎn)經(jīng)紀(jì)行業(yè)的語料訓(xùn)練之后，式說可以回答基礎(chǔ)的專業(yè)問題，相比于GPT回答得更加準(zhǔn)確。

除了學(xué)習(xí)內(nèi)容的局限性，從GPT的學(xué)習(xí)方式上看，其本身是一個語言模型，核心在做的是能通過背書理解人在說什么，想要它干什么，但它并不是真的從邏輯上理解這件事，這個模型結(jié)構(gòu)就限制了GPT，讓它直接做邏輯推理是比較難的。

專業(yè)數(shù)據(jù)是核心

NBD：關(guān)于大模型三要素，您似乎更強調(diào)數(shù)據(jù)，為什么現(xiàn)在大家好像更關(guān)注算力？

涂威威：因為對于中國的人工智能產(chǎn)業(yè)而言，算力是個瓶頸，但也不是完全不能解決。

像國產(chǎn)的算力，雖然單顆（芯片）的算力不強，但“人多力量大”，如不同的數(shù)據(jù)，只要能用同樣的模式處理，就可以使用一堆芯片去并行運算，能很大程度上緩解這個問題。解決了這個，核心的問題還是數(shù)據(jù)。

OpenAI的優(yōu)勢就在于具備了高質(zhì)量的數(shù)據(jù)，其實模型結(jié)構(gòu)的差別并不大，邏輯是一樣的，但在當(dāng)前這個體系下，還沒有把這個模型結(jié)構(gòu)發(fā)揮到極限，所以大家還會不停地做得更好，一方面數(shù)據(jù)要做得更大，相對應(yīng)的算力要更大，另一方面會注重性價比。

而本質(zhì)上，不管看數(shù)據(jù)還是看模型本身，在產(chǎn)業(yè)界，它一定是用價值來衡量的，最終還是要深入到一些業(yè)務(wù)場景，看能不能解決實際業(yè)務(wù)中的問題，實際落地比較重要的一點是能擁有自己的數(shù)據(jù)飛輪，在業(yè)務(wù)里面轉(zhuǎn)起來，才有可能發(fā)揮模型更好的效果。

NBD：從您的角度來看，GPT這樣的模型架構(gòu)可以在哪些應(yīng)用場景下使用？

涂威威：GPT面對文本分類、歸納、翻譯等不同任務(wù)時，其核心都是需要對這個文本進行理解，我們認(rèn)為在企業(yè)級市場的機會是業(yè)務(wù)助手Copilot，其中一個很有價值的解決方案是類GPT語言模型做公司的“董秘”，聽懂董事長想解決的問題，然后傳達給公司內(nèi)更專業(yè)的人來處理，就像ChatGPT的plugin。

通過這種方式，大模型會改變企業(yè)軟件的人機交互，之前企業(yè)軟件的使用門檻太高，使得效能沒有發(fā)揮到最大，如果使用自然語言輸入，不管調(diào)用什么樣的功能，都可以通過一段簡單的對話獲得結(jié)果，無需再層層點擊，由此人機交互的變革一定會帶來很大的機會。

第四范式也由此提出了AIGS（AI-Generated Software）的技術(shù)戰(zhàn)略，將大模型技術(shù)聚焦在TO B企業(yè)軟件領(lǐng)域，用生成式AI重構(gòu)企業(yè)軟件。比如在我們和一個商用飛機制造商的合作中，用GPT改造他們使用的工業(yè)設(shè)計軟件，改造后設(shè)計人員直接語音提問“幫我找類似的零件”，“給出這兩個零件的裝配方案”，就能輕松找到零件并給出多種組裝方案，代替了傳統(tǒng)需要輸入各種參數(shù)的操作方式，員工工作效率得到了大幅提升。

AI自博弈成發(fā)展趨勢

NBD：未來AI的發(fā)展路徑是怎樣的？

涂威威：GPT核心學(xué)的是一個相關(guān)性，相當(dāng)于一個函數(shù)擬合，而它的邏輯推理能力現(xiàn)在還是非常欠缺的，現(xiàn)在GPT的學(xué)習(xí)方式比如RLHF持續(xù)優(yōu)化的仍是當(dāng)前的答案能不能滿足提問者的需求，而不是考慮多步主動引導(dǎo)人得到一個更長遠的未來。

所以更好的趨勢不是背一段文字，而是“模仿”人做一件事的步驟，但是如果這個步驟對著專家學(xué)，可以打敗業(yè)余者，但是打不贏專家，是因為它學(xué)的就是這些人，一直copy不可能更強。

AI要突破人的上限，就是要一步步學(xué)做這件事的更高目標(biāo)，但達到更高目標(biāo)的信號是非常稀疏的，做了很多步驟才能判斷這個目標(biāo)能不能達成，所以需要進行不停的自我“博弈”，去探索所有可能性。

統(tǒng)計機器學(xué)習(xí)的方法依舊是背步驟，只有在經(jīng)過大量的自我博弈之后，使得絕大多時的情況機器都見過，而當(dāng)人不會時，才有可能突破人的上限。

與之相悖的是，要解決一個現(xiàn)實的業(yè)務(wù)問題就沒法自我博弈，所以難點在于做這樣的決策優(yōu)化需要在現(xiàn)實世界做實驗。

NBD：能否在元宇宙中達到這個目的？

涂威威：可以構(gòu)建一個虛擬世界，但構(gòu)建符合實際的虛擬世界非常困難。

有一類機器學(xué)習(xí)技術(shù)叫環(huán)境學(xué)習(xí)，環(huán)境是決策環(huán)境，要把這個環(huán)境學(xué)習(xí)出來，我們要去描述這個世界的運行方式，需要非常多的交叉知識。環(huán)境學(xué)習(xí)的核心在于，要回答做了這件事之后，這個世界會發(fā)生什么樣的變化。要構(gòu)建這樣一個龐大的模擬器，需要精準(zhǔn)到與現(xiàn)實世界變化一致，才有可能。

對于解決業(yè)務(wù)決策問題，在元宇宙中呈現(xiàn)出3D環(huán)境的技術(shù)不重要，重要的是能不能把這個世界的運轉(zhuǎn)規(guī)律真實地模擬出來。

當(dāng)前沒有哪個模型是百分百對的，雖然看起來非常無助，但肯定有一部分能來幫助我們。我們沒有辦法建立一個非常完備的系統(tǒng)，但只要對我們目前想解決的任務(wù)有幫助就可以。從應(yīng)用學(xué)的角度來看，只要比現(xiàn)在做得好，就有價值。