每經(jīng)記者 王郁彪    每經(jīng)編輯 文多    

北京航空航天大學(xué)計算機(jī)學(xué)院副教授巢文涵進(jìn)行主旨演講 圖片來源：每經(jīng)記者 韓陽 攝

AI大潮洶涌，真實與虛擬，正在被無限模糊。2024開年，OpenAI用它的首個視頻生成模型Sora宣告了一個AI新階段的到來——僅憑簡單的文字描述，便可深度模擬真實物理世界，生成最長60秒的擬真視頻。

如果把AI比作剛出生的嬰兒，大語言模型的誕生則意味著它開口講話，Sora的面世相當(dāng)于他/她睜開了雙眼，并把自己觀察到的一切轉(zhuǎn)化為畫面與聲音。

隨著AI技術(shù)的不斷發(fā)展與應(yīng)用，在AI賦能的過程中，該如何平衡其中的創(chuàng)新與挑戰(zhàn)？

3月15日，由工業(yè)和信息化部工業(yè)文化發(fā)展中心牽頭成立的AI應(yīng)用工作組主辦，每日經(jīng)濟(jì)新聞承辦、數(shù)智未來場景實驗室協(xié)辦的“Sora的啟示：AI應(yīng)用再飛躍”主題沙龍活動在京成功舉辦。

北京航空航天大學(xué)計算機(jī)學(xué)院副教授巢文涵在主旨演講環(huán)節(jié)表示：生成式AI的迭代速度降低了用戶端的再訓(xùn)練必要性，因此，想要在生成式AI的應(yīng)用中尋求進(jìn)一步突破，應(yīng)該從訓(xùn)練和創(chuàng)造AI，逐漸走向調(diào)用和激發(fā)AI潛力。

重新認(rèn)識Sora——“世界模擬器”

當(dāng)其他AI視頻工具還在突破幾秒內(nèi)的連貫性時，Sora已經(jīng)可以快速制作最長1分鐘、準(zhǔn)確反映用戶提示、可一鏡到底的視頻。

對于Sora在技術(shù)上的突破，巢文涵認(rèn)為，Sora實際上是一個“Diffusion＋Transformer模型”（Diffusion、Transformer分別為模型名稱），是二者組合成的強(qiáng)大信息提取器。

此外，他還表示，Sora繼承了Dall-E3（OpenAI開發(fā)的最新文本到圖像轉(zhuǎn)換工具）的畫質(zhì)和遵循指令的能力，可以深度模擬真實物理世界，能生成具有多個角色、包含特定運(yùn)動的復(fù)雜場景。

因其根據(jù)靜態(tài)圖像生成視頻的能力，Sora在動圖制作、廣告設(shè)計等領(lǐng)域具有不小的應(yīng)用前景。不過，巢文涵還補(bǔ)充說，Sora能夠獲取現(xiàn)有視頻并對其進(jìn)行擴(kuò)展或填充缺失的幀，這一功能在視頻編輯、電影特效等領(lǐng)域也將有不俗的應(yīng)用表現(xiàn)。

值得一提的是，用戶還可以使用Sora連接兩個輸入視頻，在完全不同的主題和場景組成的視頻間，實現(xiàn)無縫過渡。

Sora在技術(shù)上的突破及其未來廣闊的應(yīng)用前景，使得AI又上升到了一個全新的維度。“Sora雖被定義為一款人工智能文生視頻大模型，但其實，OpenAI并未將其單純視為視頻模型，而是作為‘世界模擬器’。”巢文涵如此表示。

北京航空航天大學(xué)計算機(jī)學(xué)院副教授巢文涵 圖片來源：每經(jīng)記者 韓陽 攝

從訓(xùn)練和創(chuàng)造AI，走向調(diào)用和激發(fā)AI潛力

從時尚展示到動漫制作，從心理治療到建筑規(guī)劃，Sora可以為多個相關(guān)領(lǐng)域進(jìn)行全新的創(chuàng)造、再創(chuàng)造。不過，巢文涵認(rèn)為，Sora同樣擁有諸多局限性。

比如，Sora在處理復(fù)雜場景時對物理規(guī)則的應(yīng)用不一致，因此出現(xiàn)無法準(zhǔn)確模擬出因果關(guān)系的特定情況。這也可以解釋，為什么在Sora生成的視頻里，時常能看到變形的椅子飛向天空的畫面。

巢文涵進(jìn)一步補(bǔ)充說，在人機(jī)交互、充分理解空間和時間的復(fù)雜性以及使用限制上，Sora還有非常多的局限性。

那么，如何在AI技術(shù)不斷突破的過程中，繼續(xù)逐點擊破AI賦能和應(yīng)用的難點，平衡創(chuàng)新與挑戰(zhàn)？巢文涵表示，生成式AI應(yīng)用，應(yīng)該從訓(xùn)練和創(chuàng)造AI，走向調(diào)用和激發(fā)AI潛力。

“生成式AI的迭代速度降低了用戶端的再訓(xùn)練必要性，關(guān)鍵是用戶怎么調(diào)用這些生成式AI。同時，大模型本身外部檢索、多模態(tài)能力都非常強(qiáng)，本身是一個好的搜索入口。”他接著補(bǔ)充說，“應(yīng)該進(jìn)一步去App化，提供更多維度的綜合應(yīng)用交互方式。”

在巢文涵看來，大模型本身具備生態(tài)插件及融合能力，其自身會調(diào)用服務(wù)接口，不需要打開App，而是需要設(shè)計合理的API（應(yīng)用程序編程接口）接口。此外，還需打破傳統(tǒng)AI應(yīng)用中語音、文字、圖片等不同格式內(nèi)容的界限，提供更多維度的綜合應(yīng)用交互方式。

從技術(shù)層面考量，Sora也面臨著一系列挑戰(zhàn)，包括可擴(kuò)展性和計算資源、隱私和倫理問題以及就業(yè)和社會變革等。這些挑戰(zhàn)中，巢文涵特別提到了深度偽造。他注意到，不法分子會利用機(jī)器的深度學(xué)習(xí)技術(shù)，進(jìn)行圖像、聲音、視頻的篡改、偽造和自動生成，產(chǎn)生高度逼真且難以甄別的內(nèi)容。

巢文涵認(rèn)為，Sora對社會生產(chǎn)力和產(chǎn)業(yè)發(fā)展的促進(jìn)作用毋庸置疑，但同時，Sora創(chuàng)造的大量虛擬視頻會污染現(xiàn)存的圖像數(shù)據(jù)，引發(fā)一系列問題。

因此，他建議，應(yīng)該建立法律和監(jiān)管框架，同時提供政策支持，增強(qiáng)創(chuàng)新意識，加強(qiáng)數(shù)據(jù)保護(hù)與安全。