每經(jīng)記者 可楊    每經(jīng)編輯 梁梟    

和大模型打視頻電話可能即將實(shí)現(xiàn)。

8月29日，《每日經(jīng)濟(jì)新聞》記者獲悉，智譜清言App將上線視頻通話功能，智譜方面介紹，清言App的視頻通話功能，具有跨文本、音頻和視頻進(jìn)行實(shí)時(shí)推理的能力，AI可以進(jìn)行流暢的通話，人可以實(shí)時(shí)打斷AI；此外，通過手機(jī)或AIPC的攝像頭與人互動(dòng)，可通過視頻流理解對(duì)話當(dāng)前的環(huán)境（包括人物狀態(tài)/背景環(huán)境）。

今年5月，OpenAI發(fā)布多模態(tài)大模型GPT-4o，曾憑借自然流暢的實(shí)時(shí)音視頻交互引發(fā)關(guān)注。

清華大學(xué)新聞學(xué)院和人工智能學(xué)院雙聘教授沈陽在接受《每日經(jīng)濟(jì)新聞》記者微信采訪時(shí)表示，具備視覺交互是未來大模型極其重要的發(fā)展方向之一，對(duì)于國(guó)內(nèi)大模型而言，這方面的探索同樣必要。他認(rèn)為，視覺獲取的信息占據(jù)了人類獲取總信息量的80%以上，因此，當(dāng)大模型具備了視覺交互能力后，它便擁有了向具身智能和人形機(jī)器人結(jié)合的重要技術(shù)基礎(chǔ)。

智譜清言App上線視頻通話功能

8月29日，智譜方面宣布，清言App將于30日上線“視頻通話”功能，這也是國(guó)內(nèi)首個(gè)面向C端開放的視頻通話。演示顯示，用戶可以通過視頻實(shí)時(shí)交互，例如將攝像頭對(duì)準(zhǔn)一套試卷并圈出其中一題請(qǐng)其解答，清言就能實(shí)時(shí)識(shí)別，并給出相應(yīng)解答。

記者通過清言App體驗(yàn)其視頻通話功能，將攝像頭對(duì)準(zhǔn)玩偶進(jìn)行拍攝，隨后清言開始描述玩偶的顏色、外觀等。

記者將鏡頭對(duì)準(zhǔn)一本書后提問書的主要內(nèi)容，清言在幾秒后給出解答，其間記者打斷其介紹要求重復(fù)作者的名字，清言在停頓幾秒后開始介紹書籍作者。

今年5月，OpenAI發(fā)布多模態(tài)大模型GPT-4o，可以接受文本、音頻和圖像的任意組合作為輸入，并生成文本、音頻和圖片的任意組合輸出。彼時(shí)，GPT-4o憑借自然流暢的實(shí)時(shí)音視頻交互引發(fā)市場(chǎng)關(guān)注。

行行AI董事長(zhǎng)、工業(yè)和信息化部工業(yè)文化發(fā)展中心AI應(yīng)用工作組執(zhí)行組長(zhǎng)李明順在接受《每日經(jīng)濟(jì)新聞》記者微信采訪時(shí)表示，擁有實(shí)時(shí)視頻對(duì)話和視覺交互能力的大模型確實(shí)是未來人工智能發(fā)展的重要方向之一。

李明順表示，這個(gè)方向有大量AI的應(yīng)用場(chǎng)景，例如：在更實(shí)時(shí)互動(dòng)的娛樂游戲、更真切數(shù)字人體驗(yàn)的營(yíng)銷服務(wù)、形象逼真的遠(yuǎn)程教育、金融等高端行業(yè)的虛擬顧問、更有情緒價(jià)值的醫(yī)療咨詢等領(lǐng)域，都有大量的提升效率和服務(wù)體驗(yàn)的價(jià)值。

沈陽則認(rèn)為，具備視覺交互是未來大模型極其重要的發(fā)展方向之一，對(duì)于國(guó)內(nèi)大模型而言，這方面的探索同樣必要，這一功能的缺失將意味著在技術(shù)上落后于國(guó)際同行，甚至可能面臨技術(shù)依賴的風(fēng)險(xiǎn)。

沈陽表示，視覺獲取的信息占據(jù)了人類獲取總信息量的80%以上，因此，當(dāng)大模型具備了視覺交互能力后，它便擁有了向具身智能和人形機(jī)器人結(jié)合的重要技術(shù)基礎(chǔ)。具備視覺交互能力的大模型能夠?qū)崟r(shí)與環(huán)境互動(dòng)，并能實(shí)時(shí)感知世界的變化，是大模型在全面模擬人類能力的重要一步，基于此，大模型才真正超越了虛擬化，能夠與世界進(jìn)行實(shí)際的互動(dòng)，當(dāng)大模型具備了與現(xiàn)實(shí)世界交互的能力后，就將能夠借助硬件，如人形機(jī)器人等，在人類指令下進(jìn)行一定程度的真實(shí)世界探索。

清言視頻通話具備實(shí)時(shí)推理能力

《每日經(jīng)濟(jì)新聞》記者從智譜方面了解到，清言App視頻通話功能將于8月30日上線，首批面向清言部分用戶開放，同時(shí)開放外部申請(qǐng)。智譜方面稱，將會(huì)持續(xù)迭代并逐步放開規(guī)模，盡快讓全員都可以使用。

隨著視頻通話功能的上線，清言App開啟新的信息輸入模式，不再局限于打字、語音；在對(duì)話交流層面，不用一來一回，能夠?qū)崟r(shí)溝通，隨時(shí)打斷。

智譜方面介紹，清言App的視頻通話功能，具有跨文本、音頻和視頻進(jìn)行實(shí)時(shí)推理的能力，可實(shí)現(xiàn)更自然的人機(jī)交互；AI可以進(jìn)行流暢的通話，人可以實(shí)時(shí)打斷AI；此外，通過手機(jī)或AIPC的攝像頭與人互動(dòng)，可通過視頻流理解對(duì)話當(dāng)前的環(huán)境（包括人物狀態(tài)/背景環(huán)境）。

智譜方面表示，清言作為第一批C端上線的大模型產(chǎn)品，過去的一年，常常以文字和語音的形式和大家交流。但未來，清言將擁有了眼睛。這個(gè)“長(zhǎng)著眼睛”的AI精靈可以見你所見、答你所問。

據(jù)介紹，清言視頻通話跨越了文本模態(tài)、音頻模態(tài)和視頻模態(tài)，并具備實(shí)時(shí)推理的能力，用戶撥打清言的視頻通話窗口，即可與它進(jìn)行通話，即便頻繁打斷它也能反應(yīng)。只要打開攝像頭，用戶看到的畫面，清言也可以看到，同時(shí)可以聽懂指令并準(zhǔn)確執(zhí)行。

除了視頻通話功能上線，在KDD國(guó)際數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)大會(huì)上，智譜GLM團(tuán)隊(duì)介紹了新一代基座大模型GLM-4-Plus。GLM-4-Plus是智譜全自研GLM大模型的最新版本，它標(biāo)志著智譜繼續(xù)瞄準(zhǔn)通用人工智能，持續(xù)推進(jìn)大模型技術(shù)的獨(dú)立自主創(chuàng)新。

據(jù)悉，GLM-4-Plus在語言理解、指令遵循、長(zhǎng)文本處理等方面性能得到全面提升。目前，GLM-4-Plus現(xiàn)已在智譜大模型開放平臺(tái)部署，企業(yè)和開發(fā)者即日起可以通過智譜開放平臺(tái)上的API調(diào)用智譜最新的基座大模型。

此外，智譜文生圖模型迭代至最新版本CogView-3-Plus。智譜方面表示，該模型效果已接近目前文生圖領(lǐng)域效果最佳的MJ-V6及FLUX等模型，并支持圖片編輯功能。

繼CogVideoX-2B版本開源后，智譜方面表示，CogVideoX-5B版本也于近日正式開源，同時(shí)CogVideoX-2B的開源協(xié)議調(diào)整為更加開放的Apache 2.0協(xié)議，任何企業(yè)與個(gè)人均可自由使用。開源成果方面，智譜開源模型累計(jì)下載量突破2000萬次。

此外，智譜方面還宣布，隨著技術(shù)進(jìn)步、效率提升和成本優(yōu)化，智譜大模型開放平臺(tái)上的大模型GLM-4-Flash現(xiàn)已完全免費(fèi)，用戶可以通過調(diào)用GLM-4-Flash快速、免費(fèi)地構(gòu)建專屬模型和應(yīng)用，這也是智譜開放平臺(tái)首個(gè)完全免費(fèi)的大模型API。