每經(jīng)記者 可楊    每經(jīng)編輯 魏官紅    

4月27日，在中關(guān)村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學(xué)正式發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型Vidu。

據(jù)悉，該模型采用Diffusion（擴散概率模型）與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。生數(shù)科技方面介紹，與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長達(dá)16秒的高質(zhì)量視頻。

生數(shù)科技方面介紹，其核心技術(shù)U-ViT架構(gòu)由團隊于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個Diffusion（擴散概率模型）與Transformer融合的架構(gòu)，完全由團隊自主研發(fā)。

Vidu所生成的短片，采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

所謂插幀即通過在視頻的每兩幀畫面中增加一幀或多幀來提升視頻的長度或流暢度。這種方法需要對視頻進(jìn)行逐幀處理，通過插入額外的幀來改善視頻長度和質(zhì)量，是一個分步驟的過程。但Vidu與Sora則是通過單一步驟直接生成高質(zhì)量的視頻，無需經(jīng)過多個步驟的關(guān)鍵幀生成和插幀處理。

2023年3月，生數(shù)科技團隊開源全球首個基于U-ViT架構(gòu)的多模態(tài)擴散大模UniDiffuser，在全球范圍內(nèi)率先完成融合架構(gòu)的大規(guī)?？蓴U展性（Scaling Law）驗證。UniDiffuser是在大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓(xùn)練出的近10億參數(shù)量模型，支持圖文模態(tài)間的任意生成和轉(zhuǎn)換。在架構(gòu)上，UniDiffuser比同樣是DiT架構(gòu)的Stable Diffusion 3領(lǐng)先了一年。

生數(shù)科技表示，大模型的突破是一個多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計劃”，誠邀產(chǎn)業(yè)鏈上下游企業(yè)、研究機構(gòu)加入，共同構(gòu)建合作生態(tài)。

生數(shù)科技成立于2023年3月，公司創(chuàng)始團隊來自清華大學(xué)人工智能研究院，是全球范圍內(nèi)最早從事擴散概率模型研究的團隊之一。截至目前，生數(shù)科技已完成數(shù)億元融資，投資方包括啟明創(chuàng)投、螞蟻集團、BV百度風(fēng)投、達(dá)泰資本、錦秋基金、卓源亞洲等知名機構(gòu)。

封面圖片來源：視覺中國-VCG31N2008743681