每日經(jīng)濟新聞 2023-02-21 21:17:38
每經(jīng)編輯 畢陸名 孫志成
2月20日,復旦大學自然語言處理實驗室邱錫鵬教授團隊發(fā)布國內(nèi)首個類ChatGPT模型MOSS,引起不少網(wǎng)友關(guān)注,由于瞬時訪問壓力過大,MOSS服務器昨晚還被網(wǎng)友擠崩潰了。
2月21日,MOSS官網(wǎng)發(fā)布公告稱,MOSS還是一個非常不成熟的模型,距離ChatGPT還有很長的路需要走。我們一個學術(shù)研究的實驗室無法做出和ChatGPT能力相近的模型,MOSS只是想在百億規(guī)模參數(shù)上探索和驗證ChatGPT的技術(shù)路線,并且實現(xiàn)各種對話能力。“我們最初的想法只是想將MOSS進行內(nèi)測,以便我們可以進一步優(yōu)化,沒有想到會引起這么大的關(guān)注,我們的計算資源不足以支持如此大的訪問量,并且作為學術(shù)團隊我們也沒有相關(guān)的工程經(jīng)驗,給大家造成非常不好的體驗和第一印象,在此向大家致以真誠的歉意。”公告還解釋名稱源于《流浪地球》。據(jù)了解,在MOSS完成初步驗證后,團隊會將MOSS的經(jīng)驗、代碼、模型參數(shù)開源供大家參考。
根據(jù)復旦大學計算機科學技術(shù)學院官網(wǎng)的介紹,邱錫鵬教授于復旦大學獲得理學學士和博士學位。研究方向為自然語言處理、深度學習,發(fā)表CCF-A/B類論文70余篇。主持開發(fā)了開源自然語言處理工具FudanNLP、FastNLP,獲得了學術(shù)界和產(chǎn)業(yè)界的廣泛使用。指導學生多次獲得中國人工智能學會優(yōu)博、中國中文信息學會優(yōu)博、微軟學者、百度獎學金、上海市計算機學會優(yōu)博等。
邱錫鵬的研究方向是,圍繞自然語言處理的機器學習模型構(gòu)建、學習算法和下游任務應用,包括:自然語言表示學習、預訓練模型、信息抽取、中文NLP、開源NLP系統(tǒng)、可信NLP技術(shù)、對話系統(tǒng)等。
邱錫鵬的知乎賬號顯示,他于2月21日凌晨關(guān)注了問題“復旦團隊發(fā)布國內(nèi)首個類ChatGPT模型MOSS,將為國內(nèi)大語言模型的探索和應用帶來哪些影響?”,但未做任何回復。
圖片來源:平臺截圖
MOSS可執(zhí)行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。這條路徑的走通,為國內(nèi)學術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗,將助力大語言模型的進一步探索和應用。
邱錫鵬表示:“盡管MOSS還有很大改善空間,但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上,國內(nèi)科研團隊有能力克服技術(shù)上的重要挑戰(zhàn)。”MOSS研發(fā)項目得到了上海人工智能實驗室的有力支持。后期,這項工作將通過開源方式和業(yè)界社區(qū)分享。
據(jù)悉,MOSS開發(fā)的基本步驟與ChatGPT一樣,包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。邱錫鵬坦言:“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段。MOSS的參數(shù)量比ChatGPT小一個數(shù)量級,在任務完成度和知識儲備量上,還有很大提升空間。”
據(jù)介紹這款人工智能助手已進入內(nèi)測階段,內(nèi)測將在用戶許可的情況下獲取數(shù)據(jù),還將收集用戶的反饋意見,期待借此大幅增強MOSS對話能力。
值得注意的是,A股上市公司復旦復華21日開盤即漲停,截至發(fā)稿,該股報6.78元,漲停板上封單近15萬手。
但復旦復華隨后表示,MOSS為復旦大學研發(fā),與公司無關(guān)。目前公司的主營業(yè)務為生物醫(yī)藥、軟件和園區(qū)三大板塊,未參與MOSS研發(fā)。
企查查APP顯示,目前MOSS商標申請信息共74條,已有32枚商標被成功注冊,申請人包括進出口、電子商務、高新技術(shù)等領(lǐng)域的多家公司及多個自然人,商標國際分類包括科學儀器、珠寶鐘表、教育娛樂等,此外,目前仍有3枚MOSS商標正在注冊申請中。
編輯|畢陸名 孫志成 杜恒峰
校對|王月龍
每日經(jīng)濟新聞綜合上觀新聞、MOSS官網(wǎng)
如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權(quán),嚴禁轉(zhuǎn)載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟新聞APP