每日經(jīng)濟(jì)新聞 2025-02-25 16:58:44
2月25日,DeepSeek宣布開源其DeepEP代碼庫,這是首個(gè)用于混合專家模型訓(xùn)練和推理的開源專家并行通信庫。雖然EP技術(shù)能以較低的通信成本完成模型訓(xùn)練,但中金認(rèn)為,這種通信設(shè)計(jì)技術(shù)的進(jìn)展并不一定會(huì)使高速通信的需求減少。值得注意的是,DeepEP代碼庫開源后半小時(shí),兆龍互連股價(jià)一度拉升7.53%。這背后有無關(guān)聯(lián)?
每經(jīng)記者 岳楚鵬 每經(jīng)編輯 蘭素英
2月25日,DeepSeek開源周第二波來襲。
DeepSeek宣布開源DeepEP的代碼庫。DeepEP是首個(gè)用于混合專家(MoE)模型訓(xùn)練和推理的開源專家并行 (EP)通信庫。
和昨日開源的FlashMLA是核心技術(shù)MLA(多頭潛在注意力)的改進(jìn)版本一樣,DeepEP也是DeepSeek-V3核心技術(shù)EP的改進(jìn)版本。它提供高吞吐量和低延遲的全對(duì)全GPU內(nèi)核,適用于MoE的分發(fā)(dispatch)和合并(combine)操作。
DeepSeek聲稱,DeepEP的特點(diǎn)包括高效的全員溝通;節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間均支持NVLink和RDMA;用于訓(xùn)練和推理預(yù)填充的高吞吐量內(nèi)核;用于推理解碼的低延遲內(nèi)核;原生FP8調(diào)度支持;靈活的GPU資源控制,實(shí)現(xiàn)計(jì)算-通信重疊。
圖片來源:X
DeepSeek的官方解釋不免有些技術(shù)流,《每日經(jīng)濟(jì)新聞》記者邀請(qǐng)了DeepSeek模型來深入淺出地介紹下這一技術(shù)。
雖然EP技術(shù)能以較低的通信成本完成模型訓(xùn)練,但中金在最新的研報(bào)中認(rèn)為,這種通信設(shè)計(jì)技術(shù)的進(jìn)展并不一定會(huì)使高速通信的需求減少。
中金認(rèn)為,由于張量并行(TP)和專家并行(EP)的通信開銷比較沒有絕對(duì)的多少之分,受制于多種因素限制,因此在張量或?qū)<也⑿械倪x擇上,需要具體問題具體分析,本質(zhì)上都是現(xiàn)有硬件條件下的平衡。通信方面大量使用專家并行而減少張量并行并不能證明高速互聯(lián)需求在更強(qiáng)基礎(chǔ)模型訓(xùn)練中呈下降趨勢(shì)。
值得注意的是,在DeepSeek宣布開源DeepEP軟件庫后半個(gè)小時(shí),兆龍互連(300913.SZ)的股價(jià)直線拉升7.53%,但隨后回落,截至收盤,兆龍互聯(lián)報(bào)收于每股60.57元,下跌1.5%。
兆龍互連是一家什么樣的公司?和DeepSeek的開源有沒有關(guān)聯(lián)?
針對(duì)這一問題,每經(jīng)記者使用了每日經(jīng)濟(jì)新聞App的“問投資”功能尋找答案。
記者輸入兆龍互連的公司名后,頁面就彈出了股票趨勢(shì)、資金、機(jī)構(gòu)和概念等十大維度。
記者點(diǎn)擊“概念”維度后,發(fā)現(xiàn)兆龍互連是一家涉足高速通信設(shè)備(銅纜高速連接)的公司。不過,DeepSeek認(rèn)為兆龍互連的盤中快速反彈,是受短期情緒驅(qū)動(dòng)的,并沒有直接證據(jù)表明兆龍互連的股價(jià)和這項(xiàng)技術(shù)的開源有聯(lián)系。
不得不說,在每日經(jīng)濟(jì)新聞App里使用DeepSeek非常絲滑,不會(huì)碰見“服務(wù)器繁忙”的情況。目前使用量已經(jīng)超14萬次了!
咋用呢?超簡單!
先下載每日經(jīng)濟(jì)新聞App
http://www.pqz6p9s.com/corp/2016app/index.html
再往下看
↓
一、 在每日經(jīng)濟(jì)新聞App首頁,點(diǎn)擊“DeepSeek”圖標(biāo)或首頁輪播圖“自由問+問公司問投資問基金免費(fèi)使用DeepSeek、Kimi、豆包等六款大模型”。
二、 進(jìn)入“每經(jīng)大模型平臺(tái)”頁面,即可使用DeepSeek、Kimi、豆包、智譜清言、文心一言和通義千問6款大模型中任意一款。
最近,每經(jīng)“136計(jì)劃”還增加了新功能:
大模型解讀投資熱榜。
只需點(diǎn)擊投資熱榜中的任意新聞。
立即就能得到大模型的全面分析。
還能一鍵生成圖片分享給朋友。
告別“服務(wù)器繁忙”
快用每日經(jīng)濟(jì)新聞App吧!
免責(zé)聲明:本文內(nèi)容與數(shù)據(jù)僅供參考,不構(gòu)成投資建議,使用前請(qǐng)核實(shí)。據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟(jì)新聞APP