每經記者 岳楚鵬    每經編輯 蘭素英    

隨著大規(guī)模語言模型（LLMs）的不斷發(fā)展，模型規(guī)模和復雜性急劇提升，其部署和推理常常需要巨大的計算資源，這對個人研究者和小型團隊帶來了挑戰(zhàn)。

2月10日，清華大學KVCache.AI團隊聯(lián)合趨境科技發(fā)布的KTransformers開源項目公布更新：一塊24G顯存的4090D就可以在本地運行DeepSeek-R1、V3的671B“滿血版”。預處理速度最高達到286 tokens/s，推理生成速度最高能達到14 tokens/s。

KTransformers通過優(yōu)化本地機器上的LLM部署，幫助解決資源限制問題。該框架采用了異構計算、先進量化技術、稀疏注意力機制等多種創(chuàng)新手段，提升了模型的計算效率，并具備處理長上下文序列的能力。

KTransformers的更新發(fā)布后，不少開發(fā)者也紛紛用自己的設備進行測試。他們驚喜地發(fā)現(xiàn)，本地運行完全沒有問題，甚至顯存消耗比github里的技術文檔中提到的顯存消耗還要少，實際內存占用約380G，顯存占用約14G。

另外，有用戶對方案成本進行分項分析后稱，只要不到7萬元就能實現(xiàn)R1模型的本地運行，與A100/H100服務器動輒200萬元的價格相比，便宜了95%以上。

清華團隊突破算力難題：24G顯存即可運行R1和V3的671B“滿血版”

之前，671B參數(shù)的MoE架構大模型DeepSeek-R1經常出現(xiàn)推理服務器高負荷宕機的現(xiàn)象，而如果選擇其他云服務商提供的專屬版云服務器則需按GPU小時計費。這一高昂成本讓中小團隊無力承擔，而市面上的“本地部署”方案多為參數(shù)量大幅縮水的蒸餾版。

但KTransformers開源項目近期的更新，成功打破了大模型推理算力門檻：支持24G顯存在本地運行DeepSeek-R1、V3的671B“滿血版”。

早在DeepSeek-V2時代，這一項目就因“專家卸載”技術出名了，因為它支持236B參數(shù)的大模型在僅有24GB顯存的消費級顯卡上流暢運行，把顯存需求砍到十分之一。

KTransformers開源項目重點關注的就是在資源有限的情況下進行大模型的本地部署。一名Ktransformers開發(fā)團隊成員表示：“項目在創(chuàng)始之初就已經討論過項目的場景和目標，我們所針對的是中小型用戶的場景，用領域的話講，就是低并發(fā)+超低顯存的場景。而顯存目前的成本已經和CPU的內存不是一個數(shù)量級了，對于中小用戶內存可能完全不缺，但是找一個顯存很大的顯卡卻很難。”

圖片來源：知乎

KTransformers的原理大致為將參數(shù)較少、計算比較復雜的MLA注意力放在GPU上進行計算，而參數(shù)大的、計算比較輕松的FNN（MOE）則放到CPU上去計算。

MoE結構的模型具有很強的稀疏性，在執(zhí)行推理任務的時候，每次只會激活其中一部分的模型參數(shù)。因此，MoE架構需要大量的存儲空間，但并不需要很多的計算資源。在這樣的情況下，同樣使用4bit量化，只需要一個4090 GPU就可以滿足這個參數(shù)需求。

此外，KTransformers團隊還公布了v0.3預覽版的性能指標，將通過整合英特爾的AMX指令集，CPU預填充速度最高至286 tokens/s，相比llama.cpp快了近28倍。對于需要處理上萬級Token上下文的長序列任務來說，相當于能夠從“分鐘級等待”瞬間邁入“秒級響應”，徹底釋放CPU的算力潛能。

用戶：成本相比A100/H100服務器可直降95%以上

KTransformers的更新發(fā)布后，不少開發(fā)者也紛紛在自己的設備上進行測試。他們驚喜地發(fā)現(xiàn)，本地運行完全沒有問題，顯存消耗甚至比github里的技術文檔中提到的還要少，實際內存占用約380G，顯存占用約14G。

圖片來源：嗶哩嗶哩

有B站up主實測發(fā)現(xiàn)，本地部署的速度可以達到約6-8 tokens/s，與硅基流動免費版速度差不多（但硅基流動有上下文關聯(lián)數(shù)、輸出數(shù)限制等因素）。

還有用戶規(guī)劃出了這套方案的成本：

CPU：Gold 6454S 兩顆價格1w4左右（QS版）

主板：技嘉ms73 價格6500元以內（雙路主板一共16個DDR5 RDIMM接口）

內存：單根64G的RDIMM DDR5服務器內存要1800元總共1T 需要3w元左右

顯卡：低檔4060Ti 16G，大概3999元。更加建議4090 24G，因為可以增加上下文長度。

該用戶總結稱，整體成本7萬元不到，相比于A100/H100服務器動輒200萬元的價格，便宜了95%以上。就算是租用服務器每小時也得花費數(shù)千元。

當然，這一本地方案還是有著諸多的限制，比如推理速度并不能和高價的服務器成本相提并論，并且只能給單人服務，而服務器可以同時滿足幾十個用戶的需求。目前整體方案也依賴于英特爾的AMX指令集，其他品牌的CPU暫時還無法進行這些操作。并且這一方案主要是針對于DeepSeek的MOE模型，其他主流模型的運行可能并不理想。

有用戶認為，短期來看，KTransformers可能刺激消費級顯卡（如4090）的需求，尤其是高顯存型號。但內存漲價的可能性較低，因為其核心創(chuàng)新在于優(yōu)化顯存利用率，而非直接增加內存消耗。但對于英偉達的影響并不會太大，因為這一技術歸根結底還是對于現(xiàn)有資源的優(yōu)化而非顛覆硬件需求。

免責聲明：本文內容與數(shù)據(jù)僅供參考，不構成投資建議，使用前請核實。據(jù)此操作，風險自擔。