每經(jīng)記者 蔡鼎    每經(jīng)實習(xí)記者 宋欣悅    每經(jīng)編輯 蘭素英    

哈佛大學(xué)、斯坦福大學(xué)、微軟等頂尖學(xué)府和機構(gòu)的多名醫(yī)學(xué)、AI專家日前聯(lián)合開展了一項研究，對OpenAI旗下o1-preview模型在醫(yī)學(xué)推理任務(wù)的表現(xiàn)進行了綜合評估。

結(jié)果顯示，o1-preview模型在多項任務(wù)中表現(xiàn)出卓越的能力，在鑒別診斷生成（判斷“這是什么病”）、診斷臨床推理（判斷“這最可能是什么病”）和管理推理（判斷“應(yīng)該如何治療”）方面，甚至達到了超人類水平。

目前，AI技術(shù)在一些醫(yī)院已初步展開應(yīng)用，覆蓋了分診導(dǎo)診、預(yù)先問診、病歷生成等多種場景。

清華大學(xué)電子工程系長聘教授、清華大學(xué)精準醫(yī)學(xué)研究院臨床大數(shù)據(jù)中心共同主任吳及告訴《每日經(jīng)濟新聞》記者，“AI在醫(yī)療領(lǐng)域的應(yīng)用難度較大，但會逐步滲透到一些典型場景中。”

圖片來源：論文《大型語言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

o1-preview診斷準確率高達近80%

該研究通過五個實驗對o1-preview模型進行了綜合能力評估，包括鑒別診斷生成、診斷推理、分診鑒別診斷、概率推理和管理推理能力。

這些實驗由醫(yī)學(xué)專家使用經(jīng)過驗證的心理測量方法進行評估，旨在將o1-preview的性能與以前的人類對照組和早期大型語言模型基準進行比較。結(jié)果表明，與醫(yī)生、已有的大語言模型相比，o1-preview在鑒別診斷、診斷臨床推理和管理推理的質(zhì)量都有明顯提高。

在評估o1-preview鑒別診斷生成的能力時，研究人員使用了發(fā)表在國際頂級醫(yī)學(xué)期刊《新英格蘭醫(yī)學(xué)雜志》（NEJM）上的臨床病理會議（CPC）病例。結(jié)果表明，o1-preview在鑒別診斷中的準確率高達78.3%。

圖片來源：論文《大型語言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

值得注意的是，o1-preview在88.6%的病例中得出了準確或非常接近準確的診斷結(jié)果，而GPT-4只有72.9%。

圖片來源：論文《大型語言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

此外，在87.5%的病例中，o1-preview選擇了恰當?shù)臋z查項目；另在11%的病例中，兩位醫(yī)生均認為該模型所選檢查方案是有效的；而在僅有的1.5%的病例中，其檢查方案被兩位醫(yī)生認為是無效的。

圖片來源：論文《大型語言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

為了進一步評估o1-preview的臨床推理能力，研究人員使用了NEJM Healer（一款在線工具，學(xué)習(xí)者可以通過與虛擬患者的互動來提升他們的臨床推理和診斷技能）中的20個臨床病例。

結(jié)果表明，o1-preview的表現(xiàn)明顯優(yōu)于GPT-4、主治醫(yī)師和住院醫(yī)師。在80例病例中，有78例獲得了完美的R-IDEA評分。R-IDEA評分是一個10分制量表，用于評估臨床推理能力。

圖片來源：論文《大型語言模型在醫(yī)學(xué)推理任務(wù)中的超人表現(xiàn)》

此外，研究人員還通過灰質(zhì)管理案例和標志性診斷案例評估了o1-preview的管理和診斷推理能力。

在灰質(zhì)管理案例中，o1-preview得分明顯高于GPT-4、使用GPT-4的醫(yī)生和使用傳統(tǒng)資源的醫(yī)生。在標志性診斷案例中，o1-preview的性能與GPT-4相當，但優(yōu)于使用GPT-4或傳統(tǒng)資源的醫(yī)生。

研究仍有局限性

研究表明，大語言模型如o1-preview在輔助醫(yī)生進行診斷決策方面具有巨大潛力。然而，該項研究也具有部分局限性。

首先，o1-preview有“啰嗦”傾向，而這種特性可能會讓其在試驗中取得更高分。

其次，目前的研究只反映了模型性能，但現(xiàn)實中離不開人機交互。人機交互對開發(fā)臨床決策輔助工具至關(guān)重要，下一步應(yīng)該確定大語言模型（如o1-preview）能否增強人機交互。人類與計算機之間的交互或許是不可預(yù)測的，表現(xiàn)良好的模型與人類交互中甚至可能出現(xiàn)能力退化的情況。

第三，研究只考察了臨床推理的五個方面，但目前已知有幾十個其它任務(wù)可能對實際的臨床護理有更大影響。

第四，研究案例集中在內(nèi)科，并不能代表所有醫(yī)療實踐。此外，研究在設(shè)計上也未將診斷類型、患者個體差異以及就醫(yī)地點的不同等因素納入考量。

研究人員強調(diào)，醫(yī)學(xué)領(lǐng)域診斷推理的基準正迅速接近飽和狀態(tài)，因此亟需開發(fā)更具挑戰(zhàn)性和貼近實際應(yīng)用的評估手段。他們呼吁在真實的臨床環(huán)境中測試這些技術(shù)，并為臨床醫(yī)生與人工智能的合作創(chuàng)新做好準備。

專家：AI將逐步滲透醫(yī)療典型場景

目前，AI技術(shù)在一些醫(yī)院已初步展開應(yīng)用，覆蓋了分診導(dǎo)診、預(yù)先問診和病歷生成等多種場景。

美國耶魯大學(xué)教授威廉·基西克（WiliamKissick）提出了著名的“醫(yī)療不可能三角”理論。這個理論指出，在既定的約束條件下，一個國家的醫(yī)療系統(tǒng)很難同時實現(xiàn)提高醫(yī)療服務(wù)質(zhì)量、增加醫(yī)療服務(wù)可及性和降低醫(yī)療服務(wù)的價格。現(xiàn)實中的醫(yī)療困境，如“看病難、看病貴”以及不斷出現(xiàn)的醫(yī)患矛盾，正是傳統(tǒng)醫(yī)療體系“醫(yī)療不可能三角”的具體表現(xiàn)。

圖片來源：甲子光年智庫

而醫(yī)療AI的興起可能為解決這一難題提供新的答案。AI賦能下的醫(yī)療服務(wù)可以大規(guī)模接待患者，實現(xiàn)隨時隨地的無限供應(yīng)，并且其水平會隨著持續(xù)訓(xùn)練迅速提升，已經(jīng)達到了具有10至15年臨床經(jīng)驗醫(yī)生的水準，且每月還在不斷進步。

清華大學(xué)電子工程系長聘教授、清華大學(xué)精準醫(yī)學(xué)研究院臨床大數(shù)據(jù)中心共同主任吳及在接受《每日經(jīng)濟新聞》記者采訪時指出，相比自動化、智能設(shè)備等場景，AI在醫(yī)療場景的應(yīng)用更為復(fù)雜。

吳及提到，醫(yī)療本質(zhì)上是人對人的服務(wù)，這一過程非常復(fù)雜，醫(yī)學(xué)診療不僅包含理論和科學(xué)，還涉及大量經(jīng)驗，很多時候依賴專家的直覺。因此，“AI在醫(yī)療領(lǐng)域的應(yīng)用難度較大，但會逐步滲透到一些典型場景中。”

據(jù)市場研究機構(gòu)Global Market Insights的統(tǒng)計，2023年，醫(yī)療保健領(lǐng)域的AI市場規(guī)模價值為187億美元，預(yù)計到2032年將達到3171億美元，2024年至2032年的復(fù)合年增長率為37.1%。