每經(jīng)編輯 杜宇

當?shù)貢r間周二，美國科技巨頭Meta發(fā)布了其最強開源人工智能(AI)模型Llama 3.1，擁有三個不同的版本。扎克伯格稱其為“業(yè)內(nèi)頂尖水準的”AI模型，并表示能夠與OpenAI和谷歌等競爭對手的類似產(chǎn)品相抗衡。

Meta的公告顯示，Llama 3.1在Llama 3的基礎(chǔ)上進行了重大更新，Llama 3.1主要用于驅(qū)動聊天機器人，可以進行八種語言的對話，編寫更高質(zhì)量的計算機代碼，并可以解決更復(fù)雜的數(shù)學問題。

Llama 3.1 405B模型包含4050億個參數(shù)，是近年來參數(shù)規(guī)模最大的模型之一。通常，參數(shù)大致對應(yīng)于模型的解決問題的能力，參數(shù)越多的模型通常表現(xiàn)越好。該模型使用16000個英偉達H100 GPU進行訓練，受益于新的訓練和開發(fā)技術(shù)，Meta聲稱，Llama 3.1 405B在一定程度上可以與OpenAI的GPT-4o和Anthropic的Claude 3.5 Sonnet競爭。

Meta高管表示，該模型主要用于為Meta內(nèi)部和外部開發(fā)人員的聊天機器人提供支持，具備廣泛的新功能，包括改進的推理能力，幫助解決復(fù)雜的數(shù)學問題或瞬間綜合整本書的文本。它還具有生成式AI功能，可以通過文本提示生成圖像。一項名為“想象自己”的功能允許用戶上傳他們的面部圖像，然后生成他們在不同場景和情境中的描繪。

像其他開源和閉源生成式AI模型一樣，Llama 3.1 405B可以執(zhí)行各種任務(wù)，可以編程、回答基本數(shù)學問題，也可以用八種語言（英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語）總結(jié)文件。該模型目前僅支持文本操作，這意味著它不能回答圖像問題，但大多數(shù)基于文本的工作負載（如分析PDF和電子表格）都在其能力范圍內(nèi)。

Meta表示，該公司正在嘗試多模態(tài)模型。在周二發(fā)表的一篇論文中，公司研究人員表示，他們正在積極開發(fā)可以識別圖像和視頻并理解（和生成）語音的Llama模型。然而，這些模型尚未準備好公開發(fā)布。

與Meta之前的模型一樣，Llama 3.1 405B可以下載或在云平臺（如AWS、Azure和Google Cloud）上使用。它還在WhatsApp和Meta.ai上使用，為美國用戶提供聊天機器人體驗。

另外，Llama 3.1的上下文窗口（context window）涵蓋128000個標記，比以前的Llama模型更大，大約相當于一本50頁書的長度。

模型的上下文或上下文窗口指的是模型在生成輸出（如文本）之前考慮的輸入數(shù)據(jù)（如文本）。具有較大上下文窗口的模型，可以總結(jié)更長的文本片段和文件。在為聊天機器人提供動力時，這種模型也不太可能忘記最近討論的主題。

Meta周二還推出了另外兩個新的較小模型Llama 3.1 8B和Llama 3.1 70B，這兩款模型是Meta在4月發(fā)布的Llama 3 8B和Llama 3 70B模型的更新版本，它們也有128,000個標記的上下文窗口。相比之下，以前的模型上下文窗口最大為8,000個標記。

Meta在論文中表示，Llama 3.1 405B的性能與OpenAI的GPT-4相當，在與GPT-4o和Claude 3.5 Sonnet的比較中取得了“混合結(jié)果”。盡管Llama 3.1 405B在執(zhí)行代碼和生成圖表方面優(yōu)于GPT-4o，但其多語言能力整體較弱，在編程和一般推理方面也落后于Claude 3.5 Sonnet。

在周二早上發(fā)布的一封公開信中，Meta CEO馬克·扎克伯格描繪了一個未來的愿景，即AI工具和模型能夠到達世界各地更多的開發(fā)者手中，確保人們能夠享受到AI的“好處和機會”。

扎克伯格既捍衛(wèi)自己的開源策略，又大規(guī)模投資AI。“我認為對于一個AI助手來說，最重要的產(chǎn)品特性將是它的智能程度，”扎克伯格在接受媒體采訪時說道。“我們正在構(gòu)建的Llama模型是世界上最先進的模型之一。”

扎克伯格補充說，Meta已經(jīng)在研發(fā)Llama 4。

扎克伯格還表示，Meta的聊天機器人擁有“數(shù)億”用戶，并預(yù)計到年底將成為世界上使用最廣泛的聊天機器人。他希望Meta以外的公司也能使用Llama來訓練他們自己的AI模型。

Meta在AI上的投資非常大。扎克伯格表示，訓練Meta的Llama 3模型花費了“數(shù)億美元”的計算資源，但他預(yù)計未來的模型成本將更高。“未來這將需要數(shù)十億甚至更多的計算資源，”他說。2023年，Meta試圖削減一些未來技術(shù)和管理層的支出，裁掉了數(shù)千個工作崗位，這是扎克伯格稱之為“效率之年”的一部分。但扎克伯格仍然愿意在AI競賽中投入資金。

“我認為現(xiàn)在很多公司都在過度建設(shè)，你回頭看時可能會覺得‘哦，我們可能都花費了更多的數(shù)十億美元’，”扎克伯格說。“另一方面，我實際上認為所有投資的公司都在做出理性的決定，因為如果落后了，未來10到15年你將在最重要的技術(shù)上處于劣勢。”

“如果AI在未來像移動平臺一樣重要，那么我不想通過競爭對手訪問AI，”扎克伯格說，他長期以來對Meta依賴于Google和蘋果手機和操作系統(tǒng)來分發(fā)其社交媒體應(yīng)用感到不滿。“我們是一家技術(shù)公司，我們需要不僅在應(yīng)用層面上構(gòu)建東西，還要在整個技術(shù)棧上進行構(gòu)建。為此進行這些巨大的投資是值得的。”

此外，Meta還聯(lián)合AI芯片領(lǐng)頭羊英偉達周二宣布，英偉達AI Foundry將為全球企業(yè)定制Llama 3.1生成式AI模型，將他們的數(shù)據(jù)與Llama 3.1 405B和英偉達Nemotron模型結(jié)合，創(chuàng)建“超級模型”。

今年4月份，Meta告訴投資者，它計劃今年的支出比最初的預(yù)期多出數(shù)十億美元，其中一個核心原因是對AI的投資。據(jù)該公司發(fā)文稱，到今年年底，預(yù)計將擁有約35萬顆英偉達H100 GPU。

他還解釋了Meta的開源政策的競爭力，公眾可以免費使用Llama背后的技術(shù)，這將有助于使Meta的工作成為其他成功創(chuàng)業(yè)公司和產(chǎn)品的基礎(chǔ)，從而使Meta在行業(yè)發(fā)展中擁有更大的影響力。

英特爾表示：“恭喜MetaAI！我們很激動能用Llama 3.1的發(fā)布來優(yōu)化我們的AI產(chǎn)品組合。”

大部分網(wǎng)友對Meta表示祝賀，認為Llama 3.1是偉大的杰作，是開源社區(qū)的勝利。

也有網(wǎng)友質(zhì)疑，規(guī)模如此巨大的模型，運行的時候要耗費多少電能？會對環(huán)境造成多大影響？

每日經(jīng)濟新聞綜合公開資料