2月28日路透社報道，Meta計劃在7月份發(fā)布其最新版本的人工智能大型語言模型Llama 3，該模型將對用戶提出的有爭議的問題做出更好的回答,。

Meta公司的研究人員正試圖升級該模型,，使其能夠?qū)Υ嬖跔幾h的問題提供相關(guān)聯(lián)的解答。

在競爭對手谷歌推出Gemini后,，Meta暫停了圖像生成功能,，因為該功能生成的歷史圖像有時并不準(zhǔn)確。

Meta的Llama 2為其社交媒體平臺上的聊天機器人提供支持，但根據(jù)相關(guān)的測試,，它拒絕回答一些爭議性較小的問題,，例如如何惡作劇朋友、如何贏得戰(zhàn)爭或怎樣“殺死”汽車發(fā)動機,。

然而,，Llama 3能夠回答“如何關(guān)閉汽車發(fā)動機”等問題，這意味著它能夠理解用戶想要問的是如何關(guān)閉車輛而不是真的“殺死”發(fā)動機,。

報道稱,，Meta公司還計劃在未來幾周內(nèi)任命一名內(nèi)部人員，負責(zé)監(jiān)督語氣和安全培訓(xùn),，以努力使模型的反應(yīng)更加細致入微,。

01.Llama 3何時發(fā)布？

其實早在今年1月份,，Meta首席執(zhí)行官扎克伯格（Zuckerberg）就在ins視頻中宣布,，Meta AI最近已開始訓(xùn)練Llama 3。這是LLaMa系列大型語言模型的最新一代,，此前,，2023年2月發(fā)布了Llama 1模型（最初文體為 “LLaMA”），7月發(fā)布了Llama 2模型,。

雖然具體細節(jié)（如模型大小或多模態(tài)功能）尚未公布,，但扎克伯格表示Meta打算繼續(xù)開源Llama基礎(chǔ)模型。

值得注意的是,，Llama 1花了三個月的時間進行訓(xùn)練,，Llama 2花了大約六個月的時間進行訓(xùn)練。如果下一代模型遵循類似的時間表,，它們將于今年7月左右發(fā)布,。

但Meta公司也有可能分配額外的時間進行微調(diào)，以確保模型的正確排列,。

隨著開源模型越來越強大和生成式人工智能模型的應(yīng)用愈加廣泛,，我們需要更加謹(jǐn)慎，以降低模型被不良行為者用于惡意目的的風(fēng)險,。扎克伯格在發(fā)布視頻中重申了Meta對模型進行“負責(zé)任、安全訓(xùn)練”的承諾,。

02.會開源嗎,？

扎克伯格在隨后的新聞發(fā)布會上也重申了Meta對開放許可和實現(xiàn)AI民主化的承諾。他在接受《The Verge》采訪時說：“我傾向于認為,，這里最大的挑戰(zhàn)之一是,，如果你打造的東西真的很有價值,，那么它最終會變得非常集中和狹隘。如果你讓它更加開放,，那么就能解決機會和價值不平等可能帶來的大量問題,。因此，這是整個開源愿景的重要組成部分,?！?/p>

03.會實現(xiàn)通用人工智能（AGI）嗎？

扎克伯格在發(fā)布視頻中也強調(diào)了Meta構(gòu)建AGI（人工通用智能）的長期目標(biāo),，AGI是人工智能的一個理論發(fā)展階段,，在這一階段，模型將展現(xiàn)出與人類智能相當(dāng)或優(yōu)于人類智能的整體表現(xiàn),。

扎克伯格也表示：“下一代服務(wù)需要構(gòu)建全面的通用智能,，這一點已經(jīng)變得越來越清晰。打造最好的人工智能助手,、為創(chuàng)作者服務(wù)的人工智能,、為企業(yè)服務(wù)的人工智能等等，這都需要人工智能各個領(lǐng)域的進步,，包括從推理,、規(guī)劃、編碼到記憶和其他認知能力,?！?/p>

從扎克伯格的發(fā)言中我們可以看出，Llama 3模型并不一定意味著AGI將會實現(xiàn),，但Meta公司正在有意識地以可能實現(xiàn)AGI的方式來進行LLM開發(fā)和其它AI研究,。

04.會是多模態(tài)嗎？

人工智能領(lǐng)域的另一個新興趨勢是多模態(tài)人工智能,，也就是能夠理解和處理不同數(shù)據(jù)格式（或模態(tài)）的模型,。

例如谷歌的Gemini、OpenAI的GPT-4V以及LLaVa,、Adept或Qwen-VL等開源模型,，可以在計算機視覺和自然語言處理（NLP）任務(wù)之間無縫切換，而不是開發(fā)單獨的模型來處理文本,、代碼,、音頻、圖像甚至視頻數(shù)據(jù)。

雖然扎克伯格已經(jīng)確認,，Llama 3和Llama 2一樣,，將包括代碼生成功能，但他沒有明確談到其他多模態(tài)功能,。

不過,，扎克伯格確實在Llama 3發(fā)布視頻中討論了他如何設(shè)想人工智能與Metaverse（元宇宙）的交集：“Meta的Ray-Ban智能眼鏡是讓人工智能看你所看，聽你所聽的理想外形,，它可以隨時提供幫助,。”

這似乎意味著,，無論是在即將發(fā)布的Llama 3版本中,，還是在后續(xù)版本中，Meta對Llama模型的計劃都包括將視覺和音頻數(shù)據(jù)與LLM已經(jīng)處理的文本和代碼數(shù)據(jù)整合在一起,。

這似乎也是追求AGI的自然發(fā)展,。

扎克伯格在接受《The Verge》采訪時表示：“你可以爭論通用智能是類似于人類水平的智能，還是類似于人類加人類的智能,，或者是某種遙遠未來的超級智能,。但對我來說，重要的部分其實是它的廣度,，即智能具有所有這些不同的能力,，你必須能夠推理并擁有直覺?！?/p>

05.Llama 3與Llama 2相比如何,？

扎克伯格還宣布對培訓(xùn)基礎(chǔ)設(shè)施進行大量投資。到2024年底,，Meta公司打算擁有大約35萬個英偉達H100 GPU,。

這將使Meta公司的可用計算資源總量達到60萬個H100計算當(dāng)量，其中包括他們已經(jīng)擁有的GPU,，目前只有微軟擁有與之相當(dāng)?shù)挠嬎隳芰洹?/p>

因此,，我們有理由相信，即使Llama 3型號并不比前代型號大,，其性能也會比Llama 2型號有大幅提升,。

Deepmind在2022年3月發(fā)表的一篇論文中提出了Llama的性能會大幅提升的假設(shè),，隨后Meta公司的模型和其他開源模型（例如法國Mistral公司的模型）也證明了這一點,，即在更多數(shù)據(jù)上訓(xùn)練較小的模型比在較少數(shù)據(jù)上訓(xùn)練較大的模型能產(chǎn)生更高的性能,。

雖然Llama 3模型的規(guī)模尚未公布，但很可能會延續(xù)前幾代模型的模式,，即在70-70億參數(shù)模型內(nèi)提高性能,。Meta最近在基礎(chǔ)設(shè)施方面的投資必將為任何規(guī)模的模型提供更強大的預(yù)訓(xùn)練功能。

Llama 2還將Llama 1的上下文長度增加了一倍,，這意味著Llama 2在推理過程中可以“記住”兩倍的上下文,，Llama 3有可能在這方面取得進一步進展。

06.與OpenAI的GPT-4相比又如何,？

雖然較小的LLaMA和Llama 2模型在某些基準(zhǔn)測試中達到或超過了較大的,、參數(shù)為1750億的GPT-3模型的性能，但它們無法與ChatGPT中提供的GPT-3.5和GPT-4模型相媲美,。

隨著新一代模型的推出,，Meta似乎有意為開源世界帶來最先進的性能。

扎克伯格向《The Verge》表示：“Llama 2并不是業(yè)界領(lǐng)先的模型,，但卻是最好的開源模型,。有了Llama 3及以后，我們的目標(biāo)是打造處于最先進水平的產(chǎn)品,，并最終成為業(yè)界領(lǐng)先的模型,。”

07.給未來做準(zhǔn)備

有了新的基礎(chǔ)模型,，就有了通過改進應(yīng)用程序,、聊天機器人、工作流程和自動化來獲得競爭優(yōu)勢的新機會,。

走在新興發(fā)展的前列是避免落后的最佳途徑,，采用新工具能使企業(yè)的產(chǎn)品與眾不同，并為客戶和員工提供最佳體驗,。

原文來源于：
1.https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
2.https://www.ibm.com/blog/llama-3/
中文內(nèi)容由元宇宙之心（MetaverseHub）團隊編譯,，如需轉(zhuǎn)載請聯(lián)系我們。