2月28日路透社報道，Meta計劃在7月份發(fā)布其最新版本的人工智能大型語言模型Llama 3，該模型將對用戶提出的有爭議的問題做出更好的回答,。

Meta公司的研究人員正試圖升級該模型,，使其能夠?qū)Υ嬖跔幾h的問題提供相關(guān)聯(lián)的解答。

在競爭對手谷歌推出Gemini后,，Meta暫停了圖像生成功能,，因?yàn)樵摴δ苌傻臍v史圖像有時并不準(zhǔn)確,。

Meta的Llama 2為其社交媒體平臺上的聊天機(jī)器人提供支持,，但根據(jù)相關(guān)的測試,，它拒絕回答一些爭議性較小的問題，例如如何惡作劇朋友,、如何贏得戰(zhàn)爭或怎樣“殺死”汽車發(fā)動機(jī),。

然而，Llama 3能夠回答“如何關(guān)閉汽車發(fā)動機(jī)”等問題,，這意味著它能夠理解用戶想要問的是如何關(guān)閉車輛而不是真的“殺死”發(fā)動機(jī),。

報道稱，Meta公司還計劃在未來幾周內(nèi)任命一名內(nèi)部人員,，負(fù)責(zé)監(jiān)督語氣和安全培訓(xùn),，以努力使模型的反應(yīng)更加細(xì)致入微。

01.Llama 3何時發(fā)布,？

其實(shí)早在今年1月份,，Meta首席執(zhí)行官扎克伯格（Zuckerberg）就在ins視頻中宣布，Meta AI最近已開始訓(xùn)練Llama 3,。這是LLaMa系列大型語言模型的最新一代,，此前，2023年2月發(fā)布了Llama 1模型（最初文體為 “LLaMA”）,，7月發(fā)布了Llama 2模型,。

雖然具體細(xì)節(jié)（如模型大小或多模態(tài)功能）尚未公布，但扎克伯格表示Meta打算繼續(xù)開源Llama基礎(chǔ)模型,。

值得注意的是,，Llama 1花了三個月的時間進(jìn)行訓(xùn)練,，Llama 2花了大約六個月的時間進(jìn)行訓(xùn)練,。如果下一代模型遵循類似的時間表,，它們將于今年7月左右發(fā)布,。

但Meta公司也有可能分配額外的時間進(jìn)行微調(diào),，以確保模型的正確排列,。

隨著開源模型越來越強(qiáng)大和生成式人工智能模型的應(yīng)用愈加廣泛，我們需要更加謹(jǐn)慎，以降低模型被不良行為者用于惡意目的的風(fēng)險,。扎克伯格在發(fā)布視頻中重申了Meta對模型進(jìn)行“負(fù)責(zé)任,、安全訓(xùn)練”的承諾,。

02.會開源嗎？

扎克伯格在隨后的新聞發(fā)布會上也重申了Meta對開放許可和實(shí)現(xiàn)AI民主化的承諾,。他在接受《The Verge》采訪時說：“我傾向于認(rèn)為,，這里最大的挑戰(zhàn)之一是，如果你打造的東西真的很有價值,，那么它最終會變得非常集中和狹隘,。如果你讓它更加開放,，那么就能解決機(jī)會和價值不平等可能帶來的大量問題,。因此,，這是整個開源愿景的重要組成部分?！?/p>

03.會實(shí)現(xiàn)通用人工智能（AGI）嗎,？

扎克伯格在發(fā)布視頻中也強(qiáng)調(diào)了Meta構(gòu)建AGI（人工通用智能）的長期目標(biāo),，AGI是人工智能的一個理論發(fā)展階段,，在這一階段,，模型將展現(xiàn)出與人類智能相當(dāng)或優(yōu)于人類智能的整體表現(xiàn),。

扎克伯格也表示：“下一代服務(wù)需要構(gòu)建全面的通用智能，這一點(diǎn)已經(jīng)變得越來越清晰,。打造最好的人工智能助手,、為創(chuàng)作者服務(wù)的人工智能、為企業(yè)服務(wù)的人工智能等等,，這都需要人工智能各個領(lǐng)域的進(jìn)步,，包括從推理、規(guī)劃,、編碼到記憶和其他認(rèn)知能力,。”

從扎克伯格的發(fā)言中我們可以看出,，Llama 3模型并不一定意味著AGI將會實(shí)現(xiàn),，但Meta公司正在有意識地以可能實(shí)現(xiàn)AGI的方式來進(jìn)行LLM開發(fā)和其它AI研究。

04.會是多模態(tài)嗎,？

人工智能領(lǐng)域的另一個新興趨勢是多模態(tài)人工智能,，也就是能夠理解和處理不同數(shù)據(jù)格式（或模態(tài)）的模型。

例如谷歌的Gemini,、OpenAI的GPT-4V以及LLaVa,、Adept或Qwen-VL等開源模型，可以在計算機(jī)視覺和自然語言處理（NLP）任務(wù)之間無縫切換,，而不是開發(fā)單獨(dú)的模型來處理文本,、代碼、音頻,、圖像甚至視頻數(shù)據(jù),。

雖然扎克伯格已經(jīng)確認(rèn)，Llama 3和Llama 2一樣,，將包括代碼生成功能,，但他沒有明確談到其他多模態(tài)功能。

不過，扎克伯格確實(shí)在Llama 3發(fā)布視頻中討論了他如何設(shè)想人工智能與Metaverse（元宇宙）的交集：“Meta的Ray-Ban智能眼鏡是讓人工智能看你所看,，聽你所聽的理想外形,，它可以隨時提供幫助?！?/p>

這似乎意味著,，無論是在即將發(fā)布的Llama 3版本中，還是在后續(xù)版本中,，Meta對Llama模型的計劃都包括將視覺和音頻數(shù)據(jù)與LLM已經(jīng)處理的文本和代碼數(shù)據(jù)整合在一起,。

這似乎也是追求AGI的自然發(fā)展。

扎克伯格在接受《The Verge》采訪時表示：“你可以爭論通用智能是類似于人類水平的智能,，還是類似于人類加人類的智能,，或者是某種遙遠(yuǎn)未來的超級智能。但對我來說,，重要的部分其實(shí)是它的廣度,，即智能具有所有這些不同的能力,，你必須能夠推理并擁有直覺,。”

05.Llama 3與Llama 2相比如何,？

扎克伯格還宣布對培訓(xùn)基礎(chǔ)設(shè)施進(jìn)行大量投資,。到2024年底，Meta公司打算擁有大約35萬個英偉達(dá)H100 GPU,。

這將使Meta公司的可用計算資源總量達(dá)到60萬個H100計算當(dāng)量,，其中包括他們已經(jīng)擁有的GPU，目前只有微軟擁有與之相當(dāng)?shù)挠嬎隳芰洹?/p>

因此,，我們有理由相信,，即使Llama 3型號并不比前代型號大，其性能也會比Llama 2型號有大幅提升,。

Deepmind在2022年3月發(fā)表的一篇論文中提出了Llama的性能會大幅提升的假設(shè),，隨后Meta公司的模型和其他開源模型（例如法國Mistral公司的模型）也證明了這一點(diǎn)，即在更多數(shù)據(jù)上訓(xùn)練較小的模型比在較少數(shù)據(jù)上訓(xùn)練較大的模型能產(chǎn)生更高的性能,。

雖然Llama 3模型的規(guī)模尚未公布,，但很可能會延續(xù)前幾代模型的模式，即在70-70億參數(shù)模型內(nèi)提高性能。Meta最近在基礎(chǔ)設(shè)施方面的投資必將為任何規(guī)模的模型提供更強(qiáng)大的預(yù)訓(xùn)練功能,。

Llama 2還將Llama 1的上下文長度增加了一倍,，這意味著Llama 2在推理過程中可以“記住”兩倍的上下文，Llama 3有可能在這方面取得進(jìn)一步進(jìn)展,。

06.與OpenAI的GPT-4相比又如何,？

雖然較小的LLaMA和Llama 2模型在某些基準(zhǔn)測試中達(dá)到或超過了較大的、參數(shù)為1750億的GPT-3模型的性能,，但它們無法與ChatGPT中提供的GPT-3.5和GPT-4模型相媲美,。

隨著新一代模型的推出，Meta似乎有意為開源世界帶來最先進(jìn)的性能,。

扎克伯格向《The Verge》表示：“Llama 2并不是業(yè)界領(lǐng)先的模型,，但卻是最好的開源模型。有了Llama 3及以后,，我們的目標(biāo)是打造處于最先進(jìn)水平的產(chǎn)品,，并最終成為業(yè)界領(lǐng)先的模型?！?/p>

07.給未來做準(zhǔn)備

有了新的基礎(chǔ)模型,，就有了通過改進(jìn)應(yīng)用程序、聊天機(jī)器人,、工作流程和自動化來獲得競爭優(yōu)勢的新機(jī)會,。

走在新興發(fā)展的前列是避免落后的最佳途徑，采用新工具能使企業(yè)的產(chǎn)品與眾不同,，并為客戶和員工提供最佳體驗(yàn),。

原文來源于：
1.https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
2.https://www.ibm.com/blog/llama-3/
中文內(nèi)容由元宇宙之心（MetaverseHub）團(tuán)隊編譯，如需轉(zhuǎn)載請聯(lián)系我們,。