2月28日路透社報道,，Meta計劃在7月份發(fā)布其最新版本的人工智能大型語言模型Llama 3,，該模型將對用戶提出的有爭議的問題做出更好的回答,。

Meta公司的研究人員正試圖升級該模型，使其能夠對存在爭議的問題提供相關聯(lián)的解答,。

在競爭對手谷歌推出Gemini后,，Meta暫停了圖像生成功能，因為該功能生成的歷史圖像有時并不準確,。

Meta的Llama 2為其社交媒體平臺上的聊天機器人提供支持,，但根據相關的測試，它拒絕回答一些爭議性較小的問題,，例如如何惡作劇朋友,、如何贏得戰(zhàn)爭或怎樣“殺死”汽車發(fā)動機。

然而,，Llama 3能夠回答“如何關閉汽車發(fā)動機”等問題,，這意味著它能夠理解用戶想要問的是如何關閉車輛而不是真的“殺死”發(fā)動機。

報道稱,，Meta公司還計劃在未來幾周內任命一名內部人員,，負責監(jiān)督語氣和安全培訓，以努力使模型的反應更加細致入微,。

01.Llama 3何時發(fā)布,？

其實早在今年1月份，Meta首席執(zhí)行官扎克伯格（Zuckerberg）就在ins視頻中宣布,，Meta AI最近已開始訓練Llama 3,。這是LLaMa系列大型語言模型的最新一代，此前,，2023年2月發(fā)布了Llama 1模型（最初文體為 “LLaMA”），7月發(fā)布了Llama 2模型,。

雖然具體細節(jié)（如模型大小或多模態(tài)功能）尚未公布,，但扎克伯格表示Meta打算繼續(xù)開源Llama基礎模型。

值得注意的是，Llama 1花了三個月的時間進行訓練,，Llama 2花了大約六個月的時間進行訓練,。如果下一代模型遵循類似的時間表，它們將于今年7月左右發(fā)布,。

但Meta公司也有可能分配額外的時間進行微調,，以確保模型的正確排列。

隨著開源模型越來越強大和生成式人工智能模型的應用愈加廣泛,，我們需要更加謹慎,，以降低模型被不良行為者用于惡意目的的風險。扎克伯格在發(fā)布視頻中重申了Meta對模型進行“負責任,、安全訓練”的承諾,。

02.會開源嗎？

扎克伯格在隨后的新聞發(fā)布會上也重申了Meta對開放許可和實現AI民主化的承諾,。他在接受《The Verge》采訪時說：“我傾向于認為,，這里最大的挑戰(zhàn)之一是，如果你打造的東西真的很有價值,，那么它最終會變得非常集中和狹隘,。如果你讓它更加開放，那么就能解決機會和價值不平等可能帶來的大量問題,。因此,，這是整個開源愿景的重要組成部分?！?/p>

03.會實現通用人工智能（AGI）嗎,？

扎克伯格在發(fā)布視頻中也強調了Meta構建AGI（人工通用智能）的長期目標，AGI是人工智能的一個理論發(fā)展階段,，在這一階段,，模型將展現出與人類智能相當或優(yōu)于人類智能的整體表現。

扎克伯格也表示：“下一代服務需要構建全面的通用智能,，這一點已經變得越來越清晰,。打造最好的人工智能助手、為創(chuàng)作者服務的人工智能,、為企業(yè)服務的人工智能等等,，這都需要人工智能各個領域的進步，包括從推理,、規(guī)劃,、編碼到記憶和其他認知能力,。”

從扎克伯格的發(fā)言中我們可以看出,，Llama 3模型并不一定意味著AGI將會實現,，但Meta公司正在有意識地以可能實現AGI的方式來進行LLM開發(fā)和其它AI研究。

04.會是多模態(tài)嗎,？

人工智能領域的另一個新興趨勢是多模態(tài)人工智能,，也就是能夠理解和處理不同數據格式（或模態(tài)）的模型。

例如谷歌的Gemini,、OpenAI的GPT-4V以及LLaVa,、Adept或Qwen-VL等開源模型，可以在計算機視覺和自然語言處理（NLP）任務之間無縫切換,，而不是開發(fā)單獨的模型來處理文本,、代碼、音頻,、圖像甚至視頻數據,。

雖然扎克伯格已經確認，Llama 3和Llama 2一樣,，將包括代碼生成功能,，但他沒有明確談到其他多模態(tài)功能。

不過,，扎克伯格確實在Llama 3發(fā)布視頻中討論了他如何設想人工智能與Metaverse（元宇宙）的交集：“Meta的Ray-Ban智能眼鏡是讓人工智能看你所看,，聽你所聽的理想外形，它可以隨時提供幫助,?！?/p>

這似乎意味著，無論是在即將發(fā)布的Llama 3版本中,，還是在后續(xù)版本中,，Meta對Llama模型的計劃都包括將視覺和音頻數據與LLM已經處理的文本和代碼數據整合在一起。

這似乎也是追求AGI的自然發(fā)展,。

扎克伯格在接受《The Verge》采訪時表示：“你可以爭論通用智能是類似于人類水平的智能,，還是類似于人類加人類的智能，或者是某種遙遠未來的超級智能,。但對我來說,，重要的部分其實是它的廣度，即智能具有所有這些不同的能力，你必須能夠推理并擁有直覺,。”

05.Llama 3與Llama 2相比如何,？

扎克伯格還宣布對培訓基礎設施進行大量投資,。到2024年底，Meta公司打算擁有大約35萬個英偉達H100 GPU,。

這將使Meta公司的可用計算資源總量達到60萬個H100計算當量,，其中包括他們已經擁有的GPU，目前只有微軟擁有與之相當的計算能力儲備,。

因此,，我們有理由相信，即使Llama 3型號并不比前代型號大,，其性能也會比Llama 2型號有大幅提升,。

Deepmind在2022年3月發(fā)表的一篇論文中提出了Llama的性能會大幅提升的假設，隨后Meta公司的模型和其他開源模型（例如法國Mistral公司的模型）也證明了這一點,，即在更多數據上訓練較小的模型比在較少數據上訓練較大的模型能產生更高的性能,。

雖然Llama 3模型的規(guī)模尚未公布，但很可能會延續(xù)前幾代模型的模式,，即在70-70億參數模型內提高性能,。Meta最近在基礎設施方面的投資必將為任何規(guī)模的模型提供更強大的預訓練功能。

Llama 2還將Llama 1的上下文長度增加了一倍,，這意味著Llama 2在推理過程中可以“記住”兩倍的上下文,，Llama 3有可能在這方面取得進一步進展。

06.與OpenAI的GPT-4相比又如何,？

雖然較小的LLaMA和Llama 2模型在某些基準測試中達到或超過了較大的,、參數為1750億的GPT-3模型的性能，但它們無法與ChatGPT中提供的GPT-3.5和GPT-4模型相媲美,。

隨著新一代模型的推出,，Meta似乎有意為開源世界帶來最先進的性能。

扎克伯格向《The Verge》表示：“Llama 2并不是業(yè)界領先的模型,，但卻是最好的開源模型,。有了Llama 3及以后，我們的目標是打造處于最先進水平的產品,，并最終成為業(yè)界領先的模型,?！?/p>

07.給未來做準備

有了新的基礎模型，就有了通過改進應用程序,、聊天機器人,、工作流程和自動化來獲得競爭優(yōu)勢的新機會。

走在新興發(fā)展的前列是避免落后的最佳途徑,，采用新工具能使企業(yè)的產品與眾不同,，并為客戶和員工提供最佳體驗。

原文來源于：
1.https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
2.https://www.ibm.com/blog/llama-3/
中文內容由元宇宙之心（MetaverseHub）團隊編譯,，如需轉載請聯(lián)系我們,。