原文來(lái)源：新智元

圖片來(lái)源：由無(wú)界 AI生成

將LLM應(yīng)用于基于智能體的仿真的動(dòng)機(jī)是什么? 在環(huán)境感知,、人類協(xié)調(diào)、行為生成和評(píng)估中的挑戰(zhàn)有哪些?一文為你講清,。

基于智能體的建模與仿真已發(fā)展成為模擬復(fù)雜系統(tǒng)的強(qiáng)大工具,，提供了對(duì)涌現(xiàn)行為和多樣智能體之間互動(dòng)的洞見(jiàn)。

將大語(yǔ)言模型整合到基于智能體的建模和仿真中,，為增強(qiáng)仿真能力提供了有希望的途徑,。

本文調(diào)研了在基于智能體的建模與仿真中利用大語(yǔ)言模型的領(lǐng)域格局，考察了它們的挑戰(zhàn)和有希望的未來(lái)方向,。

論文地址：https://arxiv.org/abs/2312.11970

在這項(xiàng)綜述中,，由于這是一個(gè)跨學(xué)科領(lǐng)域,，我們首先介紹基于智能體的建模與仿真以及大語(yǔ)言模型賦能智能體的背景。

然后,，我們討論將大語(yǔ)言模型應(yīng)用于基于智能體的仿真的動(dòng)機(jī),，并系統(tǒng)分析在環(huán)境感知、人類協(xié)調(diào),、行為生成和評(píng)估中的挑戰(zhàn),。

最重要的是,，我們提供了大語(yǔ)言模型賦能的基于智能體的建模與仿真在多種場(chǎng)景下的最新工作綜述，這些場(chǎng)景可分為四個(gè)領(lǐng)域：網(wǎng)絡(luò),、物理,、社會(huì)和混合，涵蓋了現(xiàn)實(shí)世界和虛擬環(huán)境的仿真,。

最后,，由于這個(gè)領(lǐng)域是新的且快速發(fā)展的，我們討論了開(kāi)放性問(wèn)題和有希望的未來(lái)方向,。

仿真作為一種計(jì)算工具,，涵蓋了通過(guò)使用數(shù)學(xué)公式、算法或計(jì)算機(jī)生成的表示來(lái)模擬現(xiàn)實(shí)世界過(guò)程或系統(tǒng),，以模仿其行為或特征,。

基于智能體的建模與仿真專注于通過(guò)模擬個(gè)體智能體及其在環(huán)境中的相互作用來(lái)模擬復(fù)雜系統(tǒng)。

它通過(guò)賦予這些智能體特定的行為,、屬性和決策能力來(lái)運(yùn)作,，使我們能夠檢查由智能體相互作用和環(huán)境動(dòng)態(tài)產(chǎn)生的涌現(xiàn)現(xiàn)象。

仿真的重要性跨越多個(gè)領(lǐng)域,，是理解,、分析和預(yù)測(cè)實(shí)際生活中可能難以或無(wú)法直接觀察的復(fù)雜現(xiàn)象的寶貴工具。

它促進(jìn)了實(shí)驗(yàn),、假設(shè)測(cè)試和情景分析,，提供了在不同條件下系統(tǒng)行為的洞見(jiàn)，并在經(jīng)濟(jì)學(xué),、生物學(xué),、社會(huì)學(xué)和生態(tài)學(xué)等領(lǐng)域的決策過(guò)程中提供幫助。

獲得和使用語(yǔ)言的能力是區(qū)分人類和其他生物的關(guān)鍵方面,。大語(yǔ)言模型（LLMs）的出現(xiàn)是機(jī)器學(xué)習(xí)中的一個(gè)最新里程碑,，展示了在自然語(yǔ)言處理任務(wù)和文本生成方面的巨大能力。

利用它們強(qiáng)大的能力,，LLMs在通過(guò)更細(xì)膩和現(xiàn)實(shí)的方式表示智能體的決策過(guò)程,、溝通和適應(yīng)模擬環(huán)境方面顯示出了提升基于智能體仿真的前景。

將LLMs整合到基于智能體的建模和仿真中,，有潛力豐富仿真的真實(shí)性和復(fù)雜性,，可能會(huì)深入洞察系統(tǒng)行為和涌現(xiàn)現(xiàn)象的原因如下：

首先，LLM 智能體可以根據(jù)環(huán)境做出自適應(yīng)反應(yīng)并執(zhí)行任務(wù),，而無(wú)需預(yù)定義的明確指令,。其次，LLM 智能體具有很強(qiáng)的智能，可以像人一樣做出反應(yīng),，甚至主動(dòng)采取具有自導(dǎo)向的規(guī)劃和調(diào)度的行動(dòng),。

LLM智能體的行動(dòng)空間既不局限于文本，對(duì)于文本,，工具用法和內(nèi)部行動(dòng)模塊允許代理采取各種行動(dòng),。

最后，LLM智能體可以與人類或其他智能體進(jìn)行互動(dòng)和交流,。

憑借以上三點(diǎn)優(yōu)勢(shì),，LLM智能體已被廣泛接受使用。

從這個(gè)角度看,，LLM智能體顯然可以作為一種新的模擬范例,，賦予代理以人類水平的智能。

由于LLM智能體的巨大潛力,，近來(lái)這一領(lǐng)域的研究工作呈現(xiàn)出蓬勃發(fā)展的態(tài)勢(shì),。

然而，迄今為止,，還沒(méi)有一份綜述能系統(tǒng)地總結(jié)相關(guān)工作,、討論尚未解決的問(wèn)題，并為重要的研究方向提供一瞥,。

在本綜述中,，我們分析了為什么大語(yǔ)言模型在仿真的基本問(wèn)題中至關(guān)重要，尤其是對(duì)于基于智能體的仿真而言,。

在討論了如何在這一新范式中設(shè)計(jì)智能體之后,，我們仔細(xì)而廣泛地討論并介紹了各個(gè)領(lǐng)域的現(xiàn)有著作，其中大部分是近期發(fā)表的,。

本綜述的貢獻(xiàn)可歸納如下,。

– 我們首先回顧了基于大語(yǔ)言模型的智能體建模與仿真的現(xiàn)有著作。

與現(xiàn)有方法相比,，我們系統(tǒng)地分析了為什么大型語(yǔ)言模型可以作為基于智能體建模與仿真的先進(jìn)解決方案,。

具體而言，我們首先從自主性,、社會(huì)能力,、反應(yīng)性和主動(dòng)性四個(gè)方面廣泛闡述了基于智能體的建模與仿真對(duì)智能體能力的要求。

然后,，我們分析了大型語(yǔ)言模型如何應(yīng)對(duì)這些挑戰(zhàn),，包括感知、推理和決策,、適應(yīng)性和異質(zhì)性,。

– 我們將基于智能體的建模與仿真分為物理,、網(wǎng)絡(luò),、社會(huì)和混合四個(gè)領(lǐng)域,。

這四個(gè)領(lǐng)域可以涵蓋主流的仿真場(chǎng)景和任務(wù)，之后我們介紹了相關(guān)的工作,，對(duì)如何設(shè)計(jì)仿真環(huán)境以及如何構(gòu)建由大型語(yǔ)言模型驅(qū)動(dòng)的仿真代理進(jìn)行了詳細(xì)的討論,。

– 除了這一新領(lǐng)域的現(xiàn)有工作外，我們還討論了四個(gè)重要的研究方向,，包括改進(jìn)仿真的擴(kuò)展性,、開(kāi)放仿真平臺(tái)、魯棒性,、倫理風(fēng)險(xiǎn)等,，相信這將對(duì)未來(lái)的研究有所啟發(fā)。

大語(yǔ)言模型和LLM驅(qū)動(dòng)的智能體

大語(yǔ)言模型（LLMs）,，如 ChatGPT、Gemini,、LLaMA,、Alpaca和GLM，是語(yǔ)言模型的最新范式,，從早期的統(tǒng)計(jì)語(yǔ)言模型發(fā)展到神經(jīng)語(yǔ)言模型,，再到預(yù)訓(xùn)練語(yǔ)言模型，最后發(fā)展到大型語(yǔ)言模型,。

憑借數(shù)十億個(gè)參數(shù)和廣泛的預(yù)訓(xùn)練語(yǔ)料庫(kù),，LLM不僅在文本生成、總結(jié),、翻譯等自然語(yǔ)言處理任務(wù)中表現(xiàn)出驚人的能力,，而且在解決數(shù)學(xué)問(wèn)題等復(fù)雜推理和規(guī)劃任務(wù)中也表現(xiàn)出驚人的能力。

在大規(guī)模語(yǔ)料庫(kù)上進(jìn)行的預(yù)訓(xùn)練為零點(diǎn)泛化奠定了基礎(chǔ),。此外,，預(yù)訓(xùn)練模型還可以針對(duì)特定任務(wù)進(jìn)一步微調(diào)，以適應(yīng)特定的應(yīng)用場(chǎng)景,。

此外,，在過(guò)去一年中，大型語(yǔ)言模型（如ChatGPT和GPT-4）的進(jìn)步已經(jīng)實(shí)現(xiàn)了類似人類的推理能力,，這是一個(gè)里程碑,，現(xiàn)在被認(rèn)為是人工通用智能（AGI）的種子。

具體來(lái)說(shuō),，獲取和使用語(yǔ)言的能力是我們?nèi)祟悈^(qū)別于其他生物的一個(gè)關(guān)鍵方面,。語(yǔ)言是我們與環(huán)境互動(dòng)的最重要機(jī)制之一,，語(yǔ)言為高級(jí)能力奠定了基礎(chǔ)。

因此，由于在感知環(huán)境和做出決策方面具有類似人類的智能，構(gòu)建大型語(yǔ)言模型賦能的智能體是大有可為的,。

首先,，LLM智能體能夠根據(jù)環(huán)境做出自適應(yīng)反應(yīng)并執(zhí)行任務(wù)，而無(wú)需預(yù)定義的明確指令。此外，在模擬過(guò)程中，LLM智能體甚至可以形成新的想法,、解決方案、目標(biāo)等,。

例如,，AutoGPT在給出一組可用工具和最終任務(wù)目標(biāo)時(shí)，可以自動(dòng)安排計(jì)劃,，體現(xiàn)了LLM在構(gòu)建智能體方面的巨大潛力,。

同時(shí)，BabyAGI創(chuàng)建了一個(gè)運(yùn)行無(wú)限循環(huán)的LLM驅(qū)動(dòng)腳本,，該腳本持續(xù)維護(hù)任務(wù)列表,，其中每個(gè)任務(wù)都由ChatGPT API根據(jù)任務(wù)上下文完成。

其次,，LLM智能體具有足夠的智能,，可以像人類一樣做出反應(yīng)，甚至主動(dòng)采取行動(dòng),，進(jìn)行自我導(dǎo)向的規(guī)劃和調(diào)度,。環(huán)境輸入并不局限于文本，

最近的多模態(tài)融合模型還可以輸入其他類型的信息,，如圖像或音頻,。LLM 智能體的行動(dòng)空間既不局限于文本，對(duì)于文本,，工具使用能力允許智能體采取更多行動(dòng),。

最后，LLM 智能體具有與人類或其他人工智能智能體互動(dòng)和交流的能力,。在仿真,，尤其是基于智能體的仿真中,，代理的交流能力將個(gè)體仿真提升到了群體層面。

一個(gè) LLM 驅(qū)動(dòng)的智能體可以生成文本,，另一個(gè)智能體可以接收并理解文本,，進(jìn)而為智能體之間或人類與智能體之間可解釋的交流提供基礎(chǔ)。

此外,，社區(qū)層面的模擬需要智能體的異質(zhì)性,，而 LLM 智能體可以滿足這些要求，在社會(huì)中扮演不同的角色,。

由LLM智能體構(gòu)建的人工社會(huì)可以進(jìn)一步揭示具有集體智能體行為的蜂群智能體的出現(xiàn),，類似于人類社會(huì)中的群體智慧。

如上所述,，仿真系統(tǒng)廣泛采用了基于智能體的建模范式,，這就要求智能體具有高級(jí)能力，很好地激發(fā)了大語(yǔ)言模式智能體在仿真場(chǎng)景中的應(yīng)用,。

基于智能體建模和仿真的LLM關(guān)鍵能力

基于智能體建模與仿真的大語(yǔ)言模式關(guān)鍵能力 如上所述,，基于智能體的建模與仿真是許多領(lǐng)域仿真的基本方法，但它仍然面臨幾個(gè)關(guān)鍵挑戰(zhàn),。

大語(yǔ)言模式驅(qū)動(dòng)的智能體不僅能滿足基于智能體的仿真要求,，還能依靠其強(qiáng)大的感知、推理,、決策和自我進(jìn)化能力來(lái)解決這些限制,，如圖1所示。

感知?

基于智能體的建模與仿真的核心是模擬單個(gè)智能體如何與環(huán)境進(jìn)行交互,，這就要求智能體能夠準(zhǔn)確感知來(lái)自上述環(huán)境的各類信息,。至于大語(yǔ)言模型賦能的智能體，語(yǔ)言能力能使智能體直接或間接地理解和應(yīng)對(duì)多樣化的環(huán)境,。

一方面,，理解和生成文本的基本能力使智能體能夠進(jìn)行復(fù)雜的對(duì)話、談判和信息交換,，并支持直接交互,。另一方面,，智能體與環(huán)境之間的界面可以通過(guò)文本進(jìn)行操作，從而實(shí)現(xiàn)間接交互,。

當(dāng)然,，除了智能體與環(huán)境的視角外，這種能力也支持不同智能體之間的交流,。

值得一提的是,，僅僅具備與環(huán)境和其他智能體互動(dòng)的能力還不足以實(shí)現(xiàn)類人模擬。更具體地說(shuō),，還要求基于大型語(yǔ)言模型的智能體 "設(shè)身處地",，從而讓智能體想象自己確實(shí)身處環(huán)境之中。

也就是說(shuō),，LLM 智能體應(yīng)能從 "第一視角視線"出發(fā),，理解、感知并響應(yīng)不同情境下的不同需求,、情感和態(tài)度,。這種能力能使模型更好地理解來(lái)自環(huán)境或其他智能體的信息，并產(chǎn)生更真實(shí)的反應(yīng),。

推理和決策?

傳統(tǒng)基于代理的仿真面臨的一個(gè)關(guān)鍵挑戰(zhàn)是,，基于規(guī)則甚至基于神經(jīng)網(wǎng)絡(luò)的代理不夠智能。也就是說(shuō),，智能體無(wú)法做出正確或最優(yōu)決策,，如在交通仿真中選擇擁擠的道路，或在社交網(wǎng)絡(luò)仿真中發(fā)送錯(cuò)誤的信息,。

這可以解釋為,，傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的人工智能仍不如真人智能。相比之下,，大語(yǔ)言模型賦能的智能體則表現(xiàn)出更強(qiáng)的推理能力,，使其能夠在模擬中做出更明智的決策并選擇合適的行動(dòng)。

盡管能做出合適的決策,，但大型語(yǔ)言模型賦能的智能體支持更好的基于智能體的建模和仿真的另一個(gè)關(guān)鍵優(yōu)勢(shì)是自主性,。

只需有限的指導(dǎo)、規(guī)定和目標(biāo),，配備大型語(yǔ)言模型的智能體就能自主采取行動(dòng),，為給定目標(biāo)制定計(jì)劃，甚至實(shí)現(xiàn)新目標(biāo),，而無(wú)需顯式編程或預(yù)定義規(guī)則,。

也就是說(shuō)，自主性使LLM智能體能夠根據(jù)實(shí)際情況動(dòng)態(tài)調(diào)整自己的行動(dòng)和策略,，有助于提高仿真的真實(shí)性,。

自適應(yīng)學(xué)習(xí)和演化?

對(duì)于基于智能體的建模與仿真而言,，系統(tǒng)始終具有不確定性和不可控性。

換句話說(shuō),，與模擬初始階段相比,，環(huán)境和智能體的狀態(tài)可能完全不同。正如《瑞普·凡·溫克爾》（Rip Van Winkle）的古老故事所講述的那樣,，一個(gè)人在山中睡著了,，醒來(lái)后發(fā)現(xiàn)周圍的世界在他沉睡期間發(fā)生了巨大的變化。

也就是說(shuō),，在長(zhǎng)期的社會(huì)網(wǎng)絡(luò)模擬中,，環(huán)境是不斷變化的；智能體應(yīng)該能夠適應(yīng)新的環(huán)境,，制定的決策策略可能會(huì)大大偏離其原來(lái)的策略,。

顯然,，自適應(yīng)學(xué)習(xí)和進(jìn)化對(duì)于傳統(tǒng)方法來(lái)說(shuō)具有挑戰(zhàn)性,，但幸運(yùn)的是，基于大型語(yǔ)言模型的智能體可以解決這個(gè)問(wèn)題,。

具體來(lái)說(shuō),，憑借不斷從新數(shù)據(jù)中學(xué)習(xí)并適應(yīng)不斷變化的語(yǔ)境的能力，LLM 智能體可以隨著時(shí)間的推移不斷演化行為和決策策略,。

智能體可以吸收新信息,，分析數(shù)據(jù)中新出現(xiàn)的模式，并根據(jù)情境中的學(xué)習(xí)相應(yīng)地修改自己的反應(yīng)或行動(dòng),，這反映了現(xiàn)實(shí)世界實(shí)體的動(dòng)態(tài)性質(zhì),。

這種適應(yīng)性通過(guò)模擬智能體在應(yīng)對(duì)不同刺激時(shí)的學(xué)習(xí)曲線和行為演變，增強(qiáng)了模擬的真實(shí)性,。

異質(zhì)性和個(gè)性化?

俗話說(shuō),，一人之肉，眾人之毒,。對(duì)于基于智能體的仿真來(lái)說(shuō),，具有異質(zhì)個(gè)體的復(fù)雜社會(huì)或經(jīng)濟(jì)系統(tǒng)，智能體的異質(zhì)性至關(guān)重要,。

具體來(lái)說(shuō),，在基于智能體的建模和仿真中，智能體的異質(zhì)性涉及表現(xiàn)個(gè)體之間的不同特征,、行為和決策過(guò)程,。與傳統(tǒng)仿真方法相比，基于智能體的仿真因其能夠適應(yīng)不同的規(guī)則或參數(shù)而脫穎而出,，具體討論如下,。

首先,，現(xiàn)有方法的參數(shù)設(shè)置極其復(fù)雜。在

這些模型中,，影響智能體行為的變量繁多–從個(gè)人特征到環(huán)境因素–使得選擇和校準(zhǔn)這些參數(shù)變得十分困難,。這種復(fù)雜性往往會(huì)導(dǎo)致過(guò)度簡(jiǎn)化，影響模擬在描述真實(shí)異質(zhì)性方面的準(zhǔn)確性,。

此外,，獲取準(zhǔn)確、全面的數(shù)據(jù)為參數(shù)選擇提供信息也是另一項(xiàng)挑戰(zhàn),。也就是說(shuō),，現(xiàn)實(shí)世界中能捕捉到不同情境下不同個(gè)體行為的數(shù)據(jù)可能很有限，或者很難收集到,。

此外,，根據(jù)真實(shí)世界的觀察結(jié)果驗(yàn)證所選參數(shù)以確保其可靠性，也增加了另一層復(fù)雜性,。

其次,，規(guī)則或模型無(wú)法涵蓋異質(zhì)性的所有方面，因?yàn)楝F(xiàn)實(shí)世界中的個(gè)體非常復(fù)雜,。使用規(guī)則驅(qū)動(dòng)智能體行為只能捕捉到異質(zhì)性的某些方面,，但可能缺乏深度，無(wú)法囊括多樣化行為,、偏好和決策過(guò)程的全部?jī)?nèi)容,。

此外，隨著模型能力的提高,，試圖在單一模型中涵蓋異質(zhì)性的所有方面未免過(guò)于理想化,。

因此，如何平衡模型的簡(jiǎn)潔性和智能體建模的準(zhǔn)確性成為基于智能體建模和仿真的關(guān)鍵挑戰(zhàn),，從而導(dǎo)致對(duì)智能體異質(zhì)性某些方面的過(guò)度簡(jiǎn)化或忽視,。

與傳統(tǒng)方法不同的是，基于LLM的智能體支持：1）通過(guò)內(nèi)部類似人類的認(rèn)知復(fù)雜性來(lái)捕捉復(fù)雜的內(nèi)部特征,；2）通過(guò)提示,、上下文學(xué)習(xí)或微調(diào)來(lái)實(shí)現(xiàn)專業(yè)化和定制化特征。

結(jié)語(yǔ)

基于智能體的建模與仿真是各領(lǐng)域復(fù)雜系統(tǒng)建模的重要方法之一,。

大語(yǔ)言模型的最新進(jìn)展重塑了基于智能體的建模與仿真范式，為構(gòu)建類似人類的智能體而不是由簡(jiǎn)單規(guī)則或有限智能神經(jīng)模型驅(qū)動(dòng)的智能體提供了新的視角,。

在本文中,，我們首先對(duì)基于智能體的大語(yǔ)言模型建模與仿真進(jìn)行了綜述。我們系統(tǒng)地分析了基于智能體的建模與仿真為什么需要 LLM 智能體，以及如何應(yīng)對(duì)關(guān)鍵挑戰(zhàn),。

隨后,，我們廣泛總結(jié)了網(wǎng)絡(luò)、物理,、社會(huì)和混合四個(gè)領(lǐng)域的現(xiàn)有工作,，仔細(xì)闡述了如何設(shè)計(jì)仿真環(huán)境、如何構(gòu)建大語(yǔ)言模型賦能的智能體,，以及基于智能體的仿真要觀察和實(shí)現(xiàn)什么,。

最后，考慮到現(xiàn)有研究尚未解決的局限性和這一快速發(fā)展的新領(lǐng)域,，我們討論了有待解決的問(wèn)題,，并指出了重要的研究方向，希望能對(duì)未來(lái)的研究有所啟發(fā),。

參考資料：

https://arxiv.org/abs/2312.11970