科技日報訊（記者楊雪）近日，由北京大學(xué)人工智能研究院,、工學(xué)院,、計算機(jī)學(xué)院和倫敦國王學(xué)院共同完成的論文——《大規(guī)模多智能體系統(tǒng)的高效強(qiáng)化學(xué)習(xí)》在國際學(xué)術(shù)期刊《自然·機(jī)器智能》上發(fā)表,。這一成果首次在大規(guī)模多智能體系統(tǒng)中實(shí)現(xiàn)高效去中心化協(xié)同決策，有利于提升人工智能決策算法的擴(kuò)展性和適用性。多智能體系統(tǒng)主要以龐大的智能體交互數(shù)據(jù)為基礎(chǔ),，利用大量計算資源驅(qū)動每個智能體學(xué)習(xí)如何與其他智能體合作執(zhí)行復(fù)雜任務(wù),，其核心范式是多智能體強(qiáng)化學(xué)習(xí)?！氨热缫粋€無人機(jī)編隊(duì),，每架無人機(jī)都由人工智能控制，我們把每架飛機(jī)的控制器叫作智能體,，這個無人機(jī)編隊(duì)由多個智能體構(gòu)成,，就是一個多智能體系統(tǒng)?！闭撐牡谝蛔髡?、北京大學(xué)人工智能研究院博士生馬成棟解釋。馬成棟說,，在真實(shí)大規(guī)模系統(tǒng)中,，各個控制單位之間、控制單位與環(huán)境之間的交互成本往往非常高昂,。這些系統(tǒng)中經(jīng)常存在客觀通信限制,，如通信距離太遠(yuǎn)、全局通信有隱私泄露風(fēng)險,、通信能耗限制等,。控制單位之間難以實(shí)現(xiàn)全局信息交換,，阻礙了人工智能決策算法在大規(guī)模系統(tǒng)中的擴(kuò)展和應(yīng)用,。當(dāng)前，去中心化的多智能體強(qiáng)化學(xué)習(xí)成為國際學(xué)術(shù)界的研究熱點(diǎn),，其旨在探索一種算法,，即在有限數(shù)據(jù)和資源條件下,，將決策能力擴(kuò)展到包含大量智能體的復(fù)雜真實(shí)系統(tǒng)中。馬成棟說,，去中心化的多智能體強(qiáng)化學(xué)習(xí),，以不依賴全局信息的方式讓每個智能體實(shí)現(xiàn)高效去中心化協(xié)同決策，展現(xiàn)出獨(dú)特優(yōu)勢,。論文通訊作者,、北京大學(xué)人工智能研究院助理教授楊耀東介紹，研究團(tuán)隊(duì)通過網(wǎng)絡(luò)化結(jié)構(gòu)解耦系統(tǒng)的全局動態(tài)特性,，使智能體能獨(dú)立學(xué)習(xí)局部狀態(tài)轉(zhuǎn)移,、鄰域信息價值和去中心化策略，將復(fù)雜的大規(guī)模決策難題轉(zhuǎn)化為更容易求解的問題,。得益于此,，即使在樣本數(shù)據(jù)和信息交互受限的情況下，大型人工智能系統(tǒng)也能展現(xiàn)令人滿意的決策性能,。研究團(tuán)隊(duì)在較為復(fù)雜的城市交通和電力網(wǎng)絡(luò)中,，對包含數(shù)百個智能體的場景進(jìn)行了測試。結(jié)果顯示,，與中心化多智能體學(xué)習(xí)方法相比,，去中心化的方法可將信息交換成本降低70%或更多。而且,，隨著智能體數(shù)量不斷增長,，這一比例還會顯著下降。同時,，樣本效率可提升50%以上,。“這一研究成果對于將人工智能模型擴(kuò)展到大型電力網(wǎng)絡(luò),、城市交通信號控制等大規(guī)模多智能體系統(tǒng)具有重要價值,。”馬成棟舉例說,，在大型電網(wǎng)系統(tǒng)中,，節(jié)點(diǎn)之間信息交換和傳輸過于頻繁，難免會產(chǎn)生干擾,。某些節(jié)點(diǎn)一旦發(fā)生故障,，就會嚴(yán)重影響其他節(jié)點(diǎn)的性能。去中心化可以降低這一風(fēng)險,，提高電網(wǎng)系統(tǒng)穩(wěn)定性和安全性。（來源：科技日報）