新華社北京7月16日電（記者彭茜）一群證券交易機器人通過高頻買賣合約在納斯達克等證券交易所短暫地抹去了1萬億美元價值,，世界衛(wèi)生組織使用的聊天機器人提供了過時的藥品審核信息,，美國一位資深律師沒能判斷出自己向法庭提供的歷史案例文書竟然均由ChatGPT憑空捏造……這些真實發(fā)生的案例表明，智能體帶來的安全隱患不容小覷,。圖為2023年11月2日,，在英國布萊奇利園，一名參會者經(jīng)過首屆人工智能安全峰會的宣傳展板,。（新華社記者李穎攝）智能體進入批量化生產(chǎn)時代智能體是人工智能（AI）領(lǐng)域中的一個重要概念,，是指能夠自主感知環(huán)境、做出決策并執(zhí)行行動的智能實體,，它可以是一個程序,、一個系統(tǒng)或是一個機器人。智能體的核心是人工智能算法,，包括機器學習,、深度學習、強化學習,、神經(jīng)網(wǎng)絡(luò)等技術(shù),。通過這些算法，智能體可以從大量數(shù)據(jù)中學習并改進自身的性能，不斷優(yōu)化自己的決策和行為,。智能體還可根據(jù)環(huán)境變化做出靈活的調(diào)整,，適應(yīng)不同的場景和任務(wù)。學界認為,，智能體一般具有以下三大特質(zhì)：第一,，可根據(jù)目標獨立采取行動，即自主決策,。智能體可以被賦予一個高級別甚至模糊的目標,，并獨立采取行動實現(xiàn)該目標。第二,，可與外部世界互動,，自如地使用不同的軟件工具。比如基于GPT-4的智能體AutoGPT,，可以自主地在網(wǎng)絡(luò)上搜索相關(guān)信息,，并根據(jù)用戶的需求自動編寫代碼和管理業(yè)務(wù)。第三,，可無限期地運行,。美國哈佛大學法學院教授喬納森·齊特雷恩近期在美國《大西洋》雜志發(fā)表的《是時候控制AI智能體》一文指出，智能體允許人類操作員“設(shè)置后便不再操心”,。還有專家認為,，智能體具備可進化性，能夠在工作進程中通過反饋逐步自我優(yōu)化,，比如學習新技能和優(yōu)化技能組合,。以GPT為代表的大語言模型（LLM）的出現(xiàn)，標志著智能體進入批量化生產(chǎn)時代,。此前,，智能體需靠專業(yè)的計算機科學人員歷經(jīng)多輪研發(fā)測試，現(xiàn)在依靠大語言模型就可迅速將特定目標轉(zhuǎn)化為程序代碼,，生成各式各樣的智能體,。而兼具文字、圖片,、視頻生成和理解能力的多模態(tài)大模型,，也為智能體的發(fā)展創(chuàng)造了有利條件，使它們可以利用計算機視覺“看見”虛擬或現(xiàn)實的三維世界,，這對于人工智能非玩家角色和機器人研發(fā)都尤為重要,。風險值得警惕智能體可以自主決策，又能通過與環(huán)境交互施加對物理世界影響,，一旦失控將給人類社會帶來極大威脅,。哈佛大學齊特雷恩認為,，這種不僅能與人交談，還能在現(xiàn)實世界中行動的AI的常規(guī)化,，是“數(shù)字與模擬,、比特與原子之間跨越血腦屏障的一步”，應(yīng)當引起警覺,。智能體的運行邏輯可能使其在實現(xiàn)特定目標過程中出現(xiàn)有害偏差,。齊特雷恩認為，在一些情況下,，智能體可能只捕捉到目標的字面意思,，沒有理解目標的實質(zhì)意思，從而在響應(yīng)某些激勵或優(yōu)化某些目標時出現(xiàn)異常行為,。比如,，一個讓機器人“幫助我應(yīng)付無聊的課”的學生可能無意中生成了一個炸彈威脅電話，因為AI試圖增添一些刺激,。AI大語言模型本身具備的“黑箱”和“幻覺”問題也會增加出現(xiàn)異常的頻率,。智能體還可指揮人在真實世界中的行動。美國加利福尼亞大學伯克利分校,、加拿大蒙特利爾大學等機構(gòu)專家近期在美國《科學》雜志發(fā)表《管理高級人工智能體》一文稱,，限制強大智能體對其環(huán)境施加的影響是極其困難的。例如,，智能體可以說服或付錢給不知情的人類參與者,，讓他們代表自己執(zhí)行重要行動,。齊特雷恩也認為,，一個智能體可能會通過在社交網(wǎng)站上發(fā)布有償招募令來引誘一個人參與現(xiàn)實中的敲詐案，這種操作還可在數(shù)百或數(shù)千個城鎮(zhèn)中同時實施,。由于目前并無有效的智能體退出機制,，一些智能體被創(chuàng)造出后可能無法被關(guān)閉。這些無法被停用的智能體,，最終可能會在一個與最初啟動它們時完全不同的環(huán)境中運行,，徹底背離其最初用途。智能體也可能會以不可預(yù)見的方式相互作用,，造成意外事故,。已有“狡猾”的智能體成功規(guī)避了現(xiàn)有的安全措施。相關(guān)專家指出,，如果一個智能體足夠先進,，它就能夠識別出自己正在接受測試。目前已發(fā)現(xiàn)一些智能體能夠識別安全測試并暫停不當行為,，這將導(dǎo)致識別對人類危險算法的測試系統(tǒng)失效,。專家認為,，人類目前需盡快從智能體開發(fā)生產(chǎn)到應(yīng)用部署后的持續(xù)監(jiān)管等全鏈條著手，規(guī)范智能體行為,，并改進現(xiàn)有互聯(lián)網(wǎng)標準,，從而更好地預(yù)防智能體失控。應(yīng)根據(jù)智能體的功能用途,、潛在風險和使用時限進行分類管理,。識別出高風險智能體，對其進行更加嚴格和審慎的監(jiān)管,。還可參考核監(jiān)管,，對生產(chǎn)具有危險能力的智能體所需的資源進行控制，如超過一定計算閾值的AI模型,、芯片或數(shù)據(jù)中心,。此外，由于智能體的風險是全球性的,，開展相關(guān)監(jiān)管國際合作也尤為重要,。