圖說：上海人工智能實驗室主任、首席科學家周伯文 新民晚報記者 陳夢澤 攝在2024世界人工智能大會全體會議上,，上海人工智能實驗室主任、首席科學家,，清華大學惠妍講席教授周伯文發(fā)表主旨演講,，帶來了“探索人工智能45°平衡律”的觀點。周伯文說,，當前,，以大模型為代表的生成式人工智能快速發(fā)展，但隨著能力的不斷提升,，模型自身及其應用也帶來了一系列潛在風險的顧慮,。從公眾對AI風險的關注程度來看，首先是數(shù)據(jù)泄露,、濫用,、隱私及版權相關的內(nèi)容風險；其次是惡意使用帶來偽造,、虛假信息等相關的使用風險,；當然也誘發(fā)了偏見歧視等倫理相關問題；此外還有人擔心：人工智能是否會對就業(yè)結構等社會系統(tǒng)性問題帶來挑戰(zhàn),。在一系列關于人工智能的科幻電影中,，甚至出現(xiàn)了AI失控、人類喪失自主權等設定,。這些由AI帶來的風險已初露端倪,，但更多的是潛在風險，防范這些風險需要各界共同努力,，需要科學社區(qū)做出更多貢獻,。去年5月，國際上數(shù)百名AI科學家和公眾人物共同簽署了一份公開信,，表達了對AI風險的擔憂,，并呼吁應該像對待流行病和核戰(zhàn)爭等其他大規(guī)模的風險一樣,，把防范人工智能帶來的風險作為全球優(yōu)先事項,。周伯文認為，有這些擔憂的根本原因是目前的AI發(fā)展是失衡的,。他向大家展示了一張坐標圖——橫軸是AI技術能力的提升,，呈現(xiàn)指數(shù)級增長,；縱軸是AI的安全維度，典型的技術如紅隊測試,、安全標識,、安全護欄與評估測量等,，呈現(xiàn)零散化,、碎片化，且后置性的特性,?！翱傮w上，我們在AI模型安全能力方面的提升,，還遠遠落后于性能的提升,，這種失衡導致AI的發(fā)展是跛腳的，不均衡的背后是二者投入上的巨大差異,?！敝懿闹赋觯皩Ρ纫幌?，從研究是否體系化,，以及人才密集度、商業(yè)驅(qū)動力,、算力的投入度等方面來看,，安全方面的投入是遠遠落后于AI能力的?！?img decoding="async" alt="2024世界人工智能大會｜上海人工智能實驗室主任周伯文：探索人工智能45°平衡律" src="http://lequren.com/wp-content/themes/justnews/themer/assets/images/lazy.png" data-original="http://p.mgcj.net/2024/07/20240704483499.jpg" class="aligncenter j-lazy">周伯文說,，可信AGI需要能夠兼顧安全與性能，人們需要找到AI安全優(yōu)先,，但又能保證AI性能長期發(fā)展的技術體系,，“我們把這樣一種技術思想體系叫作‘AI-45°平衡律’?！盇I-45°平衡律是指從長期的角度來看,，要大體上沿著45度安全與性能平衡發(fā)展，平衡是指短期可以有波動,，但不能長期低于45°,，也不能長期高于45度——這將阻礙發(fā)展與產(chǎn)業(yè)應用。這個技術思想體系要求強技術驅(qū)動,、全流程優(yōu)化,、多主體參與以及敏捷治理。周伯文介紹,，實現(xiàn)AI-45°平衡律也許有多種技術路徑,，上海人工智能實驗室近期在探索一條以因果為核心的路徑,，并將其取名為：可信AGI的“因果之梯”，致敬因果推理領域的先驅(qū)——圖靈獎得主朱迪亞·珀爾,。周伯文說,，可信AGI的“因果之梯”將可信AGI的發(fā)展分為三個遞進階段：泛對齊、可干預,、能反思——“泛對齊”主要包含當前最前沿的人類偏好對齊技術,；“可干預”主要包含通過對AI系統(tǒng)進行干預，探究其因果機制的安全技術,；“能反思”則要求AI系統(tǒng)不僅追求高效執(zhí)行任務,，還能審視自身行為的影響和潛在風險，從而在追求性能的同時,，確保安全和道德邊界不被突破,。這個階段的技術，包括基于價值的訓練,、因果可解釋性,、反事實推理等。周伯文表示,，目前,，AI安全和性能技術發(fā)展主要停留第一階段，部分在嘗試第二階段,，但要真正實現(xiàn)AI的安全與性能平衡,，我們必須完善第二階段并勇于攀登第三階段。沿著可信AGI的“因果之梯”拾級而上,，“我們相信可以構建真正可信AGI,，實現(xiàn)人工智能的安全與卓越性能的完美平衡?！毙旅裢韴笥浾?郜陽