圖說(shuō)：上海人工智能實(shí)驗(yàn)室主任,、首席科學(xué)家周伯文 新民晚報(bào)記者 陳夢(mèng)澤 攝在2024世界人工智能大會(huì)全體會(huì)議上,，上海人工智能實(shí)驗(yàn)室主任,、首席科學(xué)家，清華大學(xué)惠妍講席教授周伯文發(fā)表主旨演講,，帶來(lái)了“探索人工智能45°平衡律”的觀點(diǎn),。周伯文說(shuō)，當(dāng)前,，以大模型為代表的生成式人工智能快速發(fā)展,，但隨著能力的不斷提升，模型自身及其應(yīng)用也帶來(lái)了一系列潛在風(fēng)險(xiǎn)的顧慮,。從公眾對(duì)AI風(fēng)險(xiǎn)的關(guān)注程度來(lái)看,，首先是數(shù)據(jù)泄露、濫用,、隱私及版權(quán)相關(guān)的內(nèi)容風(fēng)險(xiǎn),；其次是惡意使用帶來(lái)偽造、虛假信息等相關(guān)的使用風(fēng)險(xiǎn),；當(dāng)然也誘發(fā)了偏見歧視等倫理相關(guān)問題,；此外還有人擔(dān)心：人工智能是否會(huì)對(duì)就業(yè)結(jié)構(gòu)等社會(huì)系統(tǒng)性問題帶來(lái)挑戰(zhàn)。在一系列關(guān)于人工智能的科幻電影中,，甚至出現(xiàn)了AI失控,、人類喪失自主權(quán)等設(shè)定。這些由AI帶來(lái)的風(fēng)險(xiǎn)已初露端倪,，但更多的是潛在風(fēng)險(xiǎn),，防范這些風(fēng)險(xiǎn)需要各界共同努力，需要科學(xué)社區(qū)做出更多貢獻(xiàn),。去年5月,，國(guó)際上數(shù)百名AI科學(xué)家和公眾人物共同簽署了一份公開信，表達(dá)了對(duì)AI風(fēng)險(xiǎn)的擔(dān)憂,，并呼吁應(yīng)該像對(duì)待流行病和核戰(zhàn)爭(zhēng)等其他大規(guī)模的風(fēng)險(xiǎn)一樣,，把防范人工智能帶來(lái)的風(fēng)險(xiǎn)作為全球優(yōu)先事項(xiàng)。周伯文認(rèn)為,，有這些擔(dān)憂的根本原因是目前的AI發(fā)展是失衡的,。他向大家展示了一張坐標(biāo)圖——橫軸是AI技術(shù)能力的提升,，呈現(xiàn)指數(shù)級(jí)增長(zhǎng)；縱軸是AI的安全維度,，典型的技術(shù)如紅隊(duì)測(cè)試,、安全標(biāo)識(shí)、安全護(hù)欄與評(píng)估測(cè)量等,，呈現(xiàn)零散化,、碎片化，且后置性的特性,。“總體上,，我們?cè)贏I模型安全能力方面的提升,，還遠(yuǎn)遠(yuǎn)落后于性能的提升，這種失衡導(dǎo)致AI的發(fā)展是跛腳的,，不均衡的背后是二者投入上的巨大差異,。”周伯文指出,，“對(duì)比一下,，從研究是否體系化，以及人才密集度,、商業(yè)驅(qū)動(dòng)力,、算力的投入度等方面來(lái)看，安全方面的投入是遠(yuǎn)遠(yuǎn)落后于AI能力的,?！?img decoding="async" alt="2024世界人工智能大會(huì)｜上海人工智能實(shí)驗(yàn)室主任周伯文：探索人工智能45°平衡律" src="http://lequren.com/wp-content/themes/justnews/themer/assets/images/lazy.png" data-original="http://p.mgcj.net/2024/07/20240704483499.jpg" class="aligncenter j-lazy">周伯文說(shuō)，可信AGI需要能夠兼顧安全與性能,，人們需要找到AI安全優(yōu)先,，但又能保證AI性能長(zhǎng)期發(fā)展的技術(shù)體系，“我們把這樣一種技術(shù)思想體系叫作‘AI-45°平衡律’,?！盇I-45°平衡律是指從長(zhǎng)期的角度來(lái)看，要大體上沿著45度安全與性能平衡發(fā)展,，平衡是指短期可以有波動(dòng),，但不能長(zhǎng)期低于45°，也不能長(zhǎng)期高于45度——這將阻礙發(fā)展與產(chǎn)業(yè)應(yīng)用,。這個(gè)技術(shù)思想體系要求強(qiáng)技術(shù)驅(qū)動(dòng),、全流程優(yōu)化、多主體參與以及敏捷治理,。周伯文介紹,，實(shí)現(xiàn)AI-45°平衡律也許有多種技術(shù)路徑,，上海人工智能實(shí)驗(yàn)室近期在探索一條以因果為核心的路徑，并將其取名為：可信AGI的“因果之梯”,，致敬因果推理領(lǐng)域的先驅(qū)——圖靈獎(jiǎng)得主朱迪亞·珀?duì)?。周伯文說(shuō)，可信AGI的“因果之梯”將可信AGI的發(fā)展分為三個(gè)遞進(jìn)階段：泛對(duì)齊,、可干預(yù),、能反思——“泛對(duì)齊”主要包含當(dāng)前最前沿的人類偏好對(duì)齊技術(shù)；“可干預(yù)”主要包含通過對(duì)AI系統(tǒng)進(jìn)行干預(yù),，探究其因果機(jī)制的安全技術(shù),；“能反思”則要求AI系統(tǒng)不僅追求高效執(zhí)行任務(wù)，還能審視自身行為的影響和潛在風(fēng)險(xiǎn),，從而在追求性能的同時(shí),，確保安全和道德邊界不被突破。這個(gè)階段的技術(shù),，包括基于價(jià)值的訓(xùn)練,、因果可解釋性、反事實(shí)推理等,。周伯文表示,，目前，AI安全和性能技術(shù)發(fā)展主要停留第一階段,，部分在嘗試第二階段,，但要真正實(shí)現(xiàn)AI的安全與性能平衡，我們必須完善第二階段并勇于攀登第三階段,。沿著可信AGI的“因果之梯”拾級(jí)而上,，“我們相信可以構(gòu)建真正可信AGI，實(shí)現(xiàn)人工智能的安全與卓越性能的完美平衡,?！毙旅裢韴?bào)記者 郜陽(yáng)