人民網(wǎng)北京3月3日電 (記者申佳平)第二屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會日前在北京舉行,。中國工程院院士倪光南在大會致辭中表示，中國在人工智能市場和應(yīng)用場景上潛力巨大，當(dāng)下一方面要搶抓發(fā)展機(jī)遇,，在垂直領(lǐng)域和應(yīng)用場景方面發(fā)力,，另一方面要有針對性地思考和研究生成式AI存在的諸多問題,，統(tǒng)籌發(fā)展與安全。倪光南認(rèn)為,，當(dāng)前生成式AI正處在發(fā)展初期,，檢索增強(qiáng)生成(RAG)、精準(zhǔn)算法增強(qiáng)等大模型增強(qiáng)技術(shù)仍有較大的發(fā)展空間,。他以近日備受關(guān)注的文生視頻應(yīng)用Sora舉例指出,，盡管Sora系統(tǒng)通過輸入提示詞可輸出對應(yīng)的視頻，但其目前還無法準(zhǔn)確模擬復(fù)雜場景的物理特性,，也無法理解實(shí)體之間的因果關(guān)系,。如，在Sora生成的果汁潑濺視頻中,，實(shí)體有兩個穩(wěn)定狀態(tài),，一個是水杯直立的狀態(tài)，另一個是果汁已經(jīng)潑濺出來的狀態(tài),。但是最為復(fù)雜的物理狀態(tài),，即果汁從杯中流灑出來的過程并沒有生成出來?！耙龅竭@一步還需要將眾多科學(xué)定律,、工業(yè)軟件和計(jì)算能力等與大模型融合，很有挑戰(zhàn)性,?！蹦吖饽媳硎?，目前我國很多企業(yè)和機(jī)構(gòu)正在許多垂直領(lǐng)域和應(yīng)用場景的中小模型方面發(fā)力，值得鼓勵和支持,。據(jù)悉,，倪光南院士曾于2019年11月至2023年12月，擔(dān)任人民日報社主管,、依托人民網(wǎng)建設(shè)的“傳播內(nèi)容認(rèn)知全國重點(diǎn)實(shí)驗(yàn)室”學(xué)術(shù)委員會主任,。該室驗(yàn)室在生成式AI垂直應(yīng)用領(lǐng)域開展了積極探索，其推出的“寫易”智能創(chuàng)作引擎，訓(xùn)練之初就充分運(yùn)用符合我國主流價值觀的數(shù)據(jù)集和語料庫,，內(nèi)容涵蓋政治,、經(jīng)濟(jì),、文化,、社會,、生態(tài),、黨建,、國防、外交等重點(diǎn)領(lǐng)域,，保障生成內(nèi)容安全,，著重為公務(wù)人員、事業(yè)單位,、國有企業(yè)提供優(yōu)質(zhì),、持續(xù)迭代的智能創(chuàng)作服務(wù)?！皩懸住笨苫跇?biāo)題生成觀點(diǎn)評論、會議材料,、方案策劃等,，目前已在多個黨政系統(tǒng)應(yīng)用,。倪光南坦言,，在可解釋、透明、公平,、合法,、安全等方面，生成式AI仍存在很多問題,，需要有針對性地進(jìn)行深入思考和認(rèn)真研究,，并采取一系列迅速有效的舉措,，以保障安全有效地應(yīng)用生成AI,。他指出,，有多種途徑可“人為”影響生成式AI系統(tǒng)的“價值觀”傾向，包括：訓(xùn)練時所使用的大數(shù)據(jù)集合；依靠人類反饋進(jìn)行增強(qiáng)訓(xùn)練時所采用的獎懲規(guī)則；算法中的某些環(huán)節(jié)或者運(yùn)行中施加的某種干預(yù),；使用交互中對其進(jìn)行的誘導(dǎo)等,。對于此類“價值觀”傾向,，建議由權(quán)威機(jī)構(gòu)按照“主流價值觀”的要求，對生成式AI的產(chǎn)品和服務(wù)進(jìn)行相應(yīng)的價值觀測評，以幫助用戶選取適合的對象。據(jù)了解,，傳播內(nèi)容認(rèn)知全國重點(diǎn)實(shí)驗(yàn)室針對大模型存在的意識形態(tài)風(fēng)險，于2023年3月研究建立了生成式大模型內(nèi)容安全測評技術(shù)體系,，對大模型的應(yīng)答內(nèi)容,，從政治方向、輿論導(dǎo)向,、價值取向,、倫理安全等10余個維度，采用人機(jī)結(jié)合的方式進(jìn)行綜合測評,。與此同時,，人民網(wǎng)在對各人工智能大模型進(jìn)行內(nèi)容安全測評的基礎(chǔ)上，針對大模型普遍遇到的,、自身難以克服的意識形態(tài)安全問題,，建設(shè)了“主流價值語料庫”,，為人工智能大模型提供安全語料支撐,、知識增強(qiáng)服務(wù)，助力各類機(jī)構(gòu)研發(fā)的人工智能系統(tǒng)提升意識形態(tài)安全水平,?！吧墒紸I是當(dāng)代的重大科技創(chuàng)新,，將催生新產(chǎn)業(yè)、新模式,、新動能,，是發(fā)展新質(zhì)生產(chǎn)力的核心要素。要以全球視野進(jìn)行謀劃和發(fā)展,，爭取在人工智能時代躋身世界前列,，為實(shí)現(xiàn)科技強(qiáng)國夢和民族偉大復(fù)興作出更大貢獻(xiàn)?！蹦吖饽险f,。以下為演講全文：女士們、先生們：大家下午好!很高興參加第二屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會,。由人工智能引領(lǐng)的新一輪科技革命和產(chǎn)業(yè)變革在全球范圍內(nèi)蓬勃興起,當(dāng)前世界各國都在做出重大部署,，將人工智能領(lǐng)域作為提升國家競爭力的科創(chuàng)高地。不久前以ChatGPT為代表的大模型揭開了了生成式AI發(fā)展的新篇章,，雖然我們還很難預(yù)測其今后的具體發(fā)展途徑,，但是它肯定會對人類社會產(chǎn)生巨大的影響，我們必須直面應(yīng)對,，迎接相應(yīng)的機(jī)遇和挑戰(zhàn),。首先我們應(yīng)當(dāng)看到，在生成式AI的基礎(chǔ)研究與人才方面,，我們與西方國家仍有顯著的差距,，為此，我們應(yīng)當(dāng)思考如何在基礎(chǔ)大模型研發(fā)上趕上去,，同時,，要思考未來在教育模式上的改變，要面向新產(chǎn)業(yè),、新模式,、新業(yè)態(tài)，發(fā)展新的人才培養(yǎng)方式和標(biāo)準(zhǔn)?，F(xiàn)在生成式AI的應(yīng)用還剛起步,，中國在人工智能市場和應(yīng)用場景上有很大的潛力，當(dāng)下應(yīng)當(dāng)狠抓應(yīng)用,，以此促進(jìn)基礎(chǔ)大模型及AI算力的發(fā)展,。目前我國很多企業(yè)和機(jī)構(gòu)正在許多垂直領(lǐng)域和應(yīng)用場景的中小模型方面發(fā)力，這是值得鼓勵和支持的,。生成式AI現(xiàn)正處在發(fā)展初期,，大模型的增強(qiáng)技術(shù)還有很大的發(fā)展空間。例如RAG技術(shù)，即運(yùn)用檢索獲得的精準(zhǔn)結(jié)果來提升大模型響應(yīng)的專業(yè)性和準(zhǔn)確性,，這一技術(shù)已得到業(yè)界的普遍認(rèn)可,。再例如精準(zhǔn)算法增強(qiáng)也很有前景。最近發(fā)表的文生視頻Sora系統(tǒng)引人注目,，它通過輸入提示詞,，可輸出對應(yīng)的視頻。然而Sora目前還無法準(zhǔn)確模擬復(fù)雜場景的物理特性,，也無法理解實(shí)體之間的因果關(guān)系,。如在Sora生成的果汁潑濺視頻中，實(shí)體有兩個穩(wěn)定狀態(tài),，一個是水杯直立的狀態(tài),，另一個是果汁已經(jīng)潑濺出來的狀態(tài)。但是最為復(fù)雜的物理狀態(tài),，即果汁從杯中流灑出來的過程卻沒有生成出來,。顯然，要做到這一步需要將眾多科學(xué)定律,、工業(yè)軟件和計(jì)算能力等等與大模型融合起來,，這是很有挑戰(zhàn)性的工作。顯然,，圍繞大模型發(fā)展各種增強(qiáng)技術(shù)是很有意義,、很有前途的。應(yīng)當(dāng)指出,，生成式AI還存在很多問題值得我們深入思考,，例如在可解釋、透明,、公平,、合法、安全等等方面,，都需要認(rèn)真研究,，而且這些問題在短期內(nèi)不可能都完全徹底地解決，為此,，需要采取一些迅速有效的舉措,，以保障人們可以盡可能安全有效地應(yīng)用生成式AI。建議終端廠商在各種終端上加上“AI代理”軟件,，這個軟件類似于終端上已經(jīng)普遍使用的“管家”,、“助手”這類小工具，不過要將這類小工具的功能擴(kuò)展到監(jiān)控生成式AI的應(yīng)用方面,。例如：是否調(diào)用某個大模型,，是否采用大模型給出的特定響應(yīng),，如何將大模型與終端上的小模型融合起來……鑒于“AI代理”的能力遠(yuǎn)遠(yuǎn)超過了常規(guī)小工具，它當(dāng)然可以包含并提升這些小工具的原有功能,，從而將終端的運(yùn)維、升級,、安全防護(hù)等等功能都擔(dān)當(dāng)起來,。在技術(shù)架構(gòu)上，它可以處于系統(tǒng)的最底層,，取得終端的最高權(quán)限,，而將原先的OS作為宿主OS。這里,，對它冠以“AI代理”的名稱,，意味著它可以代理終端所有者對終端實(shí)施管控，在身份,、價值觀,、愛好、習(xí)慣等等方面都可以代理終端所有者,。我看到國內(nèi)有的終端已經(jīng)裝備了“AI助手”(例如榮耀的魔法OS 8.0),，使終端設(shè)備更智能、更有效率,，更人性化和個性化,。如上述工具加以延伸和擴(kuò)展，就可以演進(jìn)成“AI代理”,，將AI應(yīng)用融入終端設(shè)備當(dāng)中 ,。這里我還要強(qiáng)調(diào)一下對生成式AI系統(tǒng)及其所提供結(jié)論是否應(yīng)當(dāng)引入“價值觀”傾向的概念，因?yàn)橛卸喾N途徑可以導(dǎo)致這類系統(tǒng)帶有傾向,，包括：訓(xùn)練時所使用的大數(shù)據(jù)集合,；依靠人類反饋進(jìn)行增強(qiáng)訓(xùn)練時所采用的獎懲規(guī)則；算法中的某些環(huán)節(jié)或者運(yùn)行中施加的某種干預(yù),；使用交互中對其進(jìn)行的誘導(dǎo)等等,。既然有傾向，當(dāng)然也可以實(shí)行評估,。如同為了保障信息安全,，可由權(quán)威測評機(jī)構(gòu)進(jìn)行相應(yīng)的安全測評那樣，對于AI產(chǎn)品和服務(wù),，為了保障倫理安全,，也可引入相應(yīng)的測評機(jī)制?？捎蓹?quán)威機(jī)構(gòu)按照“主流價值觀”的要求,，對生成式AI的產(chǎn)品和服務(wù)進(jìn)行相應(yīng)的價值觀測評,，以幫助用戶選取適合的對象。綜上所述,，生成式AI是當(dāng)代的重大科技創(chuàng)新,，它將催生新產(chǎn)業(yè)、新模式,、新動能,，是發(fā)展新質(zhì)生產(chǎn)力的核心要素。我們要以全球視野進(jìn)行謀劃和發(fā)展,，爭取在人工智能時代躋身于世界前列,，為實(shí)現(xiàn)科技強(qiáng)國的夢想和民族偉大復(fù)興作出更大的貢獻(xiàn)。