人民網(wǎng)北京3月3日電 (記者申佳平)第二屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會日前在北京舉行。中國工程院院士倪光南在大會致辭中表示，中國在人工智能市場和應(yīng)用場景上潛力巨大,，當下一方面要搶抓發(fā)展機遇,，在垂直領(lǐng)域和應(yīng)用場景方面發(fā)力，另一方面要有針對性地思考和研究生成式AI存在的諸多問題,，統(tǒng)籌發(fā)展與安全,。倪光南認為，當前生成式AI正處在發(fā)展初期,，檢索增強生成(RAG),、精準算法增強等大模型增強技術(shù)仍有較大的發(fā)展空間。他以近日備受關(guān)注的文生視頻應(yīng)用Sora舉例指出,，盡管Sora系統(tǒng)通過輸入提示詞可輸出對應(yīng)的視頻,，但其目前還無法準確模擬復雜場景的物理特性，也無法理解實體之間的因果關(guān)系,。如,，在Sora生成的果汁潑濺視頻中，實體有兩個穩(wěn)定狀態(tài),，一個是水杯直立的狀態(tài),，另一個是果汁已經(jīng)潑濺出來的狀態(tài)。但是最為復雜的物理狀態(tài)，即果汁從杯中流灑出來的過程并沒有生成出來,?！耙龅竭@一步還需要將眾多科學定律、工業(yè)軟件和計算能力等與大模型融合,，很有挑戰(zhàn)性,。”倪光南表示,，目前我國很多企業(yè)和機構(gòu)正在許多垂直領(lǐng)域和應(yīng)用場景的中小模型方面發(fā)力,，值得鼓勵和支持。據(jù)悉,，倪光南院士曾于2019年11月至2023年12月,，擔任人民日報社主管、依托人民網(wǎng)建設(shè)的“傳播內(nèi)容認知全國重點實驗室”學術(shù)委員會主任,。該室驗室在生成式AI垂直應(yīng)用領(lǐng)域開展了積極探索,，其推出的“寫易”智能創(chuàng)作引擎，訓練之初就充分運用符合我國主流價值觀的數(shù)據(jù)集和語料庫,，內(nèi)容涵蓋政治,、經(jīng)濟、文化,、社會,、生態(tài)、黨建,、國防,、外交等重點領(lǐng)域，保障生成內(nèi)容安全,，著重為公務(wù)人員,、事業(yè)單位、國有企業(yè)提供優(yōu)質(zhì),、持續(xù)迭代的智能創(chuàng)作服務(wù),。“寫易”可基于標題生成觀點評論,、會議材料,、方案策劃等，目前已在多個黨政系統(tǒng)應(yīng)用,。倪光南坦言,，在可解釋、透明,、公平,、合法、安全等方面，生成式AI仍存在很多問題,，需要有針對性地進行深入思考和認真研究,，并采取一系列迅速有效的舉措，以保障安全有效地應(yīng)用生成AI,。他指出,，有多種途徑可“人為”影響生成式AI系統(tǒng)的“價值觀”傾向，包括：訓練時所使用的大數(shù)據(jù)集合,；依靠人類反饋進行增強訓練時所采用的獎懲規(guī)則,；算法中的某些環(huán)節(jié)或者運行中施加的某種干預(yù)；使用交互中對其進行的誘導等,。對于此類“價值觀”傾向,，建議由權(quán)威機構(gòu)按照“主流價值觀”的要求，對生成式AI的產(chǎn)品和服務(wù)進行相應(yīng)的價值觀測評,，以幫助用戶選取適合的對象,。據(jù)了解，傳播內(nèi)容認知全國重點實驗室針對大模型存在的意識形態(tài)風險,，于2023年3月研究建立了生成式大模型內(nèi)容安全測評技術(shù)體系,，對大模型的應(yīng)答內(nèi)容,，從政治方向,、輿論導向、價值取向,、倫理安全等10余個維度,，采用人機結(jié)合的方式進行綜合測評。與此同時,，人民網(wǎng)在對各人工智能大模型進行內(nèi)容安全測評的基礎(chǔ)上,，針對大模型普遍遇到的、自身難以克服的意識形態(tài)安全問題,，建設(shè)了“主流價值語料庫”,，為人工智能大模型提供安全語料支撐、知識增強服務(wù),，助力各類機構(gòu)研發(fā)的人工智能系統(tǒng)提升意識形態(tài)安全水平,。“生成式AI是當代的重大科技創(chuàng)新,，將催生新產(chǎn)業(yè),、新模式、新動能,，是發(fā)展新質(zhì)生產(chǎn)力的核心要素,。要以全球視野進行謀劃和發(fā)展，爭取在人工智能時代躋身世界前列，為實現(xiàn)科技強國夢和民族偉大復興作出更大貢獻,?！蹦吖饽险f。以下為演講全文：女士們,、先生們：大家下午好!很高興參加第二屆北京人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展大會,。由人工智能引領(lǐng)的新一輪科技革命和產(chǎn)業(yè)變革在全球范圍內(nèi)蓬勃興起,當前世界各國都在做出重大部署，將人工智能領(lǐng)域作為提升國家競爭力的科創(chuàng)高地,。不久前以ChatGPT為代表的大模型揭開了了生成式AI發(fā)展的新篇章,，雖然我們還很難預(yù)測其今后的具體發(fā)展途徑，但是它肯定會對人類社會產(chǎn)生巨大的影響,，我們必須直面應(yīng)對,，迎接相應(yīng)的機遇和挑戰(zhàn)。首先我們應(yīng)當看到,，在生成式AI的基礎(chǔ)研究與人才方面,，我們與西方國家仍有顯著的差距，為此,，我們應(yīng)當思考如何在基礎(chǔ)大模型研發(fā)上趕上去,，同時，要思考未來在教育模式上的改變,，要面向新產(chǎn)業(yè),、新模式、新業(yè)態(tài),，發(fā)展新的人才培養(yǎng)方式和標準?，F(xiàn)在生成式AI的應(yīng)用還剛起步，中國在人工智能市場和應(yīng)用場景上有很大的潛力,，當下應(yīng)當狠抓應(yīng)用,，以此促進基礎(chǔ)大模型及AI算力的發(fā)展。目前我國很多企業(yè)和機構(gòu)正在許多垂直領(lǐng)域和應(yīng)用場景的中小模型方面發(fā)力,，這是值得鼓勵和支持的,。生成式AI現(xiàn)正處在發(fā)展初期，大模型的增強技術(shù)還有很大的發(fā)展空間,。例如RAG技術(shù),，即運用檢索獲得的精準結(jié)果來提升大模型響應(yīng)的專業(yè)性和準確性，這一技術(shù)已得到業(yè)界的普遍認可,。再例如精準算法增強也很有前景,。最近發(fā)表的文生視頻Sora系統(tǒng)引人注目，它通過輸入提示詞,，可輸出對應(yīng)的視頻,。然而Sora目前還無法準確模擬復雜場景的物理特性,，也無法理解實體之間的因果關(guān)系。如在Sora生成的果汁潑濺視頻中,，實體有兩個穩(wěn)定狀態(tài),，一個是水杯直立的狀態(tài)，另一個是果汁已經(jīng)潑濺出來的狀態(tài),。但是最為復雜的物理狀態(tài),，即果汁從杯中流灑出來的過程卻沒有生成出來。顯然,，要做到這一步需要將眾多科學定律,、工業(yè)軟件和計算能力等等與大模型融合起來，這是很有挑戰(zhàn)性的工作,。顯然,，圍繞大模型發(fā)展各種增強技術(shù)是很有意義、很有前途的,。應(yīng)當指出,，生成式AI還存在很多問題值得我們深入思考，例如在可解釋,、透明,、公平、合法,、安全等等方面,，都需要認真研究，而且這些問題在短期內(nèi)不可能都完全徹底地解決,，為此,，需要采取一些迅速有效的舉措,，以保障人們可以盡可能安全有效地應(yīng)用生成式AI,。建議終端廠商在各種終端上加上“AI代理”軟件，這個軟件類似于終端上已經(jīng)普遍使用的“管家”,、“助手”這類小工具,，不過要將這類小工具的功能擴展到監(jiān)控生成式AI的應(yīng)用方面。例如：是否調(diào)用某個大模型,，是否采用大模型給出的特定響應(yīng),，如何將大模型與終端上的小模型融合起來……鑒于“AI代理”的能力遠遠超過了常規(guī)小工具，它當然可以包含并提升這些小工具的原有功能,，從而將終端的運維,、升級、安全防護等等功能都擔當起來,。在技術(shù)架構(gòu)上,，它可以處于系統(tǒng)的最底層,，取得終端的最高權(quán)限，而將原先的OS作為宿主OS,。這里,，對它冠以“AI代理”的名稱，意味著它可以代理終端所有者對終端實施管控,，在身份,、價值觀、愛好,、習慣等等方面都可以代理終端所有者,。我看到國內(nèi)有的終端已經(jīng)裝備了“AI助手”(例如榮耀的魔法OS 8.0)，使終端設(shè)備更智能,、更有效率,，更人性化和個性化。如上述工具加以延伸和擴展,，就可以演進成“AI代理”,，將AI應(yīng)用融入終端設(shè)備當中 。這里我還要強調(diào)一下對生成式AI系統(tǒng)及其所提供結(jié)論是否應(yīng)當引入“價值觀”傾向的概念,，因為有多種途徑可以導致這類系統(tǒng)帶有傾向,，包括：訓練時所使用的大數(shù)據(jù)集合；依靠人類反饋進行增強訓練時所采用的獎懲規(guī)則,；算法中的某些環(huán)節(jié)或者運行中施加的某種干預(yù),；使用交互中對其進行的誘導等等。既然有傾向,，當然也可以實行評估,。如同為了保障信息安全，可由權(quán)威測評機構(gòu)進行相應(yīng)的安全測評那樣,，對于AI產(chǎn)品和服務(wù),，為了保障倫理安全，也可引入相應(yīng)的測評機制,?？捎蓹?quán)威機構(gòu)按照“主流價值觀”的要求，對生成式AI的產(chǎn)品和服務(wù)進行相應(yīng)的價值觀測評,，以幫助用戶選取適合的對象,。綜上所述，生成式AI是當代的重大科技創(chuàng)新,，它將催生新產(chǎn)業(yè),、新模式、新動能,，是發(fā)展新質(zhì)生產(chǎn)力的核心要素,。我們要以全球視野進行謀劃和發(fā)展,，爭取在人工智能時代躋身于世界前列，為實現(xiàn)科技強國的夢想和民族偉大復興作出更大的貢獻,。