人工智能作為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動力之一，正迅速改變經(jīng)濟,、社會等各領(lǐng)域。我國具有人工智能高質(zhì)量發(fā)展的優(yōu)越條件，為人工智能高水平安全奠定堅實基礎(chǔ),，同時也對高水平安全治理提出更高要求,。未來，需要持續(xù)跟蹤人工智能技術(shù),、應(yīng)用和安全的發(fā)展趨勢,，不斷完善安全治理框架與路徑，站在落實國家戰(zhàn)略,、維護國家利益,、保障國家安全角度,，積極促進人工智能高水平安全與高質(zhì)量發(fā)展的良性互動，加快人工智能的高質(zhì)量發(fā)展,。近年來,，我國在人工智能領(lǐng)域迎來多重發(fā)展機遇，涵蓋政策,、產(chǎn)業(yè),、技術(shù)以及國際合作等多個關(guān)鍵維度，展現(xiàn)高質(zhì)量發(fā)展的強勁勢頭,。例如,，戰(zhàn)略布局與政策支持。國家高度重視人工智能發(fā)展,，將其作為經(jīng)濟轉(zhuǎn)型升級重要引擎,。2017年，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》明確戰(zhàn)略目標(biāo)和重點任務(wù),。2021年起,，國家網(wǎng)信辦牽頭出臺《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法規(guī)，規(guī)范人工智能重點應(yīng)用,。2023年,，七部委發(fā)布全球首部生成式人工智能法規(guī)《生成式人工智能服務(wù)管理暫行辦法》，為創(chuàng)新發(fā)展提供法治保障,。2024年和2025年的《政府工作報告》均對“人工智能+”作出部署和安排,。地方層面，北京,、上海,、深圳等地紛紛出臺政策推動人工智能產(chǎn)業(yè)發(fā)展。如北京發(fā)布《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實施方案（2023-2025年）》,。上海出臺《上海市推動人工智能大模型創(chuàng)新發(fā)展若干措施（2023-2025年）》,，打造徐匯、浦東產(chǎn)業(yè)生態(tài)集聚區(qū),，構(gòu)建全產(chǎn)業(yè)鏈,；出臺《關(guān)于人工智能“模塑申城”的實施方案》，推動大模型在“5+6”重點行業(yè),、領(lǐng)域落地應(yīng)用。各地相繼出臺了推動“人工智能+”行動的實施方案,。目前,，我國已形成完整的人工智能產(chǎn)業(yè)鏈，涵蓋算法,、芯片,、語料,、智能軟硬件開發(fā)及行業(yè)應(yīng)用等環(huán)節(jié)。北京,、上海,、深圳等地積極建設(shè)人工智能產(chǎn)業(yè)高地，涌現(xiàn)出一批領(lǐng)軍企業(yè)和獨角獸企業(yè),。我國還擁有多個國家級實驗室,、研發(fā)平臺等科研機構(gòu)，以及清華,、復(fù)旦等頂尖高校,，匯聚高端人才，開展前沿研究,，為產(chǎn)業(yè)發(fā)展提供技術(shù)支持,。與此同時，人工智能發(fā)展也面臨著不容忽視的風(fēng)險與挑戰(zhàn),，可以從微觀,、中觀、宏觀三個層面進行分析,。微觀層面：存在技術(shù),、倫理等風(fēng)險。在技術(shù)層面上,，大模型面臨的數(shù)據(jù)與模型問題突出,，包括但不限于訓(xùn)練數(shù)據(jù)不足或代表性不佳，可能導(dǎo)致模型生成內(nèi)容出現(xiàn)偏差,。模型可能因過擬合,、缺乏上下文理解或偏離目標(biāo)，生成錯誤,、不合理的內(nèi)容,，即“機器幻覺”。這些技術(shù)缺陷,，影響生成內(nèi)容的真實性（謠言）,、可靠性（業(yè)務(wù)準(zhǔn)確性）和適當(dāng)性（違法和不良信息）。同時,，人工智能系統(tǒng)的供應(yīng)鏈中各環(huán)節(jié)存在潛在風(fēng)險,，可能被惡意利用，引發(fā)網(wǎng)絡(luò)安全問題或造成個人信息泄露,；大模型降低了情報分析成本,，可能帶來涉及國家安全、商業(yè)機密泄露等數(shù)據(jù)安全風(fēng)險,。從倫理角度看,，隨著人工智能技術(shù)發(fā)展和應(yīng)用,，未來可能會模糊人機界限，挑戰(zhàn)人的主體性和自主性,。數(shù)據(jù)或算法偏見通過模型訓(xùn)練被放大,，可能導(dǎo)致生成內(nèi)容存在偏見、侵犯用戶隱私,，或因算法損害用戶權(quán)益,，可能降低公眾對技術(shù)的信任度。中觀層面：產(chǎn)業(yè)發(fā)展和生態(tài)培育存在突破難點,。創(chuàng)業(yè)型基模企業(yè)訓(xùn)練投入大,、行業(yè)落地慢、商業(yè)化路徑不明晰,、融資不穩(wěn)定,。垂域模型企業(yè)核心競爭力不足、行業(yè)競爭激烈,。大模型在重點行業(yè)落地中面臨一些挑戰(zhàn),，如行業(yè)落地應(yīng)用尚需深入（如數(shù)據(jù)治理成效不佳影響模型落地），醫(yī)療,、金融等重點行業(yè)有較高的業(yè)務(wù)專業(yè)性和安全要求,，產(chǎn)業(yè)鏈協(xié)同需進一步加強，供需雙方認(rèn)知有誤解等,，需推動解決,。人工智能企業(yè)、重點行業(yè)對大模型安全評估,、數(shù)據(jù)治理,、運行安全等合規(guī)指導(dǎo)仍有較大需求。人才和產(chǎn)業(yè)聚集度方面,，基礎(chǔ)研究,、核心突破人才儲備需進一步加強；產(chǎn)學(xué)研合作需進一步提升深度和廣度,。能否在大模型領(lǐng)域?qū)崿F(xiàn)從0到100的全鏈創(chuàng)新,、孵化、規(guī)模性產(chǎn)業(yè)化,，需要持續(xù)培育生態(tài),。宏觀層面：復(fù)雜國際環(huán)境和國內(nèi)接受度的壓力。復(fù)雜國際大環(huán)境下,，技術(shù)封鎖與貿(mào)易摩擦使高性能算力芯片和關(guān)鍵技術(shù)獲取受阻,，國際競爭加劇增加應(yīng)用與市場的拓展難度。從國內(nèi)應(yīng)用現(xiàn)狀來看,，社會信任和接受度方面,，公眾對人工智能技術(shù)的可靠性與安全性尚存疑，尤其對醫(yī)療,、金融等領(lǐng)域應(yīng)用持審慎態(tài)度,。無論是微觀層面的風(fēng)險，中觀層面的難點,，還是宏觀層面的壓力,，都亟待各方協(xié)同應(yīng)對，以實現(xiàn)人工智能安全,、穩(wěn)健且可持續(xù)發(fā)展,。應(yīng)堅持問題導(dǎo)向，在治理模式上積極探索并實踐“六個轉(zhuǎn)變”,，逐步實現(xiàn)高水平安全與高質(zhì)量發(fā)展的良性互動,。一是從“政府主導(dǎo)”邁向“多元共治”，轉(zhuǎn)變主體,，凝聚合力,。要積極構(gòu)建政府、企業(yè),、科研機構(gòu),、行業(yè)組織和公眾多方參與的協(xié)同治理格局。網(wǎng)信部門發(fā)揮引領(lǐng)作用,，制定政策與規(guī)則,，搭建平臺，牽頭建立人工智能安全治理體系,。主管部門在管行業(yè)的同時管安全,，促進行業(yè)高質(zhì)量應(yīng)用和業(yè)務(wù)合規(guī)管理并舉；企業(yè)履行主體責(zé)任,，強化自律和能力建設(shè),，加強技術(shù)和應(yīng)用創(chuàng)新，賦能千行百業(yè),；重點科研機構(gòu),、高校、測評機構(gòu)等貢獻技術(shù)智慧,，建設(shè)人工智能安全測評體系,，提供公共安全供給；人工智能行業(yè)協(xié)會,、互聯(lián)網(wǎng)業(yè)聯(lián)合會等行業(yè)組織發(fā)揮紐帶監(jiān)督功能,，促進行業(yè)規(guī)范，加強交流與合作；鼓勵公眾積極參與監(jiān)督與建言,，舉報不良情況,，形成全民治理氛圍。此外,，主動投身國際人工智能治理進程,，用好世界人工智能大會等平臺，提升中國在全球人工智能治理中的影響力,，攜手共建國際安全治理網(wǎng)絡(luò),。二是從“單一管理”到“系統(tǒng)治理”，轉(zhuǎn)變體系,，統(tǒng)籌全局,。人工智能安全涉及內(nèi)容安全、網(wǎng)絡(luò)安全,、數(shù)據(jù)安全各層面和技術(shù),、法律、倫理多維度,，與經(jīng)濟,、文化、社會,、公共衛(wèi)生等各領(lǐng)域相關(guān),，需加強頂層設(shè)計，強化系統(tǒng)治理,。支持企業(yè)在合法合規(guī)軌道上,，突破新的技術(shù)路徑，探索新商業(yè)模式,；優(yōu)化政策環(huán)境,，提供產(chǎn)業(yè)和生態(tài)基金扶持，助力創(chuàng)業(yè)企業(yè)跨越發(fā)展“溝壑”,；推動加強科研成果轉(zhuǎn)化落地,。強化各類人才引育和匯聚，提升行業(yè)整體技術(shù)與創(chuàng)新水平,，為可持續(xù)發(fā)展注入“源動力”,。針對黨政機關(guān)、重點行業(yè)及企事業(yè)單位的高層,、業(yè)務(wù)和技術(shù)人員,，開展多層面針對性培訓(xùn)，正確理解人工智能的“能”與“不能”,，為使用和管理夯實基礎(chǔ),。通過媒體、網(wǎng)絡(luò)、社區(qū)等渠道加強科普宣傳和培訓(xùn),，增強公眾理解,、提高應(yīng)用能力。加強安全教育,，防范潛在風(fēng)險,，營造健康安全的社會環(huán)境。三是從“技術(shù)至上”到“負(fù)責(zé)任創(chuàng)新”,，轉(zhuǎn)變導(dǎo)向，以人為本,。加強算法備案和算法機理機制公示公開,，督導(dǎo)各類算法服務(wù)平臺保障所有用戶的知情權(quán)、選擇權(quán),、關(guān)閉權(quán),、個人信息刪除權(quán)；推動個性化推薦算法增加信息提供的多樣性,、提升正能量內(nèi)容精準(zhǔn)有效的觸達率,；促進調(diào)度決策類算法盡可能公平公正地保障勞動者和消費者的權(quán)益；根據(jù)未成年人,、老年人的特點,，促進算法保護特殊群體的權(quán)益，推動算法向上向善,。推動相關(guān)主體在技術(shù)創(chuàng)新過程中充分考慮倫理,、社會影響和可持續(xù)性等問題。指導(dǎo)組建人工智能倫理委員會和行業(yè)倫理委員會,，制定發(fā)布契合時代,、技術(shù)發(fā)展和行業(yè)特點的倫理指南，防范濫用惡用,，引領(lǐng)技術(shù)以人為本,、智能向善，造福人民,、保障公民權(quán)益,。四是從“事后應(yīng)對”轉(zhuǎn)向“事前預(yù)防”，轉(zhuǎn)變理念,，關(guān)口前移,。在法律法規(guī)的大框架下，網(wǎng)信等部門牽頭制定人工智能安全監(jiān)管制度,，推動安全關(guān)口前移,。對具有輿論屬性或社會動員能力的模型或服務(wù)，明確安全評估、算法備案等合規(guī)流程,，提升模型安全性,、算法透明度，提升公眾的信任度,。指導(dǎo)企業(yè)深化安全自評估,，監(jiān)管部門組織專業(yè)機構(gòu)開展安全測試，確保模型在向公眾提供服務(wù)前風(fēng)險基本可控,。當(dāng)好安全治理知識的學(xué)習(xí)者,、匯聚者、傳播者,，點面結(jié)合,，持續(xù)深化人工智能安全框架、技術(shù)方法,、實踐經(jīng)驗的交流和專業(yè)供給,，逐步提升行業(yè)的安全意識與能力。指導(dǎo)企業(yè)強化“三同步”,，建立健全符合人工智能系統(tǒng)研發(fā)和應(yīng)用特點的網(wǎng)絡(luò)安全和數(shù)據(jù)安全管理制度,，加強個人信息保護，保障數(shù)據(jù)全生命周期安全,。各層面探索智能化的風(fēng)險預(yù)警,，提升實時監(jiān)測與精準(zhǔn)評估能力，及時發(fā)現(xiàn)潛在安全風(fēng)險,。指導(dǎo)企業(yè)建立可實操,、應(yīng)對各類風(fēng)險的應(yīng)急預(yù)案，定期演練,，提升快速響應(yīng)與處置突發(fā)事件能力,，將風(fēng)險影響控制在最小范圍。五是從“靜態(tài)安全”進階“動態(tài)安全”,，轉(zhuǎn)變策略,，契合創(chuàng)新。依托持續(xù)監(jiān)測與評估機制,，定期復(fù)盤,、動態(tài)調(diào)整安全措施，使其契合現(xiàn)實需求,。例如,，在重大活動保障期間，服務(wù)主體需提高安全閾值,、加大安全投入,，守牢安全底線,；監(jiān)管部門加強專項監(jiān)測與監(jiān)督管理。同時,，動態(tài)安全需要具備一定的預(yù)見性和靈活性,，能應(yīng)對未來可能出現(xiàn)的新風(fēng)險。指導(dǎo)模型企業(yè)強化內(nèi)容安全能力,，結(jié)合企業(yè),、模型、應(yīng)用特點,，在語料,、模型、輸入輸出各層面,，嚴(yán)防違法,、虛假信息生成傳播。防范排序精選,、個性化推送算法操縱輿論和純流量導(dǎo)向，守護網(wǎng)絡(luò)空間風(fēng)清氣正,。針對未依法開展安全評估,、出現(xiàn)較大風(fēng)險的，依法予以處置處罰,，堅決守牢安全底線,。在嚴(yán)守安全底線的前提下，為技術(shù)創(chuàng)新預(yù)留一些“彈性空間”,，激發(fā)創(chuàng)新活力,、驅(qū)動產(chǎn)業(yè)升級；借助科學(xué)管理手段和技術(shù)創(chuàng)新,，深化敏捷治理,，保障安全與社會穩(wěn)定。六是從“傳統(tǒng)治理”升級“智能治理”,，轉(zhuǎn)變方法,，賦能安全。支持科研機構(gòu),、高校,、有能力的企業(yè)，持續(xù)加大對算法,、架構(gòu)創(chuàng)新,、安全對齊、芯片等核心技術(shù)研發(fā)投入,，突破技術(shù)瓶頸,，筑牢安全基礎(chǔ),。推進人工智能安全技術(shù)標(biāo)準(zhǔn)化進程，構(gòu)建自主可控技術(shù)體系,。堅持極限思維,，加快技術(shù)自主創(chuàng)新、供應(yīng)鏈安全可控,，提升人工智能的宏觀安全,。匯聚專業(yè)力量，搭建集成安全測評,、技術(shù)咨詢,、安全能力等多元功能的安全公共服務(wù)平臺，為行業(yè)整體安全能力提升賦能,。激勵企業(yè),、科研機構(gòu)等開展安全技術(shù)研發(fā)應(yīng)用，形成創(chuàng)新“生態(tài)群”,，為安全治理注入持久動力,。（施敏 楊海軍 作者單位：上海市互聯(lián)網(wǎng)信息辦公室）來源：光明網(wǎng)