人工智能作為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動力之一,，正迅速改變經(jīng)濟,、社會等各領(lǐng)域,。我國具有人工智能高質(zhì)量發(fā)展的優(yōu)越條件，為人工智能高水平安全奠定堅實基礎(chǔ),，同時也對高水平安全治理提出更高要求,。未來，需要持續(xù)跟蹤人工智能技術(shù),、應(yīng)用和安全的發(fā)展趨勢,，不斷完善安全治理框架與路徑，站在落實國家戰(zhàn)略,、維護國家利益,、保障國家安全角度，積極促進人工智能高水平安全與高質(zhì)量發(fā)展的良性互動,，加快人工智能的高質(zhì)量發(fā)展,。近年來，我國在人工智能領(lǐng)域迎來多重發(fā)展機遇,，涵蓋政策、產(chǎn)業(yè),、技術(shù)以及國際合作等多個關(guān)鍵維度,，展現(xiàn)高質(zhì)量發(fā)展的強勁勢頭。例如,，戰(zhàn)略布局與政策支持,。國家高度重視人工智能發(fā)展，將其作為經(jīng)濟轉(zhuǎn)型升級重要引擎,。2017年,，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》明確戰(zhàn)略目標和重點任務(wù)。2021年起,，國家網(wǎng)信辦牽頭出臺《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法規(guī),，規(guī)范人工智能重點應(yīng)用。2023年，七部委發(fā)布全球首部生成式人工智能法規(guī)《生成式人工智能服務(wù)管理暫行辦法》,，為創(chuàng)新發(fā)展提供法治保障,。2024年和2025年的《政府工作報告》均對“人工智能+”作出部署和安排。地方層面,，北京,、上海、深圳等地紛紛出臺政策推動人工智能產(chǎn)業(yè)發(fā)展,。如北京發(fā)布《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實施方案（2023-2025年）》,。上海出臺《上海市推動人工智能大模型創(chuàng)新發(fā)展若干措施（2023-2025年）》，打造徐匯,、浦東產(chǎn)業(yè)生態(tài)集聚區(qū),，構(gòu)建全產(chǎn)業(yè)鏈；出臺《關(guān)于人工智能“模塑申城”的實施方案》,，推動大模型在“5+6”重點行業(yè),、領(lǐng)域落地應(yīng)用。各地相繼出臺了推動“人工智能+”行動的實施方案,。目前,，我國已形成完整的人工智能產(chǎn)業(yè)鏈，涵蓋算法,、芯片,、語料、智能軟硬件開發(fā)及行業(yè)應(yīng)用等環(huán)節(jié),。北京,、上海、深圳等地積極建設(shè)人工智能產(chǎn)業(yè)高地,，涌現(xiàn)出一批領(lǐng)軍企業(yè)和獨角獸企業(yè),。我國還擁有多個國家級實驗室、研發(fā)平臺等科研機構(gòu),，以及清華,、復(fù)旦等頂尖高校，匯聚高端人才,，開展前沿研究,，為產(chǎn)業(yè)發(fā)展提供技術(shù)支持。與此同時,，人工智能發(fā)展也面臨著不容忽視的風險與挑戰(zhàn),，可以從微觀、中觀,、宏觀三個層面進行分析,。微觀層面：存在技術(shù),、倫理等風險。在技術(shù)層面上,，大模型面臨的數(shù)據(jù)與模型問題突出,，包括但不限于訓練數(shù)據(jù)不足或代表性不佳，可能導致模型生成內(nèi)容出現(xiàn)偏差,。模型可能因過擬合,、缺乏上下文理解或偏離目標，生成錯誤,、不合理的內(nèi)容,，即“機器幻覺”。這些技術(shù)缺陷,，影響生成內(nèi)容的真實性（謠言）,、可靠性（業(yè)務(wù)準確性）和適當性（違法和不良信息）。同時,，人工智能系統(tǒng)的供應(yīng)鏈中各環(huán)節(jié)存在潛在風險,，可能被惡意利用，引發(fā)網(wǎng)絡(luò)安全問題或造成個人信息泄露,；大模型降低了情報分析成本,，可能帶來涉及國家安全、商業(yè)機密泄露等數(shù)據(jù)安全風險,。從倫理角度看,，隨著人工智能技術(shù)發(fā)展和應(yīng)用，未來可能會模糊人機界限,，挑戰(zhàn)人的主體性和自主性,。數(shù)據(jù)或算法偏見通過模型訓練被放大，可能導致生成內(nèi)容存在偏見,、侵犯用戶隱私,，或因算法損害用戶權(quán)益，可能降低公眾對技術(shù)的信任度,。中觀層面：產(chǎn)業(yè)發(fā)展和生態(tài)培育存在突破難點,。創(chuàng)業(yè)型基模企業(yè)訓練投入大、行業(yè)落地慢,、商業(yè)化路徑不明晰、融資不穩(wěn)定,。垂域模型企業(yè)核心競爭力不足,、行業(yè)競爭激烈。大模型在重點行業(yè)落地中面臨一些挑戰(zhàn),，如行業(yè)落地應(yīng)用尚需深入（如數(shù)據(jù)治理成效不佳影響模型落地）,，醫(yī)療,、金融等重點行業(yè)有較高的業(yè)務(wù)專業(yè)性和安全要求，產(chǎn)業(yè)鏈協(xié)同需進一步加強,，供需雙方認知有誤解等,，需推動解決。人工智能企業(yè),、重點行業(yè)對大模型安全評估,、數(shù)據(jù)治理、運行安全等合規(guī)指導仍有較大需求,。人才和產(chǎn)業(yè)聚集度方面,，基礎(chǔ)研究、核心突破人才儲備需進一步加強,；產(chǎn)學研合作需進一步提升深度和廣度,。能否在大模型領(lǐng)域?qū)崿F(xiàn)從0到100的全鏈創(chuàng)新、孵化,、規(guī)模性產(chǎn)業(yè)化,，需要持續(xù)培育生態(tài)。宏觀層面：復(fù)雜國際環(huán)境和國內(nèi)接受度的壓力,。復(fù)雜國際大環(huán)境下,，技術(shù)封鎖與貿(mào)易摩擦使高性能算力芯片和關(guān)鍵技術(shù)獲取受阻，國際競爭加劇增加應(yīng)用與市場的拓展難度,。從國內(nèi)應(yīng)用現(xiàn)狀來看,，社會信任和接受度方面，公眾對人工智能技術(shù)的可靠性與安全性尚存疑,，尤其對醫(yī)療,、金融等領(lǐng)域應(yīng)用持審慎態(tài)度。無論是微觀層面的風險,，中觀層面的難點,，還是宏觀層面的壓力，都亟待各方協(xié)同應(yīng)對,，以實現(xiàn)人工智能安全,、穩(wěn)健且可持續(xù)發(fā)展。應(yīng)堅持問題導向,，在治理模式上積極探索并實踐“六個轉(zhuǎn)變”,，逐步實現(xiàn)高水平安全與高質(zhì)量發(fā)展的良性互動。一是從“政府主導”邁向“多元共治”,，轉(zhuǎn)變主體,，凝聚合力。要積極構(gòu)建政府,、企業(yè),、科研機構(gòu),、行業(yè)組織和公眾多方參與的協(xié)同治理格局。網(wǎng)信部門發(fā)揮引領(lǐng)作用,，制定政策與規(guī)則,，搭建平臺，牽頭建立人工智能安全治理體系,。主管部門在管行業(yè)的同時管安全,，促進行業(yè)高質(zhì)量應(yīng)用和業(yè)務(wù)合規(guī)管理并舉；企業(yè)履行主體責任,，強化自律和能力建設(shè),，加強技術(shù)和應(yīng)用創(chuàng)新，賦能千行百業(yè),；重點科研機構(gòu),、高校、測評機構(gòu)等貢獻技術(shù)智慧,，建設(shè)人工智能安全測評體系,，提供公共安全供給；人工智能行業(yè)協(xié)會,、互聯(lián)網(wǎng)業(yè)聯(lián)合會等行業(yè)組織發(fā)揮紐帶監(jiān)督功能,，促進行業(yè)規(guī)范，加強交流與合作,；鼓勵公眾積極參與監(jiān)督與建言,，舉報不良情況，形成全民治理氛圍,。此外,，主動投身國際人工智能治理進程，用好世界人工智能大會等平臺,，提升中國在全球人工智能治理中的影響力,，攜手共建國際安全治理網(wǎng)絡(luò)。二是從“單一管理”到“系統(tǒng)治理”,，轉(zhuǎn)變體系,，統(tǒng)籌全局。人工智能安全涉及內(nèi)容安全,、網(wǎng)絡(luò)安全,、數(shù)據(jù)安全各層面和技術(shù)、法律,、倫理多維度,，與經(jīng)濟、文化,、社會,、公共衛(wèi)生等各領(lǐng)域相關(guān)，需加強頂層設(shè)計,，強化系統(tǒng)治理,。支持企業(yè)在合法合規(guī)軌道上，突破新的技術(shù)路徑,，探索新商業(yè)模式,；優(yōu)化政策環(huán)境，提供產(chǎn)業(yè)和生態(tài)基金扶持,，助力創(chuàng)業(yè)企業(yè)跨越發(fā)展“溝壑”,；推動加強科研成果轉(zhuǎn)化落地。強化各類人才引育和匯聚,，提升行業(yè)整體技術(shù)與創(chuàng)新水平,，為可持續(xù)發(fā)展注入“源動力”。針對黨政機關(guān),、重點行業(yè)及企事業(yè)單位的高層,、業(yè)務(wù)和技術(shù)人員，開展多層面針對性培訓,，正確理解人工智能的“能”與“不能”,，為使用和管理夯實基礎(chǔ)。通過媒體,、網(wǎng)絡(luò),、社區(qū)等渠道加強科普宣傳和培訓，增強公眾理解,、提高應(yīng)用能力,。加強安全教育，防范潛在風險,，營造健康安全的社會環(huán)境,。三是從“技術(shù)至上”到“負責任創(chuàng)新”，轉(zhuǎn)變導向,，以人為本,。加強算法備案和算法機理機制公示公開，督導各類算法服務(wù)平臺保障所有用戶的知情權(quán),、選擇權(quán),、關(guān)閉權(quán)、個人信息刪除權(quán),；推動個性化推薦算法增加信息提供的多樣性,、提升正能量內(nèi)容精準有效的觸達率；促進調(diào)度決策類算法盡可能公平公正地保障勞動者和消費者的權(quán)益,；根據(jù)未成年人,、老年人的特點,，促進算法保護特殊群體的權(quán)益，推動算法向上向善,。推動相關(guān)主體在技術(shù)創(chuàng)新過程中充分考慮倫理,、社會影響和可持續(xù)性等問題。指導組建人工智能倫理委員會和行業(yè)倫理委員會,，制定發(fā)布契合時代,、技術(shù)發(fā)展和行業(yè)特點的倫理指南，防范濫用惡用,，引領(lǐng)技術(shù)以人為本,、智能向善，造福人民,、保障公民權(quán)益,。四是從“事后應(yīng)對”轉(zhuǎn)向“事前預(yù)防”，轉(zhuǎn)變理念,，關(guān)口前移,。在法律法規(guī)的大框架下，網(wǎng)信等部門牽頭制定人工智能安全監(jiān)管制度,，推動安全關(guān)口前移,。對具有輿論屬性或社會動員能力的模型或服務(wù)，明確安全評估,、算法備案等合規(guī)流程,，提升模型安全性、算法透明度,，提升公眾的信任度,。指導企業(yè)深化安全自評估，監(jiān)管部門組織專業(yè)機構(gòu)開展安全測試,，確保模型在向公眾提供服務(wù)前風險基本可控,。當好安全治理知識的學習者、匯聚者,、傳播者,，點面結(jié)合，持續(xù)深化人工智能安全框架,、技術(shù)方法,、實踐經(jīng)驗的交流和專業(yè)供給，逐步提升行業(yè)的安全意識與能力,。指導企業(yè)強化“三同步”,，建立健全符合人工智能系統(tǒng)研發(fā)和應(yīng)用特點的網(wǎng)絡(luò)安全和數(shù)據(jù)安全管理制度，加強個人信息保護，保障數(shù)據(jù)全生命周期安全,。各層面探索智能化的風險預(yù)警,，提升實時監(jiān)測與精準評估能力，及時發(fā)現(xiàn)潛在安全風險,。指導企業(yè)建立可實操,、應(yīng)對各類風險的應(yīng)急預(yù)案，定期演練,，提升快速響應(yīng)與處置突發(fā)事件能力，將風險影響控制在最小范圍,。五是從“靜態(tài)安全”進階“動態(tài)安全”,，轉(zhuǎn)變策略，契合創(chuàng)新,。依托持續(xù)監(jiān)測與評估機制,，定期復(fù)盤、動態(tài)調(diào)整安全措施,，使其契合現(xiàn)實需求,。例如，在重大活動保障期間,，服務(wù)主體需提高安全閾值,、加大安全投入，守牢安全底線,；監(jiān)管部門加強專項監(jiān)測與監(jiān)督管理,。同時，動態(tài)安全需要具備一定的預(yù)見性和靈活性,，能應(yīng)對未來可能出現(xiàn)的新風險,。指導模型企業(yè)強化內(nèi)容安全能力，結(jié)合企業(yè),、模型,、應(yīng)用特點，在語料,、模型,、輸入輸出各層面，嚴防違法,、虛假信息生成傳播,。防范排序精選、個性化推送算法操縱輿論和純流量導向,，守護網(wǎng)絡(luò)空間風清氣正,。針對未依法開展安全評估、出現(xiàn)較大風險的，依法予以處置處罰,，堅決守牢安全底線,。在嚴守安全底線的前提下，為技術(shù)創(chuàng)新預(yù)留一些“彈性空間”,，激發(fā)創(chuàng)新活力,、驅(qū)動產(chǎn)業(yè)升級；借助科學管理手段和技術(shù)創(chuàng)新,，深化敏捷治理,，保障安全與社會穩(wěn)定。六是從“傳統(tǒng)治理”升級“智能治理”,，轉(zhuǎn)變方法,，賦能安全。支持科研機構(gòu),、高校,、有能力的企業(yè)，持續(xù)加大對算法,、架構(gòu)創(chuàng)新,、安全對齊、芯片等核心技術(shù)研發(fā)投入,，突破技術(shù)瓶頸,，筑牢安全基礎(chǔ)。推進人工智能安全技術(shù)標準化進程,，構(gòu)建自主可控技術(shù)體系,。堅持極限思維，加快技術(shù)自主創(chuàng)新,、供應(yīng)鏈安全可控,，提升人工智能的宏觀安全。匯聚專業(yè)力量,，搭建集成安全測評,、技術(shù)咨詢、安全能力等多元功能的安全公共服務(wù)平臺,，為行業(yè)整體安全能力提升賦能,。激勵企業(yè)、科研機構(gòu)等開展安全技術(shù)研發(fā)應(yīng)用,，形成創(chuàng)新“生態(tài)群”,，為安全治理注入持久動力。（施敏 楊海軍 作者單位：上海市互聯(lián)網(wǎng)信息辦公室）來源：光明網(wǎng)