人工智能作為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力之一,，正迅速改變經(jīng)濟(jì)、社會(huì)等各領(lǐng)域,。我國具有人工智能高質(zhì)量發(fā)展的優(yōu)越條件,，為人工智能高水平安全奠定堅(jiān)實(shí)基礎(chǔ)，同時(shí)也對高水平安全治理提出更高要求,。未來,，需要持續(xù)跟蹤人工智能技術(shù)、應(yīng)用和安全的發(fā)展趨勢,，不斷完善安全治理框架與路徑,，站在落實(shí)國家戰(zhàn)略,、維護(hù)國家利益、保障國家安全角度,，積極促進(jìn)人工智能高水平安全與高質(zhì)量發(fā)展的良性互動(dòng),，加快人工智能的高質(zhì)量發(fā)展。近年來,，我國在人工智能領(lǐng)域迎來多重發(fā)展機(jī)遇,，涵蓋政策、產(chǎn)業(yè),、技術(shù)以及國際合作等多個(gè)關(guān)鍵維度,，展現(xiàn)高質(zhì)量發(fā)展的強(qiáng)勁勢頭。例如,，戰(zhàn)略布局與政策支持,。國家高度重視人工智能發(fā)展，將其作為經(jīng)濟(jì)轉(zhuǎn)型升級重要引擎,。2017年,，國務(wù)院發(fā)布《新一代人工智能發(fā)展規(guī)劃》明確戰(zhàn)略目標(biāo)和重點(diǎn)任務(wù)。2021年起,，國家網(wǎng)信辦牽頭出臺《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法規(guī),，規(guī)范人工智能重點(diǎn)應(yīng)用。2023年,，七部委發(fā)布全球首部生成式人工智能法規(guī)《生成式人工智能服務(wù)管理暫行辦法》,，為創(chuàng)新發(fā)展提供法治保障。2024年和2025年的《政府工作報(bào)告》均對“人工智能+”作出部署和安排,。地方層面,，北京、上海,、深圳等地紛紛出臺政策推動(dòng)人工智能產(chǎn)業(yè)發(fā)展,。如北京發(fā)布《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實(shí)施方案（2023-2025年）》。上海出臺《上海市推動(dòng)人工智能大模型創(chuàng)新發(fā)展若干措施（2023-2025年）》,，打造徐匯,、浦東產(chǎn)業(yè)生態(tài)集聚區(qū)，構(gòu)建全產(chǎn)業(yè)鏈,；出臺《關(guān)于人工智能“模塑申城”的實(shí)施方案》,，推動(dòng)大模型在“5+6”重點(diǎn)行業(yè)、領(lǐng)域落地應(yīng)用,。各地相繼出臺了推動(dòng)“人工智能+”行動(dòng)的實(shí)施方案,。目前，我國已形成完整的人工智能產(chǎn)業(yè)鏈，涵蓋算法,、芯片,、語料、智能軟硬件開發(fā)及行業(yè)應(yīng)用等環(huán)節(jié),。北京,、上海、深圳等地積極建設(shè)人工智能產(chǎn)業(yè)高地,，涌現(xiàn)出一批領(lǐng)軍企業(yè)和獨(dú)角獸企業(yè),。我國還擁有多個(gè)國家級實(shí)驗(yàn)室、研發(fā)平臺等科研機(jī)構(gòu),，以及清華,、復(fù)旦等頂尖高校，匯聚高端人才,，開展前沿研究,，為產(chǎn)業(yè)發(fā)展提供技術(shù)支持。與此同時(shí),，人工智能發(fā)展也面臨著不容忽視的風(fēng)險(xiǎn)與挑戰(zhàn),，可以從微觀、中觀,、宏觀三個(gè)層面進(jìn)行分析,。微觀層面：存在技術(shù)、倫理等風(fēng)險(xiǎn),。在技術(shù)層面上,，大模型面臨的數(shù)據(jù)與模型問題突出，包括但不限于訓(xùn)練數(shù)據(jù)不足或代表性不佳,，可能導(dǎo)致模型生成內(nèi)容出現(xiàn)偏差,。模型可能因過擬合、缺乏上下文理解或偏離目標(biāo),，生成錯(cuò)誤,、不合理的內(nèi)容，即“機(jī)器幻覺”,。這些技術(shù)缺陷,，影響生成內(nèi)容的真實(shí)性（謠言）、可靠性（業(yè)務(wù)準(zhǔn)確性）和適當(dāng)性（違法和不良信息）,。同時(shí)，人工智能系統(tǒng)的供應(yīng)鏈中各環(huán)節(jié)存在潛在風(fēng)險(xiǎn),，可能被惡意利用,，引發(fā)網(wǎng)絡(luò)安全問題或造成個(gè)人信息泄露；大模型降低了情報(bào)分析成本,，可能帶來涉及國家安全,、商業(yè)機(jī)密泄露等數(shù)據(jù)安全風(fēng)險(xiǎn),。從倫理角度看，隨著人工智能技術(shù)發(fā)展和應(yīng)用,，未來可能會(huì)模糊人機(jī)界限,，挑戰(zhàn)人的主體性和自主性。數(shù)據(jù)或算法偏見通過模型訓(xùn)練被放大,，可能導(dǎo)致生成內(nèi)容存在偏見,、侵犯用戶隱私，或因算法損害用戶權(quán)益,，可能降低公眾對技術(shù)的信任度,。中觀層面：產(chǎn)業(yè)發(fā)展和生態(tài)培育存在突破難點(diǎn)。創(chuàng)業(yè)型基模企業(yè)訓(xùn)練投入大,、行業(yè)落地慢,、商業(yè)化路徑不明晰、融資不穩(wěn)定,。垂域模型企業(yè)核心競爭力不足,、行業(yè)競爭激烈。大模型在重點(diǎn)行業(yè)落地中面臨一些挑戰(zhàn),，如行業(yè)落地應(yīng)用尚需深入（如數(shù)據(jù)治理成效不佳影響模型落地）,，醫(yī)療、金融等重點(diǎn)行業(yè)有較高的業(yè)務(wù)專業(yè)性和安全要求,，產(chǎn)業(yè)鏈協(xié)同需進(jìn)一步加強(qiáng),，供需雙方認(rèn)知有誤解等，需推動(dòng)解決,。人工智能企業(yè),、重點(diǎn)行業(yè)對大模型安全評估、數(shù)據(jù)治理,、運(yùn)行安全等合規(guī)指導(dǎo)仍有較大需求,。人才和產(chǎn)業(yè)聚集度方面，基礎(chǔ)研究,、核心突破人才儲備需進(jìn)一步加強(qiáng),；產(chǎn)學(xué)研合作需進(jìn)一步提升深度和廣度。能否在大模型領(lǐng)域?qū)崿F(xiàn)從0到100的全鏈創(chuàng)新,、孵化,、規(guī)模性產(chǎn)業(yè)化，需要持續(xù)培育生態(tài),。宏觀層面：復(fù)雜國際環(huán)境和國內(nèi)接受度的壓力,。復(fù)雜國際大環(huán)境下，技術(shù)封鎖與貿(mào)易摩擦使高性能算力芯片和關(guān)鍵技術(shù)獲取受阻，國際競爭加劇增加應(yīng)用與市場的拓展難度,。從國內(nèi)應(yīng)用現(xiàn)狀來看,，社會(huì)信任和接受度方面，公眾對人工智能技術(shù)的可靠性與安全性尚存疑,，尤其對醫(yī)療,、金融等領(lǐng)域應(yīng)用持審慎態(tài)度。無論是微觀層面的風(fēng)險(xiǎn),，中觀層面的難點(diǎn),，還是宏觀層面的壓力，都亟待各方協(xié)同應(yīng)對,，以實(shí)現(xiàn)人工智能安全,、穩(wěn)健且可持續(xù)發(fā)展。應(yīng)堅(jiān)持問題導(dǎo)向,，在治理模式上積極探索并實(shí)踐“六個(gè)轉(zhuǎn)變”,，逐步實(shí)現(xiàn)高水平安全與高質(zhì)量發(fā)展的良性互動(dòng)。一是從“政府主導(dǎo)”邁向“多元共治”,，轉(zhuǎn)變主體,，凝聚合力。要積極構(gòu)建政府,、企業(yè),、科研機(jī)構(gòu)、行業(yè)組織和公眾多方參與的協(xié)同治理格局,。網(wǎng)信部門發(fā)揮引領(lǐng)作用,，制定政策與規(guī)則，搭建平臺,，牽頭建立人工智能安全治理體系,。主管部門在管行業(yè)的同時(shí)管安全，促進(jìn)行業(yè)高質(zhì)量應(yīng)用和業(yè)務(wù)合規(guī)管理并舉,；企業(yè)履行主體責(zé)任,，強(qiáng)化自律和能力建設(shè)，加強(qiáng)技術(shù)和應(yīng)用創(chuàng)新,，賦能千行百業(yè),；重點(diǎn)科研機(jī)構(gòu)、高校,、測評機(jī)構(gòu)等貢獻(xiàn)技術(shù)智慧,，建設(shè)人工智能安全測評體系，提供公共安全供給,；人工智能行業(yè)協(xié)會(huì),、互聯(lián)網(wǎng)業(yè)聯(lián)合會(huì)等行業(yè)組織發(fā)揮紐帶監(jiān)督功能,，促進(jìn)行業(yè)規(guī)范,，加強(qiáng)交流與合作,；鼓勵(lì)公眾積極參與監(jiān)督與建言，舉報(bào)不良情況,，形成全民治理氛圍,。此外，主動(dòng)投身國際人工智能治理進(jìn)程,，用好世界人工智能大會(huì)等平臺,，提升中國在全球人工智能治理中的影響力，攜手共建國際安全治理網(wǎng)絡(luò),。二是從“單一管理”到“系統(tǒng)治理”,，轉(zhuǎn)變體系，統(tǒng)籌全局,。人工智能安全涉及內(nèi)容安全,、網(wǎng)絡(luò)安全、數(shù)據(jù)安全各層面和技術(shù),、法律,、倫理多維度，與經(jīng)濟(jì),、文化,、社會(huì)、公共衛(wèi)生等各領(lǐng)域相關(guān),，需加強(qiáng)頂層設(shè)計(jì),，強(qiáng)化系統(tǒng)治理。支持企業(yè)在合法合規(guī)軌道上,，突破新的技術(shù)路徑,，探索新商業(yè)模式；優(yōu)化政策環(huán)境,，提供產(chǎn)業(yè)和生態(tài)基金扶持,，助力創(chuàng)業(yè)企業(yè)跨越發(fā)展“溝壑”；推動(dòng)加強(qiáng)科研成果轉(zhuǎn)化落地,。強(qiáng)化各類人才引育和匯聚,，提升行業(yè)整體技術(shù)與創(chuàng)新水平，為可持續(xù)發(fā)展注入“源動(dòng)力”,。針對黨政機(jī)關(guān),、重點(diǎn)行業(yè)及企事業(yè)單位的高層、業(yè)務(wù)和技術(shù)人員,，開展多層面針對性培訓(xùn),，正確理解人工智能的“能”與“不能”,，為使用和管理夯實(shí)基礎(chǔ)。通過媒體,、網(wǎng)絡(luò),、社區(qū)等渠道加強(qiáng)科普宣傳和培訓(xùn)，增強(qiáng)公眾理解,、提高應(yīng)用能力,。加強(qiáng)安全教育，防范潛在風(fēng)險(xiǎn),，營造健康安全的社會(huì)環(huán)境,。三是從“技術(shù)至上”到“負(fù)責(zé)任創(chuàng)新”，轉(zhuǎn)變導(dǎo)向,，以人為本,。加強(qiáng)算法備案和算法機(jī)理機(jī)制公示公開，督導(dǎo)各類算法服務(wù)平臺保障所有用戶的知情權(quán),、選擇權(quán),、關(guān)閉權(quán)、個(gè)人信息刪除權(quán),；推動(dòng)個(gè)性化推薦算法增加信息提供的多樣性,、提升正能量內(nèi)容精準(zhǔn)有效的觸達(dá)率；促進(jìn)調(diào)度決策類算法盡可能公平公正地保障勞動(dòng)者和消費(fèi)者的權(quán)益,；根據(jù)未成年人,、老年人的特點(diǎn)，促進(jìn)算法保護(hù)特殊群體的權(quán)益,，推動(dòng)算法向上向善,。推動(dòng)相關(guān)主體在技術(shù)創(chuàng)新過程中充分考慮倫理、社會(huì)影響和可持續(xù)性等問題,。指導(dǎo)組建人工智能倫理委員會(huì)和行業(yè)倫理委員會(huì),，制定發(fā)布契合時(shí)代、技術(shù)發(fā)展和行業(yè)特點(diǎn)的倫理指南,，防范濫用惡用,，引領(lǐng)技術(shù)以人為本、智能向善,，造福人民,、保障公民權(quán)益。四是從“事后應(yīng)對”轉(zhuǎn)向“事前預(yù)防”,，轉(zhuǎn)變理念,，關(guān)口前移。在法律法規(guī)的大框架下,，網(wǎng)信等部門牽頭制定人工智能安全監(jiān)管制度,，推動(dòng)安全關(guān)口前移,。對具有輿論屬性或社會(huì)動(dòng)員能力的模型或服務(wù)，明確安全評估,、算法備案等合規(guī)流程,，提升模型安全性、算法透明度,，提升公眾的信任度,。指導(dǎo)企業(yè)深化安全自評估,，監(jiān)管部門組織專業(yè)機(jī)構(gòu)開展安全測試,，確保模型在向公眾提供服務(wù)前風(fēng)險(xiǎn)基本可控。當(dāng)好安全治理知識的學(xué)習(xí)者,、匯聚者,、傳播者，點(diǎn)面結(jié)合,，持續(xù)深化人工智能安全框架,、技術(shù)方法、實(shí)踐經(jīng)驗(yàn)的交流和專業(yè)供給,，逐步提升行業(yè)的安全意識與能力,。指導(dǎo)企業(yè)強(qiáng)化“三同步”，建立健全符合人工智能系統(tǒng)研發(fā)和應(yīng)用特點(diǎn)的網(wǎng)絡(luò)安全和數(shù)據(jù)安全管理制度,，加強(qiáng)個(gè)人信息保護(hù),，保障數(shù)據(jù)全生命周期安全。各層面探索智能化的風(fēng)險(xiǎn)預(yù)警,，提升實(shí)時(shí)監(jiān)測與精準(zhǔn)評估能力,，及時(shí)發(fā)現(xiàn)潛在安全風(fēng)險(xiǎn)。指導(dǎo)企業(yè)建立可實(shí)操,、應(yīng)對各類風(fēng)險(xiǎn)的應(yīng)急預(yù)案,，定期演練，提升快速響應(yīng)與處置突發(fā)事件能力,，將風(fēng)險(xiǎn)影響控制在最小范圍,。五是從“靜態(tài)安全”進(jìn)階“動(dòng)態(tài)安全”，轉(zhuǎn)變策略,，契合創(chuàng)新,。依托持續(xù)監(jiān)測與評估機(jī)制，定期復(fù)盤,、動(dòng)態(tài)調(diào)整安全措施,，使其契合現(xiàn)實(shí)需求。例如,，在重大活動(dòng)保障期間,，服務(wù)主體需提高安全閾值,、加大安全投入，守牢安全底線,；監(jiān)管部門加強(qiáng)專項(xiàng)監(jiān)測與監(jiān)督管理,。同時(shí)，動(dòng)態(tài)安全需要具備一定的預(yù)見性和靈活性,，能應(yīng)對未來可能出現(xiàn)的新風(fēng)險(xiǎn),。指導(dǎo)模型企業(yè)強(qiáng)化內(nèi)容安全能力，結(jié)合企業(yè),、模型,、應(yīng)用特點(diǎn)，在語料,、模型,、輸入輸出各層面，嚴(yán)防違法,、虛假信息生成傳播,。防范排序精選、個(gè)性化推送算法操縱輿論和純流量導(dǎo)向,，守護(hù)網(wǎng)絡(luò)空間風(fēng)清氣正,。針對未依法開展安全評估、出現(xiàn)較大風(fēng)險(xiǎn)的,，依法予以處置處罰,，堅(jiān)決守牢安全底線。在嚴(yán)守安全底線的前提下,，為技術(shù)創(chuàng)新預(yù)留一些“彈性空間”,，激發(fā)創(chuàng)新活力、驅(qū)動(dòng)產(chǎn)業(yè)升級,；借助科學(xué)管理手段和技術(shù)創(chuàng)新,，深化敏捷治理，保障安全與社會(huì)穩(wěn)定,。六是從“傳統(tǒng)治理”升級“智能治理”,，轉(zhuǎn)變方法，賦能安全,。支持科研機(jī)構(gòu),、高校、有能力的企業(yè),，持續(xù)加大對算法,、架構(gòu)創(chuàng)新、安全對齊,、芯片等核心技術(shù)研發(fā)投入,，突破技術(shù)瓶頸,，筑牢安全基礎(chǔ)。推進(jìn)人工智能安全技術(shù)標(biāo)準(zhǔn)化進(jìn)程,，構(gòu)建自主可控技術(shù)體系,。堅(jiān)持極限思維，加快技術(shù)自主創(chuàng)新,、供應(yīng)鏈安全可控,，提升人工智能的宏觀安全。匯聚專業(yè)力量,，搭建集成安全測評,、技術(shù)咨詢、安全能力等多元功能的安全公共服務(wù)平臺,，為行業(yè)整體安全能力提升賦能,。激勵(lì)企業(yè)、科研機(jī)構(gòu)等開展安全技術(shù)研發(fā)應(yīng)用,，形成創(chuàng)新“生態(tài)群”，為安全治理注入持久動(dòng)力,。（施敏 楊海軍 作者單位：上海市互聯(lián)網(wǎng)信息辦公室）來源：光明網(wǎng)