北京日?qǐng)?bào)客戶端 | 記者 高健 通訊員 高曼潔 秦鵬博

如今,，以ChatGPT、New Bing為代表的AIGC（AI Generated Content,，生成式人工智能）類應(yīng)用火爆全球,，有人從中看到科技方向、有人從中發(fā)掘娛樂樂趣,、有人從中尋覓商業(yè)價(jià)值,，但不少國(guó)家和地區(qū)開始意識(shí)到生成式人工智能的風(fēng)險(xiǎn)，從而踩下剎車或按下暫停鍵。對(duì)此,，海淀法院法官分析認(rèn)為,，生成式人工智能易引發(fā)五類刑事犯罪，應(yīng)引起社會(huì)和相關(guān)部門注意,。

風(fēng)險(xiǎn)：AIGC生成“虛擬角色”致詐騙風(fēng)險(xiǎn)激增

近日,，國(guó)家網(wǎng)信辦發(fā)布了《關(guān)于〈生成式人工智能服務(wù)管理辦法（征求意見稿）〉》（以下簡(jiǎn)稱《意見稿》），著手從立法的角度規(guī)范我國(guó)生成式人工智能的發(fā)展進(jìn)路,。海淀法院經(jīng)過調(diào)研認(rèn)為,，生成式人工智能應(yīng)用在使用中易引發(fā)五類刑事犯罪風(fēng)險(xiǎn)。

首先,，AIGC類應(yīng)用生成內(nèi)容“類人性強(qiáng)”,，易引發(fā)詐騙類犯罪。因“百科全書式”聊天機(jī)器人能高度模擬真人口吻,，具有極強(qiáng)的“類人性”,，更容易讓人產(chǎn)生信賴，對(duì)話人在接收“答案”時(shí)也在無意識(shí)中受到引導(dǎo),，易引發(fā)感情類,、財(cái)產(chǎn)類詐騙。如通過ChatGPT生成完整的詐騙套路話術(shù),，把ChatGPT包裝成“虛擬角色”,，使受害人誤以為自己“墜入愛河”并遭受詐騙。此外,，海淀法院在調(diào)研中還發(fā)現(xiàn)當(dāng)前出現(xiàn)了眾多名稱中包含“ChatGPT”字樣的微信公眾號(hào),、小程序、網(wǎng)頁,、手機(jī)應(yīng)用,，上述“山寨版”ChatGPT虛假鏈接，通過吸引網(wǎng)民點(diǎn)擊鏈接或下載使用,，誤導(dǎo)網(wǎng)民填寫個(gè)人信息甚至進(jìn)行付費(fèi),，存在損害用戶財(cái)產(chǎn)利益的風(fēng)險(xiǎn)，可能涉嫌詐騙罪,；另有以投資AIGC類應(yīng)用等新技術(shù)為名目吸收資金的違法犯罪行為,，如以“元宇宙”代幣為噱頭進(jìn)行傳銷犯罪等，可能涉嫌非法集資,、非法傳銷和詐騙罪,。

并且，AIGC類應(yīng)用能篡改后臺(tái)程序算法,，易引發(fā)涉計(jì)算機(jī)類犯罪,?！吧秸妗盋hatGPT生成虛假鏈接，引誘對(duì)話人點(diǎn)擊后,，還可能發(fā)生惡意攻擊電腦設(shè)備,、侵入特定領(lǐng)域的計(jì)算機(jī)信息系統(tǒng)、非法獲取相關(guān)數(shù)據(jù)等行為,，涉嫌非法侵入計(jì)算機(jī)信息系統(tǒng)罪,、破壞計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪等。

同時(shí),，AIGC類應(yīng)用依靠抓取海量信息數(shù)據(jù),，并通過深度學(xué)習(xí)算法生成檢索內(nèi)容，用戶進(jìn)行特定內(nèi)容搜索,，更容易獲取淫穢色情,、犯罪方法、宣揚(yáng)暴力甚至恐怖組織等信息,，容易引發(fā)傳播淫穢色情,、傳授犯罪方法類犯罪，增加相關(guān)違法犯罪行為發(fā)生風(fēng)險(xiǎn),。

法官還指出,，ChatGPT等AIGC類應(yīng)用是對(duì)海量互聯(lián)網(wǎng)信息的加工整合，信息真?zhèn)尾幻?、道德邊界感模糊,。互?lián)網(wǎng)上發(fā)布的娛樂八卦,、網(wǎng)評(píng)等可能涉及個(gè)人隱私的信息,，均可作為AIGC類應(yīng)用的整合資源，且生成內(nèi)容以“檢索結(jié)果”展示,，易讓用戶誤認(rèn)為“標(biāo)準(zhǔn)答案”,。若用戶不加甄別地使用、盲目引用未經(jīng)核實(shí)的信息,，可能涉嫌侮辱,、誹謗、侵犯公民個(gè)人信息等侵害人格權(quán)類犯罪,，并不因信息來源于互聯(lián)網(wǎng)而排除刑事責(zé)任承擔(dān),。

此外，AIGC類應(yīng)用還易引發(fā)侵犯知識(shí)產(chǎn)權(quán)類犯罪,。

分析：AIGC的提供者需承擔(dān)的三大責(zé)任

根據(jù)《意見稿》相關(guān)規(guī)定及相似事例,，法院認(rèn)為，AIGC的提供者需承擔(dān)的三大責(zé)任,。

法官指出，提供者首先應(yīng)承擔(dān)信息源責(zé)任?！皟?nèi)容提供者要確保信息源可信,，從數(shù)據(jù)安全、個(gè)人信息保護(hù),、知識(shí)產(chǎn)權(quán)等方面,，從源頭處保證信息來源合法合規(guī)?！钡?，法官也提出，面對(duì)海量的數(shù)據(jù),，如何進(jìn)行信息過濾和篩選,，尚需要可行性方案，以便提供者能夠更好地把握信息來源,。

此外,，提供者應(yīng)對(duì)生成內(nèi)容負(fù)責(zé)。如《意見稿》規(guī)定了,，提供生成式人工智能產(chǎn)品或服務(wù)應(yīng)當(dāng)遵守法律法規(guī)的要求,，尊重社會(huì)公德、公序良俗,，需要做到諸如體現(xiàn)社會(huì)主義核心價(jià)值觀,、防止歧視、公平競(jìng)爭(zhēng),、防止形成虛假信息,、禁止非法獲取個(gè)人信息和商業(yè)秘密等?？梢?，提供者需要對(duì)最終生成的內(nèi)容承擔(dān)符合道德、符合法律的義務(wù),。另外,，在生成內(nèi)容責(zé)任中，《意見稿》特別提出了對(duì)人工標(biāo)注的規(guī)范,，明確指出：“生成式人工智能產(chǎn)品研制中采用人工標(biāo)注時(shí),，提供者應(yīng)當(dāng)制定符合本辦法要求，清晰,、具體,、可操作的標(biāo)注規(guī)則，對(duì)標(biāo)注人員進(jìn)行必要培訓(xùn),，抽樣核驗(yàn)標(biāo)注內(nèi)容的正確性,?！睆臉?biāo)注的人員、到標(biāo)注的內(nèi)容上進(jìn)行規(guī)范,，也是對(duì)算法生成中一個(gè)重要的人工參與步驟進(jìn)行合理引導(dǎo),，從旁提高生成內(nèi)容的合法合規(guī)性。

另外,，提供者還應(yīng)遵守流程報(bào)備責(zé)任,，通過報(bào)備的方式，使生成式人工智能置于主管部門的管理之下,，也便于在發(fā)生違法違規(guī)行為時(shí)及時(shí)進(jìn)行處置,。

建議：加強(qiáng)對(duì)新興技術(shù)監(jiān)管

通過調(diào)研并結(jié)合《意見稿》的內(nèi)容，海淀法院針對(duì)生成式人工智能可能發(fā)生的刑事法律風(fēng)險(xiǎn),，提出四點(diǎn)建議,。

加大普法宣傳力度，增強(qiáng)網(wǎng)民反詐意識(shí),，引導(dǎo)網(wǎng)民合法合規(guī)使用合法軟件,，準(zhǔn)確識(shí)別被偽裝過的山寨鏈接，避免泄露個(gè)人信息,。

加快新技術(shù)規(guī)范立法工作,，探索算法推薦等技術(shù)管理制度的落地路徑，明確自動(dòng)生成內(nèi)容類應(yīng)用檢索信息的邊界,，提高應(yīng)用開發(fā)和應(yīng)用算法透明度,，確保生成式人工智能應(yīng)用開發(fā)和推廣以安全、道德,、尊重公民權(quán)利和隱私的方式規(guī)范開展,。

加強(qiáng)對(duì)新興技術(shù)的監(jiān)管，確保智能AI的訓(xùn)練模型數(shù)據(jù)來源可信可靠,，對(duì)于未在互聯(lián)網(wǎng)公開或權(quán)利人明確禁用的信息源,，及時(shí)督促運(yùn)營(yíng)企業(yè)從AI模型數(shù)據(jù)庫中剔除，確保使用的正當(dāng)性,。

完善救濟(jì)途徑,，在智能AI發(fā)布后，以提供補(bǔ)丁網(wǎng)站的方式,，便利相關(guān)權(quán)利人提交不予授權(quán)的聲明,，并及時(shí)刪除不予授權(quán)的信息源，以避免和解決AI使用過程中的權(quán)屬爭(zhēng)議,。