北京日報(bào)客戶端 | 記者 袁璐

輸入幾個(gè)關(guān)鍵詞,，一幅精美的二次元畫作就此誕生,；設(shè)置好相應(yīng)的口令,，一個(gè)原本需要耗時(shí)數(shù)日的視頻不需要人工講解加剪輯,，一鍵自動生成,；選擇古風(fēng),、都市等語言文風(fēng),，加上幾句人物描述,，一本小說快速誕生……

今年以來，以ChatGPT為代表的AI展現(xiàn)出超強(qiáng)的內(nèi)容創(chuàng)作能力,，AIGC（人工智能生成內(nèi)容,，又稱生成式AI）成了內(nèi)容創(chuàng)作者新的生產(chǎn)力工具。但與此同時(shí),，一道新的考題也向內(nèi)容社區(qū)平臺拋出——該如何甄別AIGC內(nèi)容,，防范虛假信息及可能的版權(quán)糾紛等問題？海量發(fā)布的AICG內(nèi)容又是否符合法律要求和公序良俗,？

“大模型誕生之后,，內(nèi)容安全風(fēng)控是一個(gè)需要全鏈路考慮問題?！彬v訊安全內(nèi)容風(fēng)控產(chǎn)品經(jīng)理李鎬澤表示,，目前市面上很多企業(yè)正在各個(gè)階段進(jìn)行一些安全處理的防范。比如模型訓(xùn)練階段,，一是數(shù)據(jù)標(biāo)注要求剔除高風(fēng)險(xiǎn),、違規(guī)的數(shù)據(jù),，保證投給模型的數(shù)據(jù)樣本是真實(shí)的。二是訓(xùn)練過程中要保證大模型更有連貫性,、邏輯性,，質(zhì)量穩(wěn)定，最后是審核把關(guān)產(chǎn)出結(jié)果,，去掉高風(fēng)險(xiǎn)內(nèi)容,。

業(yè)內(nèi)對AIGC內(nèi)容安全的擔(dān)憂并非空穴來風(fēng)。記者注意到,，今年5月,，甘肅公安官方公眾號通報(bào)稱，甘肅省平?jīng)鍪泄簿志W(wǎng)安大隊(duì)成功偵破了一起利用AIGC制造虛假新聞的案件,。4月25日,，平?jīng)鍪泄簿轴轻挤志志W(wǎng)安大隊(duì)對“今晨甘肅一火車撞上修路工人致9人死亡”的文章，初步判斷為信息虛假不實(shí),，經(jīng)查,，某自媒體作者洪某弟使用“易撰”網(wǎng)頁版和ChatGPT，搜索并修改編輯近幾年的社會熱點(diǎn)新聞,，通過“海豹科技”軟件上傳至其購買的百家號上非法獲利,。

記者注意到，目前多個(gè)內(nèi)容社區(qū)平臺要求創(chuàng)作者明確標(biāo)注AI生成內(nèi)容,。如知乎要求創(chuàng)作者發(fā)布 AI 輔助創(chuàng)作內(nèi)容時(shí),，需要在內(nèi)容上進(jìn)行顯性聲明，并為所發(fā)布的內(nèi)容負(fù)責(zé),。抖音發(fā)布也要求發(fā)布者對人工智能生成內(nèi)容進(jìn)行顯著標(biāo)識，統(tǒng)一的官方“水印”,。

不過,，騰訊安全天御研發(fā)工程師周維聰對記者坦言，目前在應(yīng)對AIGC內(nèi)容合規(guī)問題方面,，業(yè)內(nèi)仍面臨不少挑戰(zhàn),。一是AIGC內(nèi)容審核量巨大，“各行各業(yè)的人,，都能使用AI能力去生產(chǎn)他想要的內(nèi)容,，UGC（用戶生產(chǎn)內(nèi)容）和PGC（專業(yè)生產(chǎn)內(nèi)容）的界限大大模糊?！倍茿IGC內(nèi)容形態(tài)復(fù)雜多樣,，部分血腥、色情,、暴力的內(nèi)容可能以暗喻隱晦的形式表達(dá),，比如二次元漫畫中的藝術(shù)處理。三是部分AIGC內(nèi)容相當(dāng)專業(yè),，對泛內(nèi)容審核機(jī)制帶來挑戰(zhàn)。四是部分AIGC應(yīng)用場景對實(shí)時(shí)性要求較高,，如何快速,、準(zhǔn)確的審核內(nèi)容也是一大難點(diǎn)。

值得注意的是,，周維聰提到了一個(gè)全新的內(nèi)容安全攻防趨勢——“套話”大模型再“反套路”,。

“我們在服務(wù)不少企業(yè)的過程中發(fā)現(xiàn)，用戶在使用‘類ChatGPT’產(chǎn)品時(shí),，會故意提出大量誘導(dǎo)性提問互動,，有意引導(dǎo)大模型生成違規(guī)內(nèi)容?！敝芫S聰表示,，之后用戶可能通過拆分字詞、使用拼音字,、利用文字間隔等嘗試尋找大模型有關(guān)違禁規(guī)則的漏洞,。

“要實(shí)現(xiàn)全鏈路數(shù)據(jù)達(dá)標(biāo)，需要密切關(guān)注數(shù)據(jù)標(biāo)注,、數(shù)據(jù)審校等不同環(huán)節(jié)的數(shù)據(jù)生成質(zhì)量,。同時(shí)要重視提前預(yù)防?！敝芫S聰稱,，AIGC有數(shù)據(jù)量極大、傳播速度極快等特點(diǎn)，不能只寄希望于事后防御,，還應(yīng)提高數(shù)據(jù)訓(xùn)練,、數(shù)據(jù)生成、數(shù)據(jù)傳輸?shù)冗^程中的風(fēng)險(xiǎn)防范意識,。

相關(guān)監(jiān)管政策也正在不斷完善,。4月11日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布關(guān)于《生成式人工智能服務(wù)管理辦法（征求意見稿）》公開征求意見的通知,，規(guī)定AIGC內(nèi)容不得含有暴恐,、低俗、歧視,、侵權(quán)等違法違規(guī)內(nèi)容,，明確提出“利用生成式人工智能生成的內(nèi)容應(yīng)當(dāng)真實(shí)準(zhǔn)確，采取措施防止生成虛假信息”,。