新華社北京3月14日電 3月14日,《新華每日電訊》發(fā)表題為《看似“人工智能”，實(shí)則“人為陷阱”——揭開借助AI技術(shù)實(shí)施詐騙的新套路》的報(bào)道,。號(hào)稱可提供ChatGPT服務(wù),，實(shí)際是冒牌AI；視頻電話中熟悉的“親友”,，是不法分子AI換臉模擬而成,；為博取流量，用AI技術(shù)編造虛假謠言,，流量變“流毒”……隨著人工智能的發(fā)展迭代,，生成式AI正以前所未有的速度重塑著日常生活,，但由此衍生出的新騙局,、新套路也在刷新人們對(duì)風(fēng)險(xiǎn)防范的認(rèn)知。這背后不僅關(guān)乎廣大消費(fèi)者的財(cái)產(chǎn)安全,，還潛藏著人身安全風(fēng)險(xiǎn)和隱患,。記者梳理近期管理部門查處的AI相關(guān)案件，揭開人工智能“圈套”背后的真相,。9塊9使用ChatGPT,？其實(shí)是“套殼AI”自人工智能產(chǎn)品ChatGPT爆火，一些企業(yè)看到無限“錢景”,，強(qiáng)行“關(guān)聯(lián)”,。一時(shí)間，市場(chǎng)上涌現(xiàn)出不少與ChatGPT“沾親帶故”的服務(wù)產(chǎn)品,。2023年2月,，一個(gè)名為“ChatGPT在線”的公眾號(hào)引起了上海市徐匯區(qū)市場(chǎng)監(jiān)管部門的注意。這個(gè)頭像與ChatGPT原開發(fā)公司官方標(biāo)識(shí)高度相似的公眾號(hào),，在用戶短暫免費(fèi)體驗(yàn)后即需注冊(cè)會(huì)員付費(fèi)使用,，支付9.9元可以對(duì)話20次，隨著對(duì)話次數(shù)增加,，其收費(fèi)也逐步提高,。該公眾號(hào)僅用兩個(gè)月就吸納超36萬人的粉絲量，累計(jì)注冊(cè)付費(fèi)用戶4231人,，經(jīng)營(yíng)額共計(jì)125385.44元,。執(zhí)法人員調(diào)查發(fā)現(xiàn)，該公眾號(hào)的運(yùn)營(yíng)公司與實(shí)際ChatGPT開發(fā)公司并無關(guān)聯(lián),。所謂“ChatGPT在線”也并非“ChatGPT”產(chǎn)品本身,。“當(dāng)事人為實(shí)現(xiàn)銷售目的,，使用類似圖像、名稱及服務(wù)簡(jiǎn)介等多種手段實(shí)施復(fù)合性混淆行為,，利用‘ChatGPT’熱點(diǎn)進(jìn)行攀附,，混淆真實(shí)情況，謀取交易機(jī)會(huì),，獲取不當(dāng)利益,。”上海市徐匯區(qū)市場(chǎng)監(jiān)督管理局執(zhí)法稽查科副科長(zhǎng)張琦說,，當(dāng)事人行為違反了《中華人民共和國(guó)反不正當(dāng)競(jìng)爭(zhēng)法》第六條第（四）項(xiàng)的規(guī)定,，市場(chǎng)監(jiān)管部門已責(zé)令其停止違法行為，處以罰款,，并要求其妥善處置相關(guān)消費(fèi)糾紛,。記者發(fā)現(xiàn),，“冒牌AI”的現(xiàn)象并不少見。2023年,，百度“文心一言”上市前夕,，網(wǎng)上出現(xiàn)大量打著“文心一言”旗號(hào)的社交媒體賬號(hào)。隨后百度官方發(fā)文辟謠稱“文心一言”尚未注冊(cè)社交賬號(hào),?！叭斯ぶ悄艽竽Ｐ烷_源生態(tài)的建立，讓AI發(fā)展加速的同時(shí)也讓生成式AI更容易被濫用,?！敝袊?guó)行政法學(xué)研究會(huì)常務(wù)理事、華東政法大學(xué)教授沈?？≌J(rèn)為,，考慮到立法的滯后性，監(jiān)管部門還需更加關(guān)注新技術(shù)發(fā)展對(duì)市場(chǎng)端的影響,，加大事前監(jiān)管力度,，充分運(yùn)用現(xiàn)有的法律法規(guī)資源實(shí)施有效監(jiān)管，切莫使新問題隱匿在“監(jiān)管盲區(qū)”,。張琦也表示,，消費(fèi)者出于對(duì)新興技術(shù)的好奇，往往在不知不覺陷入“圈套”,?！叭绻`用了別有用心的‘套殼AI’，甚至可能被不法分子套取個(gè)人信息,，埋下安全隱患,。”他建議,，消費(fèi)者在選擇AI產(chǎn)品時(shí)需仔細(xì)甄別,，避免被商家誤導(dǎo)?！叭绻徺I到了仿冒產(chǎn)品,，要保留好相應(yīng)的產(chǎn)品購買憑證，主動(dòng)聯(lián)系監(jiān)管部門,，維護(hù)自身合法權(quán)益,。”“AI換臉”詐騙　眼見不一定為實(shí)只需一通視頻電話,，不法分子就騙走了430萬元,。2023年4月，福建省某科技公司法定代表人郭先生接到“好友”的微信視頻通話,，對(duì)方聲稱自己當(dāng)下需要430萬元保證金用以項(xiàng)目競(jìng)標(biāo),，想借用郭先生公司的賬戶“走個(gè)賬”,。因?yàn)橛邢惹暗囊曨l通話，加之對(duì)“好友”的信任,，郭先生陸續(xù)給對(duì)方轉(zhuǎn)賬共計(jì)430萬元,。隨后郭先生再次聯(lián)系好友時(shí)才發(fā)現(xiàn)自己被騙。所幸在警方幫助下,，成功止付攔截336.84萬元,。據(jù)郭先生回憶，由于在視頻電話中確認(rèn)了對(duì)方的面孔和聲音,，所以毫不懷疑對(duì)方身份有詐,。不僅如此，犯罪分子還精準(zhǔn)了解郭先生與好友的關(guān)系,，并成功盜取好友微信賬號(hào)實(shí)施詐騙,，令人不寒而栗。AI技術(shù)的迭代升級(jí)讓不法分子借助智能AI換臉和擬聲技術(shù),，就可輕松實(shí)現(xiàn)遠(yuǎn)程視頻詐騙,。記者調(diào)查發(fā)現(xiàn)，最近多地出現(xiàn)的AI換臉詐騙案件,，均具備定制性,、迷惑性等特征。其中,，香港警方近期披露一起涉案金額高達(dá)2億港元的多人AI換臉詐騙案尤為典型,。據(jù)媒體報(bào)道，某公司職員受邀參加公司“多人視頻會(huì)議”時(shí),，先后將2億港元分別轉(zhuǎn)賬到5個(gè)本地銀行賬戶內(nèi),。據(jù)警方調(diào)查，這場(chǎng)視頻會(huì)議中除了受害者外,，其余均為AI換臉后的詐騙人員,。不少業(yè)內(nèi)專家表示，隨著文生視頻大模型Sora等多模態(tài)人工智能的探索和出現(xiàn),，人們可能陷入“眼見也不一定為實(shí)”的困局,。“一直以來,，銀行等部門將實(shí)時(shí)視頻用做檢驗(yàn)身份的手段之一，如今其可靠性將面臨巨大挑戰(zhàn),?！鄙蚋？≌f,，“隨著人工智能技術(shù)的迭代升級(jí),，這類違法行為還可能演變出更多形態(tài),。”沈?？√寡?，對(duì)此類AI換臉和AI擬聲的惡性詐騙案件，若只依靠傳統(tǒng)監(jiān)管手段已不能防堵,，監(jiān)管部門在提升自我科技能力儲(chǔ)備的同時(shí),，有必要引入新興技術(shù)，探索用AI技術(shù)監(jiān)管AI的可能,。從消費(fèi)者角度出發(fā),，沈福俊建議提升全民個(gè)人信息保護(hù)意識(shí),，謹(jǐn)防隱私泄露,。“不管是在互聯(lián)網(wǎng)上還是社交軟件上,，盡量避免過多地暴露自己的信息,，在涉及轉(zhuǎn)賬交易等行為時(shí)，可以多角度詢問身份信息,，反復(fù)驗(yàn)證對(duì)方是否為本人,。”警惕“AI造謠”　小心“流量”變“流毒”當(dāng)前AIGC技術(shù)已在文本生成,、圖片創(chuàng)作等方面廣泛應(yīng)用,，輸入幾個(gè)關(guān)鍵詞即可由AI快速生成一張畫或一篇文章。但一些用戶為博眼球,、蹭熱度,，卻將人工智能技術(shù)用以編“偽消息”，造“假通報(bào)”,。2023年6月,，一條名為《浙江工業(yè)園現(xiàn)大火濃煙滾滾，目擊者稱有爆炸聲,！》的視頻在網(wǎng)絡(luò)上流傳,，引發(fā)網(wǎng)友關(guān)注。后經(jīng)相關(guān)部門核實(shí)為謠言,。據(jù)調(diào)查,，當(dāng)事人為給自己賬號(hào)漲粉引流，獲取更多利益,，通過非法渠道購買了AI視頻生成軟件,。該當(dāng)事人將網(wǎng)絡(luò)熱門話題通過AI自動(dòng)生成視頻產(chǎn)品，并上傳至多個(gè)熱門視頻平臺(tái),。截至案發(fā),，相關(guān)當(dāng)事人發(fā)布的虛假視頻多達(dá)20余條,，涉及浙江、湖南,、上海,、四川等多個(gè)省市，累計(jì)閱讀觀看量超過167萬次,。目前浙江紹興上虞法院已開庭審理并當(dāng)庭宣判了這起案件,，兩名被告均被判處有期徒刑。但“AI謠言”仍時(shí)有發(fā)生,。2024年1月,，廣西東興市駱某某為博取流量，將其他地區(qū)的抗洪,、救災(zāi)視頻,，經(jīng)AI軟件自動(dòng)編輯，編造新疆烏什縣發(fā)生地震的虛假視頻信息,。同年1月,，四川一網(wǎng)民在某平臺(tái)發(fā)布“貴州女嬰被棄”的謠言文章。經(jīng)調(diào)查,，該涉謠文章由AI系統(tǒng)生成并發(fā)布,，相關(guān)言論及照片均為不實(shí)信息。技術(shù)的普及帶動(dòng)自媒體產(chǎn)業(yè)的繁榮,。但一些網(wǎng)民為獲取流量不惜利用技術(shù)手段編造生成虛假視頻,，讓“AI謠言”在網(wǎng)絡(luò)上傳播，不僅給網(wǎng)絡(luò)安全帶來嚴(yán)峻挑戰(zhàn),，也嚴(yán)重?cái)_亂社會(huì)秩序,。2023年，最高人民法院,、最高人民檢察院,、公安部聯(lián)合發(fā)布的《關(guān)于依法懲治網(wǎng)絡(luò)暴力違法犯罪的指導(dǎo)意見》中規(guī)定，對(duì)“利用‘深度合成’等生成式人工智能技術(shù)發(fā)布違法信息”的情形,，依法從重處罰,。對(duì)此，沈?？〉榷辔粚＜冶硎?，一方面，要提高廣大自媒體經(jīng)營(yíng)者的法律意識(shí),，從源頭減少此類“AI謠言”的產(chǎn)生,；另一方面，監(jiān)管部門也要加強(qiáng)相關(guān)案件的宣傳推廣，提高網(wǎng)民對(duì)“AI謠言”的鑒別力,。