視頻里那張臉正對著鏡頭,，幾乎不動,，臉上的表情和平常沒什么不一樣。

7秒視頻通話后，濟南人方楊宥就給對方指定賬戶轉(zhuǎn)了30萬,。等到報了警，他才知道,，原來視頻里那張熟悉的臉是“假”的,，屏幕另一端根本不是自己的親戚，而是詐騙人員利用AI技術合成的影像視頻,。

這樁發(fā)生在今年5月的AI詐騙事件,，并非孤例。山東省商河縣公安局刑警大隊中隊長張振華向新京報記者介紹,，隨著深度合成技術的開放開源,，深度合成產(chǎn)品和服務逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻進行詐騙,、誹謗的違法行為日益增多,。此前，已有哈爾濱,、福州等多地警方通報過有關AI換臉的詐騙事件,。

北京市社會科學院法治研究所副所長、副研究員王潔長期從事反電詐研究,，他認為,，步入人工智能時代，人臉和聲音已經(jīng)成為一種亟須保護的信息,。然而當下隨著AI技術發(fā)展,，利用AI換臉技術進行詐騙、造謠,、侵犯肖像權或知識產(chǎn)權的行為屢屢發(fā)生,，這意味著技術正被濫用，人臉這一重要信息極易“丟失”,。

AI實時換臉技術發(fā)展的同時,，也在迅速“平民化”。新京報記者調(diào)查發(fā)現(xiàn),，AI實時換臉技術在多個平臺以百元左右的價格售賣,，其中一位商家表示，368元便能購買其自己研發(fā)的實時換臉程序,，50年內(nèi)可以無限次使用,。可觀的利益驅(qū)動著AI灰色市場的發(fā)展,，有商家自稱月收入高達20萬元,，他宣稱自己什么視頻都能做，任意將一張臉換至色情視頻里，也僅需150元一分鐘,。

“我們的未來一定是會和AI共存共生長的”,，王潔說，這意味著人類也將和AI相關的侵權事件共生共存,。如何讓技術向善發(fā)展,，成為當下一個非常重要的問題。

方楊宥報案后,，商河刑警奔赴廣東,，將涉嫌幫信罪嫌疑人謝某等3人抓獲。目前該案正在進一步偵查中,。來源：“濟南公安”微信公眾號

AI騙局

視頻連線只持續(xù)了7秒,，看著屏幕里那張熟悉的臉，聽著手機傳出熟悉的聲音,，方楊宥相信了這個剛剛添加自己為好友的新賬號所說的——他確實是自己的親戚,，30萬元就這樣轉(zhuǎn)賬到了對方提供的銀行賬戶上,。

“結果一切都是假的,。”2023年6月底,，商河縣公安局刑警大隊中隊長張振華向新京報記者介紹了這個案子,，“這就是近期流行的‘AI詐騙’，一種利用智能AI技術實施詐騙的詐騙手段,?！?/p>

事情發(fā)生在今年5月29日，濟南人方楊宥在家刷短視頻時,，突然收到一條陌生人發(fā)來的消息,。對方自稱是方楊宥的親戚，他發(fā)來一串新的QQ號,，希望方楊宥添加,。剛一加上好友，對方就給方楊宥撥來視頻電話,，7秒的視頻連線有些卡頓,，但那張熟悉的臉和那個熟悉的聲音，讓方楊宥相信確實這就是自己的“大哥”,。

沒說幾句話,，對方就以網(wǎng)絡質(zhì)量不好為由，將視頻掛斷,。在隨后的文字聊天中,，這位“大哥”稱自己急需轉(zhuǎn)一筆錢，但沒法直接打款，想要先轉(zhuǎn)賬給方楊宥,，然后拜托他幫忙轉(zhuǎn)到指定的銀行卡里去,。

“那邊急用，你現(xiàn)在馬上安排過去,?！眱蓮埑晒D(zhuǎn)賬的截圖是發(fā)來了，可方楊宥一直沒收到這筆款項,?！按蟾纭睂⒃颉八﹀仭苯o銀行，“那應該就是24小時到了,，銀行的信息不會錯,。”以著急用錢為由,，“大哥”反復催促方楊宥先行墊付,。

經(jīng)不住一再催促，方楊宥向其指定賬戶轉(zhuǎn)賬了30萬元,。沒過多久,，對方又讓方楊宥再轉(zhuǎn)35萬元。這時,，方楊宥猛然想起曾經(jīng)看過的反詐宣傳,，趕緊打電話給自己的親戚，這才知道,，一切都是假的,。

濟南人方楊宥遭遇的AI詐騙，7秒視頻后,，他給對方指定賬戶轉(zhuǎn)賬30萬元,。來源：“濟南公安”微信公眾號

當晚，方楊宥便報了案,。根據(jù)轉(zhuǎn)賬卡號的流水,，張振華和同事們發(fā)現(xiàn)該銀行卡在廣東的一家金店有過消費。次日,，商河刑警便奔赴廣東東莞,，抓獲了犯罪嫌疑人謝某等三人。之后,，又有三名犯罪嫌疑人被警方抓獲,。

在后續(xù)的調(diào)查中，警方發(fā)現(xiàn),，這起AI詐騙真正的源頭在緬北,。境內(nèi)的這伙人,，是一個專門幫助境外詐騙分子進行洗錢的犯罪團隊，他們分工明晰,，買金,、打款、對接上線等都由不同的人操作,。目前他們因涉嫌幫信罪,，正在接受后續(xù)調(diào)查。

事實上,，利用AI技術進行詐騙的案例已在全國多地發(fā)生,。王潔第一次知道AI詐騙，是在2019年,，當時一位留學生看到詐騙人員利用技術合成其父母的視頻之后,，便信以為真。此前,，已經(jīng)有哈爾濱,、福州等多地網(wǎng)警通報過有關AI換臉的詐騙事件，他們的手段并非完全相同,。

5月20日,，包頭市公安局的官方微信公眾號“平安包頭”發(fā)文稱，今年4月,，因犯罪團伙使用AI換臉技術,，通過視頻聊天的形式獲取了受害者的信任，使其在10分鐘內(nèi)給騙子的指定賬戶打去430萬元,。受害者報案后，包頭市警銀聯(lián)動,，成功緊急止付涉嫌電信詐騙資金330多萬元,。

6月15日，“大連市銀行業(yè)協(xié)會”的官方微信公眾號也發(fā)文稱,，詐騙人員獲取了一位男士的身份證影像信息后,，通過AI技術手段合成了短視頻，并使用該視頻成功應對了銀行大額資金轉(zhuǎn)賬時的人臉識別驗證,，將其卡中的定期存款銷戶,，隨后轉(zhuǎn)出部分資金。好在這位男士對銀行非柜面渠道設置了日累計交易限額,，超限額部分資金無法實時轉(zhuǎn)出,，有效避免了部分資金損失。

也有詐騙人員盯上的是“聲音”,。

2022年,，律師馬俊哲在短視頻里自曝被電信詐騙3萬元的經(jīng)歷。騙子使用AI技術，合成了馬俊哲母親的聲音,，假冒其母親的身份給他打去電話,，稱其父親因出車禍而骨折，急需3萬元的醫(yī)藥費,，希望馬俊哲將錢打入她朋友的賬戶,。

就在轉(zhuǎn)錢的那一刻，馬俊哲發(fā)現(xiàn)這個銀行卡歸屬地并非父母的所在地,，馬俊哲立刻回撥了母親打來的這串電話,，經(jīng)過母親確認之后，馬俊哲又給父親打了個電話,，但是父親電話打不通,。他以為父親正在做檢查，便直接將錢打了過去,。

可次日馬俊哲再次給母親打電話時,，母親卻說沒有這一回事。馬俊哲百思不得其解,，“聲音是我媽的,，我不可能聽錯。號碼是我媽的,，我不可能看錯,。”報警后,，他才從警方那里得知,，這是一種新型的詐騙方式，詐騙團伙利用技術合成了母親的聲音,，又使用技術復制了一串和母親號碼完全一樣的虛擬號碼打來電話,，并使用技術手段在行騙期間將親屬號碼屏蔽，讓他們切斷聯(lián)系,，從而增加騙錢的可信度,。

誰在“丟臉”

“AI詐騙的背后，還是人們的信息泄露問題,?！蓖鯘嵳f，隨著人工智能時代的到來,，人的臉和聲音也成了一種可以獲取利益的信息，很多人在不知不覺中就“丟了臉”,。人臉信息作為個體生物信息,，屬于敏感個人信息，具有直接識別性,、獨特性和唯一性,，一旦泄露會令信息主體人格尊嚴受到侵害或人身財產(chǎn)安全受到傷害，其危害性較一般個人信息泄露更為嚴重,。

安徽人潘子平親身體驗過,，僅需幾秒鐘的視頻通話，自己的人臉信息就丟失了,。

3月24日晚上,，潘子平在手機上看仙俠小說正著迷。翻頁時,，他誤觸了一旁的廣告,，一款游戲開始在手機后臺自動下載。下載完成后,，潘子平點開看了看,，也是一款和仙俠有關的游戲，他玩了一會兒覺得沒意思,，便直接卸載了。

幾秒鐘之后,，一個來自境外的電話撥了過來,，對方說已經(jīng)獲取潘子平手機里的所有信息，包括相冊和通訊錄,，要加QQ詳談,。潘子平?jīng)]想太多，便添加了好友,。剛一加上,，一個視頻聊天直接打來,，對方的臉始終沒有出現(xiàn)在鏡頭前，一個男聲簡單報了幾個潘子平通訊錄的人名,，便掛斷視頻。

雖然兩個電話都沒有提到錢的事,，但潘子平心里開始有所警惕,，他立刻將錢提現(xiàn)至銀行卡,，并將銀行卡與支付寶和微信解綁,。

沒幾分鐘，一條QQ消息發(fā)來,。這次是一段視頻,，約有十幾秒，畫面里是一個赤身裸體的男子,，他頭上頂著潘子平的臉,，正在做一些不雅的動作。潘子平驚呆了,，“現(xiàn)在的技術都已經(jīng)這么厲害了嗎？”還來不及反應，電話又來了,，“你給我三萬八,，否則我就把你的‘小視頻’發(fā)給你通訊錄里的所有人?！?/p>

對方還發(fā)來一張截圖,，這段視頻已經(jīng)在對話框準備就緒，只要點擊發(fā)送,，潘子平通訊錄里的親朋好友就能收到,。視頻再次打來時，對方開啟了屏幕共享功能，潘子平將支付寶和微信余額展示給對方,，說自己拿不出這么多錢,，雙方便從三萬八開始砍價,，砍到兩萬八、一萬八，直至八千元,，潘子平也說自己拿不出來,。之后,，對方便開始指使潘子平打開借唄等網(wǎng)貸平臺，企圖讓潘子平通過借網(wǎng)貸的方式給他們錢,。

就在轉(zhuǎn)賬前一秒，潘子平幡然醒悟,，他立刻掛斷視頻,，撥打110報警,。由于未造成實際損失,，警方并未立案。潘子平問警察,，那段利用AI技術實時換臉的淫穢視頻怎么辦,？警方也無法將這段視頻銷毀，只能告訴他,，編輯信息群發(fā)給通訊錄告知此事,。

潘子平認為，就是那款游戲讓自己的信息泄露,，他趕緊檢查每項APP的手機權限，以免再次遇到“危險”。

在王潔的調(diào)研中，不乏有人因閱覽不正規(guī)網(wǎng)站而丟失個人信息,，乃至遭到詐騙,。他指出,，要采集人臉信息，對于現(xiàn)有技術而言是一件非常簡單的事情。遍地可見的攝像頭、手機里因身份驗證而做的面部檢測,、擁有相冊讀取權限的APP等,，都在悄無聲息地獲取人臉信息。

濟南人方楊宥遭遇的AI詐騙,，對方僅和他視頻通話7秒,。來源：“濟南公安”微信公眾號

2021年，《焦點訪談》曾報道,，在公安部“凈網(wǎng)2021”專項行動中,，合肥市公安局網(wǎng)安支隊聯(lián)手包河分局打掉一個犯罪團伙，該團伙非法利用AI人工智能技術,，偽造他人人臉動態(tài)視頻,，為黑灰產(chǎn)業(yè)鏈提供注冊手機卡等技術支撐。犯罪嫌疑人電腦中有10G左右的人臉數(shù)據(jù)信息,，這些信息在網(wǎng)上轉(zhuǎn)手多次,，而它們的主人對此毫不知情。

活躍在屏幕上的明星網(wǎng)紅,，相比普通人則更易丟失臉部信息,。2021年8月，劉昊然工作室發(fā)布聲明稱,，由于網(wǎng)絡上出現(xiàn)大量用AI換臉技術對演員劉昊然進行侮辱的視頻,、視頻截圖及含有侮辱誹謗言論的聊天記錄，上述視頻,、截圖還被不斷販售,，工作室向警方報案,。近期，還有商家利用AI換臉技術,，將演員迪麗熱巴和楊冪的臉部特征應用到他們的電商平臺直播間,。

擁有130萬微博粉絲的網(wǎng)紅“Caro賴賴”，則因AI換臉技術,，陷入了黃色謠言的困境,。今年4月她在微博發(fā)文稱，她的臉被盜用在一些淫穢視頻里,。有人在境外社交平臺上冒充其身份注冊了賬號,，先是搬運她的日常內(nèi)容，等粉絲人數(shù)差不多時,，就開始以會員訂閱的方式販賣這些頂著她的臉的色情視頻。

“AI技術存在被人類濫用的情況,?！比A東政法大學刑事法學研究院院長、上海市法學會刑法學研究會會長劉憲權認為,，如今人們已經(jīng)走入“弱人工智能時代”,，即技術仍是被人類使用的一種工具。隨著人工智能技術的發(fā)展,，侵權事件屢屢發(fā)生,，除了詐騙、造黃謠之外,，還有不少人們肖像權,、知識產(chǎn)權受到侵害的案例。

“護臉”難題

技術持續(xù)更新?lián)Q代,，大眾接觸到AI實時換臉技術的門檻日漸降低,。

早在2019年，就有一款名叫“ZAO”的AI換臉APP走紅,，用戶只需提供一張照片,，就能成為影視劇中的角色。但沒過多久,，因涉及侵犯版權,、隱私等方面的問題，這款APP就被下架,。

“事實上AI換臉技術本身沒有問題,，關鍵是使用方式?！眲棛嗾f,，一旦技術被濫用,，就隱含了巨大的風險。于2023年1月10日施行的《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》中也提到,，提供深度合成服務,，應當提供顯著標識功能，并提示深度合成服務使用者可以進行顯著標識,。深度合成服務提供者和技術支持者提供人臉,、人聲等生物識別信息編輯功能的，應當提示深度合成服務使用者依法告知被編輯的個人,，并取得其單獨同意,。

然而AI實時換臉技術，仍在互聯(lián)網(wǎng)上悄悄販賣,，這為“顯著標識”以及“告知被編輯的個人”增加了難度,。

以“AI換臉”為關鍵詞在淘寶平臺上檢索，并無產(chǎn)品出現(xiàn),。但若替換為“AI換頭”“AI換人臉”等相近詞語,，即可檢索到產(chǎn)品。對照片進行換臉的售價在35,、50,、100元不等，而視頻換臉則以分鐘計費,，收費為一分鐘70元,、150元、400元不等,。

“可以換成任何人的臉”,，店家“工程師老張”稱，只需客戶提供原視頻和任意一張人臉照片,，就能實現(xiàn)百分之百無痕換臉,。不但能與當紅明星更換面孔，還能讓已去世的故人在視頻中“復活”,。

“工程師老張”不僅提供AI換臉服務,，還教換臉技術?！翱梢栽谖覀冞@兒買程序,，自學自做”，他宣稱自己研發(fā)了算法進行換臉,，并將相關程序插件在淘寶平臺售賣,，價值368元。程序采用卡密激活的方式,，產(chǎn)品有效期50年,，其間可以無限次使用該程序,。

若想將臉換得更加自然，多位商家均表示,，需要買家提供與原照片相近或完全相同角度的人臉照片,。不過也有一位商家表示，只需要買家提供一張正臉的照片,，他們便能做到“以假亂真”的效果,，“我們根據(jù)正臉照片自動建模，就可以算出另外幾個角度的樣子,?！?/p>

不少商家會引導用戶添加微信詳談。新京報記者加了店鋪“杰倫視頻設計站”老板的微信,，截止今年7月,，該商家售賣產(chǎn)品在淘寶的月銷量顯示為23，但在聊天過程中,，對方為說服新京報記者下單,，屢次強調(diào)其營業(yè)收入一個月20萬。他還展示了自己的支付寶截圖,，顯示總資產(chǎn)16萬元。咨詢當日下午14點36分,，該商家表示,，當日營收已經(jīng)將近1000元。

這位商家自稱是AI實時換臉領域的高手,，發(fā)布的朋友圈均為相關案例,。5月9日，他在朋友圈發(fā)布了一條19秒的視頻,，一位女主播穿著露肩上衣和超短裙,，搭配著黑色絲襪，對著鏡頭扭動舞蹈,，她的臉看起來和明星楊冪別無二致,，唯有在低頭、側(cè)身時,，畫面看起來不太協(xié)調(diào),。

他告訴新京報記者，普通視頻收費為70元一分鐘,，色情視頻收費為150元一分鐘,。他展示了一張截圖，里面均為淫穢圖像和視頻,，而后又迅速撤回,。當新京報記者詢問是否均為換臉視頻,，他回答稱，“不要問那么多,，跟你說能換就行了,，不宜多說?！?/p>

新京報記者調(diào)查發(fā)現(xiàn),，上述商家確實在兩小時內(nèi)就能依據(jù)客戶需求，成功制作一條一分鐘的換臉淫穢視頻,，完成交易,。交談間，他多次撤回他認為“敏感”的信息,，從未提及要告知“被編輯的個人”,，而后發(fā)來的視頻，也無任何關于AI換臉的標識,。但該商家附帶發(fā)送一段“免責聲明”,，稱“任何圖和視頻資料禁止傳播，任何后果與制作方無關,，僅供娛樂,，本人不對圖片和視頻用途負責，不承擔任何責任風險,?！?/p>

一名淘寶商家向新京報記者展示了一份截圖，上面均為淫穢色情圖片或視頻,，以此證明自己“什么視頻都能做”,。記者調(diào)查截圖

除了淘寶之外，抖音也有多款AI換臉軟件產(chǎn)品,，售價在1元至196元不等,。此外，小紅書平臺也有售賣AI換臉課程的賬號,，這些賬號通過發(fā)布AI換臉視頻,，配上“最近很火”“快速學會”等文案，引導用戶關注和購買,。

也有的AI換臉軟件是免費的,。在抖音以“AI換臉”為關鍵詞進行檢索，會彈出大量相關的短視頻廣告,，下附AI換臉軟件的鏈接,。在一款叫“AI隨拍”軟件的鏈接后，各式各樣的明星,、素人短視頻浮現(xiàn)在主頁上,。只需觀看25秒的廣告,，就可以用這款APP免費制作一個十多秒的視頻。

“就像人們買刀一樣,，難道買刀殺人之后,，怪這把刀或者賣刀的人嗎？”北京市華城律師事務所合伙人甘仕榮指出,，技術本身沒有問題,，關鍵在于使用者是否做出違法行為，如惡意丑化,，涉嫌侵犯他人的名譽權,，出售換臉色情視頻，涉嫌制作,、傳播淫穢物品,，可能構成刑事犯罪等。只是,，任意售賣這一技術,，增加了違法風險，也加大了執(zhí)法監(jiān)督的難度,。

怎樣保護我們的“臉”

“AI的出現(xiàn),，讓原本就易受騙的人群更容易上當了?！蓖鯘嵳f,，AI只是一個工具，詐騙人員將其用來增強騙局里的可信度,，從而提高他們詐騙的成功率。隨著網(wǎng)絡成為人們生活的一部分,，AI換臉騙局不僅是侵占他人財產(chǎn)那么簡單的事情了,，劉憲權認為，這一技術若再發(fā)展下去,，詐騙方式將更加逼真和多樣,，讓人們防不勝防。

根據(jù)張振華的辦案經(jīng)驗,，目前的AI詐騙案件中,，這一技術并不是“完美”的，如果視頻通話時間長一些,，或者將臉放置于復雜,、不穩(wěn)定的場景中，就可能露出蛛絲馬跡,。然而人們在緊急狀況下,，面對熟悉面孔和聲音,，很難多次對聲畫進行試探和觀察。

兩位專家均表示,，要針對AI侵權事件進行維權,，并非一件易事。劉憲權指出,，目前在法律層面沒有關于AI技術使用和發(fā)展過程中的相關規(guī)制,。

王潔則認為，當利用AI技術進行電信網(wǎng)絡詐騙等侵權事件已經(jīng)發(fā)生,，再去追究的難度太大,。他曾調(diào)研過多位反詐警察，當他們花費大量時間和金錢之后,，卻發(fā)現(xiàn)犯罪源頭在境外,。對于受害人而言，也不是所有人都能付出足夠的時間,、金錢和精力去追究侵權事件的責任,。

淘寶平臺上，依然有商家對AI換臉技術進行售賣,。網(wǎng)絡截圖

潘子平的臉被盜用在黃色視頻后,，由于沒有被騙錢，報警后沒有立案,。他既找不到是誰盜用了他的臉,，也無法讓對方停止傳播，只能編輯一條短信群發(fā)給每位好友,，提醒他們不要傳播,，也不要相信視頻內(nèi)容。

“一心只想化妝的阿蕾”是小紅書平臺上擁有兩百多萬粉絲的美妝博主,，她發(fā)布了很多國風妝造的圖片,。去年4月，她發(fā)文自述稱其主頁視頻被盜用至換臉APP成為換臉模板,。她并不清楚是誰上傳了這些模板,，“一個APP可能有幾十個甚至上百個上傳者，這給維權增添了不少難度,?！?/p>

“我沒那個錢和精力去搞，這不是我的原罪,?！庇腥嗽谠u論區(qū)提醒她維權，她無奈道，維權首先要從起訴APP開始,，定位到每位上傳者,，再起訴個人，這樣的時間和金錢成本都很高,，前后時間線拉得很長,，勝訴得到的賠款卻沒多少。

“核心問題是個人信息保護,?！蓖鯘嵳J為，詐騙事件背后都存在個人信息泄露的情況,，隨著深度偽造技術不斷更新?lián)Q代,，保護人臉等個人隱私成為不可輕視的問題。因此公安機關在查案辦案時,，應該更加關注信息泄露的渠道,，從源頭來進行治理。政府應該加強對個人信息保護的監(jiān)管,，而APP開發(fā)商運營商等各環(huán)節(jié)也應該共同協(xié)力,，在人臉信息的存儲、讀取,、使用,、清除等方面依法管理，促進企業(yè)個人信息保護合規(guī)自律,。

人工智能技術飛速發(fā)展,，劉憲權提出應該探討如何做到違法侵權的事前防范。他認為,，目前人工智能技術還未發(fā)展到成為獨立責任主體的地步,，技術仍是一種被人利用的工具，只是因其有一定的智能部分,，被不法分子利用時可能加大對社會的危害,。因此，除了完善對于新技術的相關法律法規(guī),，還應該對于人類使用和發(fā)展該技術的過程進行相關限制，比如某一領域是否準入,，又有什么人可以使用相關技術等,。

與人工智能技術相關的法律法規(guī)也在不斷完善。4月11日,，國家網(wǎng)信辦發(fā)布了《生成式人工智能服務管理辦法（征求意見稿）》,，對提供生成式人工智能服務做出較為詳盡的規(guī)定，其中包括準入資格,、內(nèi)容生產(chǎn)者和個人信息處理者等各方責任義務和相關處罰措施等,。

“我們的未來一定是會和AI共存共生長的”,，王潔說，這意味著人類也將和AI侵權事件共生共存,。他認為,，今后的立法要及時關注技術發(fā)展過程中出現(xiàn)的新現(xiàn)象和新問題，普通網(wǎng)民要提升對網(wǎng)絡高風險的認識,，而執(zhí)法監(jiān)督部門則更應加快技術升級,，研發(fā)“反換臉”等檢測技術，利用人工智能技術提高辦案能力,。

他說,，“唯有全社會各方通力合作”，才能讓技術的應用向善發(fā)展,。

（方楊宥,、潘子平為化名）

新京報記者 汪暢 實習生 鄒冰倩

編輯 陳曉舒

校對 賈寧