每經(jing)記者｜杜蔚  孫宇婷 ;   每經(jing)編(bian)輯(ji)｜易啟江    

黑灰產正在兜售(shou)楊冪、迪(di)麗熱(re)巴(ba)、劉(liu)亦菲等明星(xing)或(huo)(huo)者(zhe)(zhe)政治人物、企業(ye)家的AI臉，只需要1280元。《每日經(jing)濟新(xin)聞》記(ji)者(zhe)(zhe)（簡稱每經(jing)記(ji)者(zhe)(zhe)或(huo)(huo)記(ji)者(zhe)(zhe)）調查發現，AI臉在實時視(shi)頻通話(hua)和直播中都能(neng)“瞞天過海”，微信、抖音、快(kuai)手、小紅書等平(ping)臺也難以識別。

記者暗訪(fang)了(le)解到(dao)，與之(zhi)前的(de)(de)網絡換臉完(wan)全不(bu)同(tong)，新技(ji)術實(shi)(shi)現了(le)聲(sheng)音與圖像(xiang)的(de)(de)實(shi)(shi)時同(tong)步克隆，用戶只需模仿目標(biao)人物的(de)(de)發型和(he)(he)服裝，AI生成高(gao)仿真語音和(he)(he)面部表情，即可完(wan)成全套偽造。這種技(ji)術的(de)(de)成熟使得偽造視頻(pin)在視覺(jue)和(he)(he)聽覺(jue)上(shang)都(dou)達(da)到(dao)了(le)近乎完(wan)美的(de)(de)程度。新技(ji)術是通過(guo)“綁架”手機攝像(xiang)頭，從而繞開了(le)平臺(tai)算法監測。通過(guo)揮手、大幅(fu)遮(zhe)擋來識別(bie)真偽的(de)(de)傳統手段，已(yi)完(wan)全失效(xiao)。

面(mian)對如(ru)此逼真的(de)實時AI變身，普通人(ren)如(ru)何自保？抖(dou)音、快手、微信等平臺(tai)作為(wei)億萬(wan)用戶的(de)守護者，又(you)該如(ru)何提升(sheng)防御(yu)能力(li)？站(zhan)在新的(de)十(shi)字路口，我們是(shi)否已(yi)準備好迎接這一挑(tiao)戰(zhan)？

1

拍臉按鼻露齒及大幅遮擋

都不(bu)會“掉臉(lian)”

在(zai)技術推動下，AI換臉已能實現實時視頻通話和直播不露(lu)餡，且成(cheng)本低廉。

隨著人工智能技術的快速發展，AI深度偽造技術在過去幾年中經歷了顯著的迭代升級。在AI換(huan)(huan)(huan)臉(lian)(lian)(lian)技(ji)術(shu)方(fang)面(mian)，早期(qi)的(de)換(huan)(huan)(huan)臉(lian)(lian)(lian)模(mo)型依賴(lai)于(yu)目標面(mian)部(bu)(bu)的(de)清晰(xi)坐標（面(mian)部(bu)(bu)地標）進(jin)行操作。因此(ci)，普(pu)通人可以通過一(yi)(yi)些簡單的(de)方(fang)法揭露偽(wei)造(zao)內容，例如要求視頻通話中的(de)對方(fang)用手在臉(lian)(lian)(lian)上劃過。由(you)于(yu)手部(bu)(bu)動作會遮擋面(mian)部(bu)(bu)地標，導致換(huan)(huan)(huan)臉(lian)(lian)(lian)模(mo)型無法準確(que)識別和渲染，從而(er)破壞換(huan)(huan)(huan)臉(lian)(lian)(lian)效果。然而(er)，最(zui)新的(de)AI換(huan)(huan)(huan)臉(lian)(lian)(lian)技(ji)術(shu)已(yi)經克服了這一(yi)(yi)缺(que)陷。

記者暗訪了(le)解(jie)到，最新的(de)AI偽(wei)造技術(shu)實(shi)現(xian)了(le)聲音與圖像的(de)同步(bu)克(ke)隆。這種技術(shu)的(de)成熟(shu)使(shi)得偽(wei)造內容在視覺和聽覺上都達(da)到了(le)近乎完美(mei)的(de)程度，進一步(bu)增(zeng)加(jia)了(le)識(shi)別(bie)的(de)難度。

打開(kai)“抖快小”等(deng)平臺(tai)搜索AI換臉、AI視頻(pin)通話等(deng)關鍵詞，發(fa)現不少IP主(zhu)發(fa)帖，當中暗藏(zang)著以此(ci)牟利的黑灰產公司等(deng)信(xin)息。

“照片由你提供，中外明星、名人或者企業家以及素人等，我們都能做。你怎么用，自己把握，我們不會去打聽，也不管。”《每日經濟新聞》記者以消費者身份暗訪時，一家AI換臉公司的工作人員徐盛（化名）表示，“定做(zuo)一張（臉）1980元，先付500元訂金(jin)，5個小時左右做(zuo)好。然后你(ni)就可以用這(zhe)張臉在微信(xin)、QQ等(deng)平(ping)臺視頻通話(hua)，去抖音、快手等(deng)直播也是可以的。定做好的‘人臉’永久使用，多(duo)做幾張，我給(gei)你(ni)優(you)惠，3張以上1600元，你(ni)可隨時(shi)切換‘臉’來用。”

為向記者展示“AI畫皮”術的高超，徐盛主動從微信等平臺(tai)給記者打(da)來視頻電話，其(qi)間(jian)用力拍(pai)臉、按鼻(bi)、露齒以及大幅度的臉龐遮擋等，均未露餡。“你看，怎么都不會‘掉臉(lian)’。聲音也(ye)可(ke)以(yi)克隆，全套做好(hao)，你只(zhi)要模仿對方的(de)發型(xing)和服裝就行。”

據徐盛介紹，開年后前來“畫皮”的人很多，公司接單量較大，超負荷運行。“光我就接了近1000個，我們這里有七八臺設備，每天要做到凌晨五點。你想要名人臉，可以先發我名字，如果是我們公司庫中已有的（客人定制過的），可以優惠出售，這樣大家都方便。像楊冪(mi)、劉詩(shi)詩(shi)、迪麗熱(re)巴(ba)、劉亦菲等(deng)，都是現成的，1280元一張(zhang)（臉）。”

在(zai)談及公司的(de)“定制臉”時，徐盛(sheng)表示，目(mu)前以素人臉為主，“名(ming)人的(de)話(hua)，在(zai)平臺上(shang)直播(bo)容易被(bei)舉報。”

2

“綁架(jia)”手(shou)機攝(she)像頭

多(duo)平(ping)臺無法識別真偽

迭(die)代(dai)后(hou)的“AI畫皮(pi)”技術，在實(shi)時視頻(pin)通話中，竟能避開多個平臺的監測(ce)。

暗訪中，徐盛轉場不同平臺向《每日經濟新聞》記者打來視頻電話，甚至“現身”直播間，都暢通無阻。在這些“實時流”中，相關畫面未有任何風險提示或被切斷。“我們還沒有收到有人被（平臺）發現的反饋，因為(wei)在手(shou)機攝像頭里，你打過去的時候，平臺上能看到的已經(jing)是‘換過的臉’。”

圖片來源：黑灰產從業者朋友圈

在進一步交流中，記者獲悉，使用“AI畫皮”時，需在手機和電腦端都安(an)裝(zhuang)由上(shang)述公司(si)提供的軟(ruan)件。“我們(men)不僅支(zhi)持在微信(xin)、QQ、抖(dou)音、快(kuai)手、小紅書(shu)上進行視頻通(tong)話或直播(bo)，一些海外平臺，如WhatsApp、Telegram、Line也(ye)可以。”徐盛告訴記者。

為什么“AI畫皮”能在這么多平臺“瞞天過海”？“它(ta)是通過‘綁架’我們的(de)手(shou)機攝(she)像(xiang)頭來實現的(de)‘變臉’，而非篡改平臺算法。”國內(nei)一家(jia)科技(ji)公(gong)司的相關負責(ze)人(ren)告訴每經記者(zhe)。

對此，中國人民(min)大學民(min)商事法律科學研究中心(xin)副主(zhu)任姚歡慶(qing)在接受每經(jing)記者采訪中提醒(xing)，當這種(zhong)技(ji)術(shu)(shu)主(zhu)要用于(yu)“綁架攝像頭”的效果時(shi)，非常有可能構成“提供(gong)侵(qin)入計算機信(xin)息系統程(cheng)序罪”。在構罪的情況下，軟件的技(ji)術(shu)(shu)開發者、用戶都很難(nan)脫罪。

“平臺(tai)(tai)對AI生成的深度偽(wei)造(zao)（包(bao)括AI換臉和克隆語音等）難以(yi)實時檢測，因(yin)為(wei)平臺(tai)(tai)并非為(wei)鑒證級別的（面部或音頻(pin)）分析而(er)設計(ji)。以克(ke)隆語音(yin)為例(li)，加密使得(de)掃(sao)描變得(de)不可能(neng)(neng)，而壓縮則扭曲了(le)語音(yin)信號，讓檢測(ce)更加復雜(za)，此外，計算負擔(dan)也很(hen)高。”全(quan)球知(zhi)名科(ke)技(ji)公司Sensity AI聯合(he)創始(shi)人(ren)弗(fu)朗切斯科(ke)·卡瓦利(li)向(xiang)《每日經濟新聞》記者(zhe)表示。Sensity AI專注于網絡安全(quan)和人(ren)工(gong)智能(neng)(neng)領域，特(te)別是通過AI技(ji)術檢測(ce)和預防深度偽造（Deepfake）等威脅。

2024年(nian)度《人工(gong)(gong)智能指數報告》（AI Index Report 2024）指出，2023年(nian)報告了123起(qi)人工(gong)(gong)智能濫用事件，比2022年(nian)增加(jia)了32.3%。自2013年(nian)以來(lai)，這類(lei)事件增加(jia)了二十多倍。知名(ming)的(de)例子包(bao)括由AI生成的(de)美(mei)國(guo)明星泰勒•斯威夫(fu)特，這一(yi)具有性暗示的(de)深度偽造視頻在網上廣泛傳播，反映出AI在隱(yin)私、安(an)全等(deng)方面的(de)風險。該報告由“人工(gong)(gong)智能教母”李飛飛聯合領導的(de)斯坦(tan)福以人為本(ben)人工(gong)(gong)智能研(yan)究所（Stanford HAI）發布。

世界(jie)經濟論壇官(guan)網今(jin)年1月發布的(de)報道指(zhi)出(chu)，生成式人工智能(neng)（GenAI）的(de)興起(qi)使欺(qi)詐行(xing)為(wei)以前所(suo)未(wei)有的(de)速度(du)(du)增(zeng)長(chang)。2023年，利用深度(du)(du)偽造技術繞過(guo)身份驗證的(de)事件激增(zeng)704%。

“AI深度(du)偽(wei)造(zao)已(yi)成為(wei)網絡犯罪(zui)分子的一個(ge)新興操作工具。”卡瓦(wa)利直言。

姚歡慶向每經記者指出，“但凡采用AI技(ji)術模仿(fang)明星或(huo)者(zhe)名人的聲(sheng)音或(huo)者(zhe)肖像，用于通(tong)話和(he)直播帶貨，使得(de)他人產生誤(wu)認的效果，涉嫌違法，并至(zhi)少構成一種不正當競爭行為，從而要(yao)承擔停止侵權(quan)、賠償損失的法律責(ze)任。至于是否構成對他人肖像權、聲音權的(de)侵犯，還(huan)需要根據具體(ti)情節(jie)確定。”

3

平(ping)臺(tai)回應：

嚴禁售(shou)賣 AI換(huan)臉

及與之類(lei)似的商品

當“AI畫皮(pi)”頻繁出沒，擁(yong)有數(shu)億月活用(yong)戶的平臺們，也感受到這(zhe)次危(wei)機(ji)的嚴(yan)峻(jun)。

數據顯示，截至2024年三季(ji)度，微信月(yue)活躍(yue)(yue)(yue)賬戶數達13.82億(yi)。2月(yue)18日(ri)，專注移動(dong)互聯網數據分析的第(di)三方機構QuestMobile發布最新(xin)數據，2024年12月(yue)全網月(yue)活躍(yue)(yue)(yue)用戶規(gui)模再次刷(shua)新(xin)歷史紀錄，達到12.57億(yi)。其(qi)中，抖音(yin)、快(kuai)手、小紅書的月(yue)活躍(yue)(yue)(yue)用戶規(gui)模分別為9.78億(yi)、5.87億(yi)、2.25億(yi)。

北京市隆安律師事務所上海分所律師賈玉倩向《每日經濟新聞》記者表示，平臺有義務根據自查、用戶投(tou)訴等反饋信(xin)息，及時(shi)下(xia)架有欺詐風險的視(shi)頻。

對此，姚歡慶表示，“提供換臉服務的平臺(tai)，很有(you)可能要承擔(dan)責任。因為換臉服務雖然也可以用于正當目的，但更大的概率是用于不正當的活動。當然，這部分需要立法上明確。即換臉服務應當是一種特許經營，類似于開鎖，需要獲得政府的準入。如果是這樣，平臺(tai)就有審核義務(wu)。” 

針對(dui)(dui)技術(shu)升級(ji)后的(de)“AI畫(hua)皮”情況(kuang)，抖(dou)音方(fang)面相關(guan)負責人(ren)(ren)(ren)向《每日(ri)經濟新(xin)聞》記者表示，“我們平臺不(bu)鼓(gu)勵對(dui)(dui)‘AI換臉’等可能(neng)涉及侵犯他人(ren)(ren)(ren)權益的(de)內容進行(xing)宣傳(chuan)、推廣(guang)或(huo)教(jiao)授。對(dui)(dui)于(yu)宣傳(chuan)推廣(guang)AI換臉軟件或(huo)教(jiao)學(xue)等內容，以及未經他人(ren)(ren)(ren)授權或(huo)同(tong)意，利用他人(ren)(ren)(ren)形象(xiang)創(chuang)作(zuo)可能(neng)誤導(dao)觀眾為該人(ren)(ren)(ren)物本人(ren)(ren)(ren)發布或(huo)真實(shi)發生的(de)視頻內容，均會予以相應(ying)管控。”

在直播場景下，抖音也全面禁止不當使用AI換臉技術，因為會造成用戶的混淆認知。并禁止以獵奇、夸大噱頭等對AI技術不當宣傳行為。上述負責人表示：“根據不同嚴重程度，我們會對相關賬號進行從警告中斷(duan)到封禁(jin)直播權限不等的處置(zhi)。”

“我們持續(xu)治理‘AI換臉’相關內容，針(zhen)對‘AI換臉冒充他人’‘違規提供AI換臉服務’等內容，平臺會根據規則進行相應管(guan)控。”小紅(hong)書方面相關負責人向(xiang)記(ji)者表示。

微(wei)信視頻創作安(an)全(quan)中(zhong)心相(xiang)關負(fu)責人(ren)亦告訴《每日經濟新聞》記(ji)者，對于涉及(ji)真人(ren)出鏡的內(nei)(nei)容(rong)(rong)，無(wu)論是否使用 AI 技術(shu)制作，若存(cun)在冒充他人(ren)的傾向(xiang)或(huo)用于商(shang)業用途，均需(xu)提供證明材料，確保為本人(ren)真實身份或(huo)已獲得相(xiang)應授權。“完全(quan)由 AI 生成的人(ren)臉內(nei)(nei)容(rong)(rong)，需(xu)提交(jiao)AI制作過程的相(xiang)關信息，并使用平臺提供的功(gong)能進行顯著標識(shi)。”

同時，微信、“抖快(kuai)小(xiao)”等(deng)方面的(de)相關(guan)人(ren)士均向每經記者表示(shi)，若用(yong)戶發現(xian)平臺(tai)上出現(xian)“AI換(huan)臉”相關(guan)的(de)違規內容，都可通過站內官方渠(qu)道進行舉報(bao)。

“為切實保障用戶權益，維護平臺健康生態，我們明確規定：嚴禁售賣 AI 換臉及與之類似的商品。”抖音電商相關負責人在接受記者采訪時表示，像利用AI 技術進行換臉、換聲，以致干擾、誤導用戶判斷的這類商品和信息，均被平臺列入違禁范疇。一旦發現商家存在違規操作，平臺將秉持從嚴原則，依據相關規定予以處理；若情(qing)節(jie)嚴重(zhong)，不僅會封禁(jin)相(xiang)關商品，還會責令店(dian)鋪停業整(zheng)頓。

4

目前無法實時攔截

審核及監管(guan)需(xu)升級技術

盡管平臺們十分重視“AI畫皮”帶來的隱患，但采訪中，多家平臺和技術專家均向《每日經濟新聞》記者坦言，目前對(dui)在視頻(pin)通(tong)話和直(zhi)播(bo)中(zhong)的(de)“畫皮人”實(shi)施攔截(jie)的(de)難度極高。

“我們有(you)技術(shu)層面(mian)的主動(dong)識(shi)別(bie)，但無法窮盡，也有(you)通過舉報反向(xiang)治理。”有(you)平臺方面(mian)稱(cheng)。

針對平臺的審核挑戰，卡瓦利向《每日經濟新聞》記者表示，加密平臺無法直接分析內容，并且，于平臺而言，想要(yao)在數百萬個同(tong)時發生(sheng)的(de)視(shi)頻通(tong)話（直播）中，運行深(shen)度學(xue)習(xi)模(mo)型具有很大的(de)挑(tiao)戰性，成(cheng)本也(ye)較高。要(yao)阻擋實時AI深度偽造的(de)攻擊(ji)，最大的(de)技術挑戰在于“隱(yin)私悖論以及（平臺）與攻擊(ji)者間(jian)的(de)貓(mao)鼠游戲”。

“平臺(tai)無法(fa)在不(bu)違反隱私法(fa)律的(de)情況下掃描加密通話，而攻擊者(zhe)則不(bu)斷改進(jin)AI生成的(de)畫面、聲音以逃避檢測。除非模型直接(jie)嵌入用戶設備(bei)，否則實(shi)時攔(lan)截不太(tai)可(ke)能有效。”卡瓦利坦言。

在看過《每日經濟新聞》記者提供的(de)“AI畫皮(pi)人(ren)”后(hou)，有行業人(ren)士(shi)提出了擔憂，“AI換(huan)臉(lian)(lian)人(ren)”是否(fou)能繞過系統的(de)“真人(ren)驗證”。未來是否(fou)會發生偽裝成(cheng)去世老人(ren)“吃空餉”，而一些空殼公司(si)則可能借用(yong)AI換(huan)臉(lian)(lian)注冊后(hou)逃避債務。

“（技術上講）這是可行的，當前的深度偽造技術可以欺騙面部和語音識別的防偽驗證。”卡瓦(wa)利向每(mei)經記者解釋道，大多數系(xi)統只是(shi)(shi)檢查出(chu)現的(de)臉部和聲音是(shi)(shi)否匹(pi)配，而不(bu)會檢查它們是(shi)(shi)否來自真人。

圖(tu)片來源：黑(hei)灰產從業者聊天記(ji)錄截(jie)圖(tu)

卡(ka)瓦利預(yu)測，“AI深(shen)(shen)(shen)度偽(wei)(wei)造(zao)(zao)(zao)技(ji)術會變(bian)得(de)更(geng)成熟。模型將(jiang)繼續縮小規模，使實(shi)時、超逼真(zhen)的深(shen)(shen)(shen)度偽(wei)(wei)造(zao)(zao)(zao)通話對任何擁有智(zhi)能(neng)手機的人(ren)都可(ke)以訪(fang)問(wen)。我們還(huan)將(jiang)看到多(duo)模態深(shen)(shen)(shen)度偽(wei)(wei)造(zao)(zao)(zao)——語音、視頻，甚至(zhi)行為生物特征被合(he)成在一(yi)起，創造(zao)(zao)(zao)出完全虛假的身份(fen)。防御措施必須(xu)同(tong)樣快速跟上。”

AI技術在推動社會生產力發展的同時，也正以驚人速度淪為新型犯罪手段。姚歡慶在接受每經記者采訪時指出：“整體技術的開發和應用，都應當通過立(li)法來嚴格(ge)限(xian)制。目前(qian)的環境總體來說過于寬松。”

姚歡慶(qing)認為(wei)，“AI詐(zha)騙(pian)數量的(de)大(da)幅增(zeng)長跟技(ji)(ji)術的(de)發展是密(mi)不可分的(de)。作為(wei)詐(zha)騙(pian)者和整(zheng)個(ge)社會，其實就是一個(ge)道魔(mo)斗法的(de)過程，這當(dang)中，網絡(luo)詐(zha)騙(pian)導(dao)致技(ji)(ji)術追蹤的(de)難(nan)度(du)，以(yi)及詐(zha)騙(pian)者利(li)用不同法域(yu)詐(zha)騙(pian)導(dao)致的(de)管轄尤其值得重(zhong)視。并且，鑒于人工(gong)智能技(ji)(ji)術的(de)濫用具有跨境性質，需要國際合作機制解決，否則很(hen)難(nan)很(hen)好地保護權利(li)人的(de)利(li)益(yi)。”

“AI行(xing)業可(ke)結合(he)司法規范，統一(yi)建立便(bian)于(yu)監(jian)管識別的(de)AI內容標識，便(bian)于(yu)追根溯(su)源(yuan)。同(tong)時(shi)，要考慮(lv)到AI技(ji)(ji)術(shu)不斷(duan)迭代、傳統審核手段應(ying)(ying)對(dui)的(de)局限性，審核及監(jian)管部門需要升(sheng)級技(ji)(ji)術(shu)，關注技(ji)(ji)術(shu)防(fang)御的(de)迫切性。”賈(jia)玉倩建議，應(ying)(ying)從源(yuan)頭肅(su)清技(ji)(ji)術(shu)濫用風(feng)險，同(tong)時(shi)，平臺方(fang)應(ying)(ying)加強傳播的(de)信息審核，強化通(tong)過AI合(he)成的(de)提(ti)示標識，并對(dui)用戶(hu)做好此類技(ji)(ji)術(shu)存在侵權風(feng)險的(de)教育工作。

策劃|宋德萍

記者|杜蔚 孫宇婷

編輯|易啟江

視覺|蔡(cai)沛君

排版|易啟江