新智元報道

來源:Arxiv 編輯:文強,三石,大明

【新智元導讀】根據(jù)一篇針對計算機生成的假臉假視頻DeepFake較為全面測評的論文,現(xiàn)有的先進人臉識別算法在面對計算機生成的假臉時基本束手無策,假臉生成算法和人臉識別軍備競賽已經(jīng)開始。不過,目前還有些小技巧,可以幫你用肉眼來分辨計算機生成的假臉。

2015年,現(xiàn)任教皇方濟各 (Pope Francis) 訪美,他是首次對美國進行正式訪問的教皇,還將主持在美國領(lǐng)土上的首次封圣,并在國會發(fā)表演講。時任美國總統(tǒng)和副總統(tǒng)的奧巴馬及拜登,分別攜各自的夫人,一起在美國安德魯斯空軍基地 (Andrews Air Force Base,也是總統(tǒng)機隊“空軍一號”的駐地) 迎接了教皇專機的降臨。

訪問期間,方濟各“一個出人意料之舉”震驚了世界:只見他在向圣壇禮拜后,轉(zhuǎn)身順手將桌布一抽,上演了一出絕妙的“抽桌布”戲法,動作之行云流水,令人膜拜。

教皇竟然還會這一手!相關(guān)視頻很快就火遍了全美乃至全球。

2015年現(xiàn)任教皇訪美,上演絕妙“抽桌布”戲法,美國主教看后表示不爽。當然,這段視頻是假造的,但這并不影響其流行。

世人震驚之余,幾乎都沒有懷疑——這個視頻當然是假造的。

在“毫無PS痕跡”的說法還十分流行的2015年,這個“毫無PS痕跡”的視頻成了后來被稱為DeepFake視頻的始祖。

現(xiàn)如今,DeepFake已被用于指代所有看起來或聽起來像真的一樣的假視頻或假音頻。

日前,Idiap 生物識別安全和隱私小組負責人 (注:Idiap研究所是瑞士的一家半私人非營利性研究機構(gòu),隸屬于洛桑聯(lián)邦理工學院和日內(nèi)瓦大學,進行語音、計算機視覺、信息檢索、生物認證、多模式交互和機器學習等領(lǐng)域的研究)、瑞士生物識別研究和測試中心主任 Sébastien Marcel 和他的同事、Idiap 研究所博士后 Pavel Korshunov 共同撰寫了論文,首次對人臉識別方法檢測 DeepFake 的效果進行了較為全面的測評。

他們經(jīng)過一系列實驗發(fā)現(xiàn),當前已有的先進人臉識別模型和檢測方法,在面對 DeepFake 時基本可以說是束手無策——性能最優(yōu)的圖像分類模型 VGG 和基于 Facenet 的算法,分辨真假視頻錯誤率高達 95%;基于唇形的檢測方法,也基本檢測不出視頻中人物說話和口型是否一致。

Pavel Korshunov 和 Sébastien Marcel 指出,隨著換臉技術(shù)的不斷發(fā)展,更加逼真的 DeepFake 視頻,將對人臉識別技術(shù)構(gòu)成更大的挑戰(zhàn)。

“在 DeepFake 方法和檢測算法之間的一場新的軍備競賽可能已經(jīng)開始了?！?

面對假臉生成算法,現(xiàn)有人臉識別系統(tǒng)幾乎束手無策

針對 Deepfake 視頻中人臉識別的漏洞,兩人在論文中對基于VGG和Facenet的人臉識別系統(tǒng)做了漏洞分析,還使用SVM方法評估了 DeepFake 的幾種檢測方法,包括嘴唇動作同步法和圖像質(zhì)量指標檢測等。

結(jié)果令人遺憾——

無論是基于VGG還是基于Facenet的系統(tǒng),都不能有效區(qū)分GAN生成假臉與原始人臉。而且,越先進的Facenet系統(tǒng)越容易受到攻擊。

VGG模型是2014年ILSVRC競賽的第二名,第一名是GoogLeNet。但是VGG模型在多個遷移學習任務(wù)中的表現(xiàn)要優(yōu)于googLeNet。而且,從圖像中提取CNN特征,VGG模型是首選算法。它的缺點在于,參數(shù)量有140M之多,需要更大的存儲空間。但是這個模型很有研究價值。

Facenet該模型沒有用傳統(tǒng)的softmax的方式去進行分類學習,而是抽取其中某一層作為特征,學習一個從圖像到歐式空間的編碼方法,然后基于這個編碼再做人臉識別、人臉驗證和人臉聚類等。

直方圖顯示了基于VGG和Facenet的人臉識別在高質(zhì)量人臉交換中的漏洞。

檢測Deepfake視頻

他們還考慮了幾種基線Deepfake檢測系統(tǒng),包括使用視聽數(shù)據(jù)檢測唇動和語音之間不一致的系統(tǒng),以及幾種單獨基于圖像的系統(tǒng)變體。這種系統(tǒng)的各個階段包括從視頻和音頻模態(tài)中提取特征,處理這些特征,然后訓練兩個分類器,將篡改的視頻與真實視頻分開。

所有檢測系統(tǒng)的檢測結(jié)果如下表所示。

說明一下表格中各種“符號”和數(shù)字的意思,你也可以直接跳過看本節(jié)最后結(jié)論:

在本系統(tǒng)中,使用MFCCs作為語音特征,以mouth landmarks之間的距離作為視覺特征。將主成分分析(PCA)應(yīng)用于聯(lián)合音視頻特征,降低特征塊的維數(shù),訓練長短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò),將篡改和非篡改視頻進行分離。

作為基于圖像的系統(tǒng),實現(xiàn)了以下功能:

Pixels+PCA+LDA:使用PCA-LDA分類器將原始人臉作為特征,保留99%的方差,得到446維變換矩陣。

IQM+PCA+LDA:IQM特征與PCA-LDA分類器結(jié)合,具有95%保留方差,導致2維變換矩陣。

IQM + SVM:具有SVM分類器的IQM功能,每個視頻具有20幀的平均分數(shù)。

基于圖像質(zhì)量測度(IQM)的系統(tǒng)借鑒了表示域(domain of presentation )的攻擊檢測,表現(xiàn)出了較好的性能。作為IQM特征向量,使用129個圖像質(zhì)量度量,其中包括信噪比,鏡面反射率,模糊度等測量。

下圖為兩種不同換臉版本中性能最好的IQM+SVM系統(tǒng)的檢測誤差權(quán)衡(DET)曲線。

IQM + SVM Deepfake檢測

結(jié)果表明:

首先,基于唇部同步的算法不能檢測人臉交換,因為GAN能夠生成與語音匹配的高質(zhì)量面部表情;因此,目前只有基于圖像的方法才能有效檢測Deepfake視頻。

其次,IQM+SVM系統(tǒng)對Deepfake視頻的檢測準確率較高,但使用HQ模型生成的視頻具有更大的挑戰(zhàn)性,這意味著越先進的人臉交換技術(shù)將愈發(fā)難以檢測。

假臉生成和真臉識別算法軍備競賽已經(jīng)開始

之前,大多數(shù)研究都集中在如何提高“換臉”技術(shù)上,為了響應(yīng)公眾對檢測”換臉“技術(shù)的需求,越來越多的研究人員開始研究數(shù)據(jù)庫和檢測方法,包括使用較舊的換臉方法Face2Face 生成的圖像和視頻數(shù)據(jù),或使用Snapchat應(yīng)用程序收集的視頻。

在 Pavel Korshunov 和 Sébastien Marcel 寫的這篇最新論文中,作者提供了首個使用基于開源GAN方法進行換臉的開源視頻數(shù)據(jù)庫。

他們從公開的VidTIMIT數(shù)據(jù)庫中,手動選擇了16對長相類似的人,將這32個目標都訓練兩種不同的模型,分別為低質(zhì)量 (LQ) 模型,輸入/輸出大小為64×64,以及高質(zhì)量 (HQ) 模型,輸入/輸出大小為128×128尺寸的模型(參見圖1)。

圖1:來自VidTIMIT數(shù)據(jù)庫原始視頻,以及低質(zhì)量(LQ)和高質(zhì)量(HQ)Deepfake視頻的屏幕截圖

為了讓其他研究人員能夠?qū)ζ涑晒M行驗證、復制和擴展,作者還提供了他們在研究中使用的Deepfake視頻數(shù)據(jù)庫、人臉識別系統(tǒng)和Deepfake檢測系統(tǒng),并將相應(yīng)的分數(shù)一起以Python開源包的形式放出。

肉眼分辨計算機生成假臉的一些技巧

就在不久前,英偉達發(fā)表論文,展示了計算機生成的逼真到恐怖的人臉圖像。對于虛假視頻泛濫的網(wǎng)絡(luò)來說,這可能導致一場迫在眉睫的“真相危機”。

英偉達新一代GAN生成的人臉,全都是不存在的人

以下圖片是從Nvidia的最新論文中獲取的截圖?？纯催@份指南里是怎么說的吧。

不對稱的面部特征、配飾

上面的圖片有一堆可疑的線索。最簡單的就是,此人頭頂位置出現(xiàn)的大塊的怪異斑點。這種現(xiàn)象或像差在AI生成的圖像中很常見,與幾年前谷歌的DeepDream實驗的表現(xiàn)一致。

但是,當你環(huán)顧這個人的耳朵時,會發(fā)現(xiàn)圖像略微不對稱。一側(cè)頭發(fā)顯得模糊而且看上去很奇怪,且一只耳朵上沒有耳環(huán)。

算法不具備常識,并且不懂規(guī)則,比如不知道耳環(huán)一般要兩只耳朵都戴。因此,AI算法有時無法生成足夠真實的面部特征或首飾等。

牙齒

AI算法不知道正常人應(yīng)該有多少顆牙以及這些牙齒的朝向。一般AI算法不會選擇多角度描繪出這些牙齒的樣貌,而是亂來一氣。圖中的虛假頭像的牙齒就是典型例子。

上面這張圖可能稍微難辨別一點,但如果你仔細看她的牙,會發(fā)現(xiàn)她中間第三顆牙異常地小,而且耳朵也非常不自然,所以這也是一張生成的假頭像。

衣服和背景

上邊圖中的女性的衣服明顯有問題,此外注意這張圖片的背景也很奇怪,此外右側(cè)的頭發(fā)和耳環(huán)部分都很不自然,而且耳環(huán)只有一只。

上圖中,人物的衣服實在太奇怪了,圖中左側(cè)的耳朵上并未戴耳環(huán)等配飾,但衣服上方卻出現(xiàn)了一個懸在空中的“不明裝飾物”,這種現(xiàn)象在AI生成的虛假圖像中也不少見。

原文標題:AI假臉王生成!新一代GAN攻破幾乎所有人臉識別系統(tǒng),勝率95%

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。