亞馬遜人臉識別再次陷入輿論漩渦。該產(chǎn)品此前就遭到亞馬遜用戶、民間組織、股東甚至亞馬遜員工在內(nèi)超過15萬人聯(lián)名抗議。最近,在美國公民自由聯(lián)盟(ACLU)的一次測試中,它將535名美國國會議員中的28人誤判為罪犯!不過,亞馬遜今天回應(yīng),這只是ACLU設(shè)置有誤,菜炒糊了別怪鍋。

亞馬遜人臉識別產(chǎn)品Rekognition又闖禍了。

美國公民自由聯(lián)盟(ACLU)使用亞馬遜的這款人臉識別軟件進行了一項實驗,發(fā)現(xiàn)軟件錯誤地將28名國會議員判定為此前被捕的罪犯!

尷尬。

但亞馬遜方面今天回應(yīng),其軟件的設(shè)計本意是輔助人類工作,造成誤判的原因是ACLU在實驗中使用了錯誤的設(shè)置,將識別閾值定為80%,一般在警方工作中建議閾值不低于99%——簡而言之,這鍋我們可不背。

Rekognition是亞馬遜最具爭議的產(chǎn)品之一。這是一款在亞馬遜服務(wù)器上運行的圖像識別AI軟件,用戶需要為使用該軟件處理的每張圖片向亞馬遜付費。

它可以識別圖像或視頻上的文字、對象、場景、活動和人員。亞馬遜正積極地將其面部識別技術(shù)賣給執(zhí)法部門。在美國,警方已經(jīng)開始使用該軟件來尋找走失的兒童和被拐賣的人口。

但是,此舉引發(fā)了美國民眾極其強烈的反對和民權(quán)倡導者的嚴重質(zhì)疑,遭到亞馬遜用戶、民間組織、股東甚至亞馬遜員工在內(nèi)超過15萬人聯(lián)名抗議。其中,最強烈的質(zhì)疑聲音來自美國公民自由聯(lián)盟(ACLU)。該組織警告稱,無處不在的面部識別軟件可能侵犯人們的隱私,并造成一個無縫不入的政府監(jiān)控系統(tǒng)。

使用默認設(shè)置,針對有色人種,識別錯誤率達5.2%

最近,ACLU找到了一些看似令人信服的證據(jù)——他們使用亞馬遜的Rekognition人臉識別工具,掃描了全部535名美國國會議員的照片,并將它們與25000張警方公開的罪犯面部照片進行了比對。

結(jié)果,系統(tǒng)錯誤地將28名國會議員的照片與罪犯面部照片進行了配對。

也就是說,亞馬遜的人臉識別工具認為,535名國會議員中,有28名議員看起來像是罪犯。

在測試時,ACLU使用25000張公開的入監(jiān),照構(gòu)建了一個面部照片數(shù)據(jù)庫和搜索工具。然后,他們搜索了這個數(shù)據(jù)庫,比對了所有現(xiàn)任參眾兩院議員的公開照片。他們使用亞馬遜為Rekognition的默認匹配設(shè)置。

民主黨眾議員Sanford Bishop (D-Ga.) 被亞馬遜人臉識別系統(tǒng)錯誤地判定為罪犯。

結(jié)果,產(chǎn)生了28個不正確的匹配——錯誤率達到5.2%。

被錯誤匹配的議員中,有色人種的比例顯著過高(11人),僅國會黑人同盟(Congressional Black Caucus)就有6名成員被誤判,其中包括著名的民權(quán)活動家眾議院議員約翰·劉易斯(D-Ga)。

測試表明,對于皮膚較黑的人和女性,人臉識別通常不太準確。雖然對于整個國會來說,錯誤率是5.2%,但對于非白人的國會議員,錯誤率達到39%。

有色人種被錯誤匹配的比例顯著過高。近40%的錯誤匹配來自有色人種,盡管他們只占國會議員的20%。

ACLU強調(diào),整個測試只花費了12.33美元。他們使用的是亞馬遜提供給所有用戶的面部識別系統(tǒng),任何人都可以用它來掃描人臉圖像,進行匹配。

ACLU希望此結(jié)果促使國會加入抵制行列,呼吁執(zhí)法部門停止使用亞馬遜人臉識別系統(tǒng)。

在今年早些時候,已有亞馬遜員工、股東、近70個民權(quán)組織組成的聯(lián)盟、400多名學術(shù)界人士,以及超過15萬名公眾呼吁亞馬遜,甚至上書亞馬遜CEO貝索斯,停止向政府和執(zhí)法部門提供人臉識別監(jiān)控!

亞馬遜回應(yīng):ACLU使用方法不對,這鍋我們不背!

亞馬遜今天在官方博客發(fā)表了一篇文章《關(guān)于機器學習準確率的思考》,署名Matt Wood 博士。

簡單說,亞馬遜認為ACLU一開始并沒有正確地使用這個工具,因此才造成上述看似荒誕的誤判。

事實上,美國公民自由聯(lián)盟(ACLU)是在默認的80%置信度閾值設(shè)置下使用Rekognition軟件,而不是亞馬遜為執(zhí)法機構(gòu)推薦的95%以上的置信度水平。

鑒于ACLU并沒有公開其實驗設(shè)置細節(jié),亞馬遜自己做了一個測試。他們使用 850,000 張學界通用的人臉和所有美國國會議員的圖片,將識別閾值調(diào)到99%以后,誤判率為0%。

此外,ACLU使用的罪犯照片也可能模糊不清,導致識別出錯。

亞馬遜發(fā)言人通過電子郵件回應(yīng)道:

“關(guān)于ACLU最近對Amazon Rekognition的測試,我們認為,通過在測試中設(shè)置最佳實踐的置信度閾值(即Rekognition發(fā)現(xiàn)一個匹配的百分比),結(jié)果可能會得到改進?！?

“對于熱狗、椅子、動物或其他社交媒體用例中的照片來說,80%的置信度是可以接受的閾值,但對于識別具有合理程度確定性的個人來說,這并不合適。當我們在執(zhí)法活動中使用人臉識別時,我們會引導客戶設(shè)置一個95%或更高的閾值?！?

在今天Wood博士發(fā)表的文章中提到,人們普遍存在一種誤解,認為人可以比機器更好地匹配面部照片。實際上,美國國家標準與技術(shù)研究所(NIST)最近分享了一項關(guān)于面部識別技術(shù)的研究,該技術(shù)至少比亞馬遜 Rekognition 中使用的技術(shù)落后兩年,并得出結(jié)論,即使是那些舊技術(shù)也能超越人類的面部識別能力。

“當有新的技術(shù)進步時,我們都必須清楚地了解什么是真實的,什么不是。使用機器學習識別食物和使用機器學習來進行面部匹配并根據(jù)其結(jié)果考慮是否應(yīng)該采取執(zhí)法行動,兩件事完全不同。后者是嚴肅的,需要更高的置信水平。我們繼續(xù)建議客戶,不要在執(zhí)法中使用低于99%的置信水平,然后僅將此方法作為眾多工具中的一種?！?

機器學習是一個幫助執(zhí)法機構(gòu)非常有價值的工具,雖然擔心它會被濫用,但我們不應(yīng)該因為把溫度調(diào)錯烤糊了比薩就扔掉烤箱。

誤報是人臉識別公認的問題,現(xiàn)階段必須由人接管

但是,一名ACLU律師告訴CNET,亞馬遜不一定會引導執(zhí)法機構(gòu)將置信度閾值設(shè)得更高。也就是說,如果警察部門使用該軟件,它的默認閾值設(shè)置仍是80%,也不會詢問用戶是否需要改變設(shè)置,哪怕用戶打算用它來識別罪犯。

ACLU律師Jacob Snow說:“亞馬遜不會詢問客戶他們使用Rekognition的目的是什么?！?

ACLU表示,即使是面向安全目的的人臉識別,亞馬遜網(wǎng)站也認為80%的置信度已經(jīng)足夠。

一位知情人士表示,當亞馬遜直接與執(zhí)法機構(gòu)合作時,如奧蘭多警察局,亞馬遜會教他們?nèi)绾螠p少誤報,避免人為的偏見。

值得注意的是,“誤報”是人臉識別技術(shù)公認存在的問題。

包括ACLU在內(nèi)的所有人都沒有說過,警方會僅憑人臉識別軟件的“誤報”就去逮捕某人。人臉識別縮小了嫌疑犯名單的范圍,接下來是由人類來接管。

最近,在英國,人臉識別幫助警方確定了來英國要毒殺俄羅斯雙面間諜的俄羅斯刺客;在美國,人臉識別幫助警方鎖定了《首都公報》槍擊案搶手。在中國,人臉識別更是讓歌神張學友變身“捕神”,警察通過人臉識別技術(shù),在演唱會現(xiàn)場連連抓到逃犯。

而且,與英國大都會警察局(UK Metropolitan Police)的人臉識別技術(shù)(誤報率高達98%!)相比,即使在80%的置信度下,亞馬遜的Rekognition也沒有產(chǎn)生那么多誤報結(jié)果。

但美國公民自由聯(lián)盟擔心,亞馬遜的誤報結(jié)果可能會讓警官或政府機構(gòu)在不應(yīng)該的情況下搜索、質(zhì)疑無辜民眾,甚至可能動用武器。美國公民自由聯(lián)盟指出,亞馬遜的科技似乎過多針對有色人種。

ACLU還提供了以下聲明:

亞馬遜似乎忽略了(或拒絕承認)一個更廣泛的觀點:政府掌握的人臉識別技術(shù)已為濫用做好了準備,并引發(fā)了對公民權(quán)利的重大擔憂。它可以允許——在某些情況下已經(jīng)允許——警察確定那些人參加了抗議活動,令I(lǐng)CE(美國移民及海關(guān)執(zhí)法局)繼續(xù)監(jiān)控移民,令城市可以定期跟蹤居民,不管他們是否有理由懷疑犯罪活動。將閾值從80%更改為95%并不能改變這一點。事實上,甚至可能加劇這種情況。

在美國公民自由聯(lián)盟的測試曝光后的幾個小時內(nèi),已經(jīng)有5名國會議員公開致信亞馬遜CEO貝索斯,要求他給出回應(yīng),并要求立即舉行會面。

另外,據(jù)美國公民自由聯(lián)盟稱,由于亞馬遜的技術(shù)似乎過多針對有色人種,信中提出了有關(guān)人臉識別技術(shù)的問題。

原文標題:15萬人聯(lián)名抗議!亞馬遜人臉識別誤判28名國會議員為罪犯

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。