研究人臉識(shí)別技術(shù)必須知道的十個(gè)基本概念
時(shí)間：2018-09-17 15:52:19點(diǎn)擊：847次
實(shí)驗(yàn)室研究人臉技術(shù)多年，不僅在技術(shù)方面有很好的積累，而且在公司內(nèi)外的業(yè)務(wù)中有眾多應(yīng)用。在與產(chǎn)品、商務(wù)、工程開(kāi)發(fā)同事交流過(guò)程中發(fā)現(xiàn)：不管是“從圖中找到人臉的位置”，或是“識(shí)別出這個(gè)人臉對(duì)應(yīng)的身份”，亦或是其他，大家都會(huì)把這些不同的人臉技術(shù)統(tǒng)稱為“人臉識(shí)別技術(shù)”。
因此，整理了一些常見(jiàn)人臉技術(shù)的基本概念，主要用于幫助非基礎(chǔ)研究同事對(duì)人臉相關(guān)技術(shù)有一個(gè)更深入的了解，方便后續(xù)的交流與合作。
人臉技術(shù)基本概念介紹
1. 人臉檢測(cè)
“人臉檢測(cè)（Face Detection）”是檢測(cè)出圖像中人臉?biāo)谖恢玫囊豁?xiàng)技術(shù)。
人臉檢測(cè)算法的輸入是一張圖片，輸出是人臉框坐標(biāo)序列（0個(gè)人臉框或1個(gè)人臉框或多個(gè)人臉框）。一般情況下，輸出的人臉坐標(biāo)框?yàn)橐粋€(gè)正朝上的正方形，但也有一些人臉檢測(cè)技術(shù)輸出的是正朝上的矩形，或者是帶旋轉(zhuǎn)方向的矩形。
常見(jiàn)的人臉檢測(cè)算法基本是一個(gè)“掃描”加“判別”的過(guò)程，即算法在圖像范圍內(nèi)掃描，再逐個(gè)判定候選區(qū)域是否是人臉的過(guò)程。因此人臉檢測(cè)算法的計(jì)算速度會(huì)跟圖像尺寸、圖像內(nèi)容相關(guān)。開(kāi)發(fā)過(guò)程中，我們可以通過(guò)設(shè)置“輸入圖像尺寸”、或“最小臉尺寸限制”、或“人臉數(shù)量上限”的方式來(lái)加速算法。
人臉檢測(cè)結(jié)果舉例（綠色框?yàn)槿四槞z測(cè)結(jié)果）
2. 人臉配準(zhǔn)
“人臉配準(zhǔn)（Face Alignment）”是定位出人臉上五官關(guān)鍵點(diǎn)坐標(biāo)的一項(xiàng)技術(shù)。
人臉配準(zhǔn)算法的輸入是“一張人臉圖片”加“人臉坐標(biāo)框”，輸出五官關(guān)鍵點(diǎn)的坐標(biāo)序列。五官關(guān)鍵點(diǎn)的數(shù)量是預(yù)先設(shè)定好的一個(gè)固定數(shù)值，可以根據(jù)不同的語(yǔ)義來(lái)定義（常見(jiàn)的有5點(diǎn)、68點(diǎn)、90點(diǎn)等等）。
當(dāng)前效果的較好的一些人臉配準(zhǔn)技術(shù)，基本通過(guò)深度學(xué)習(xí)框架實(shí)現(xiàn)，這些方法都是基于人臉檢測(cè)的坐標(biāo)框，按某種事先設(shè)定規(guī)則將人臉區(qū)域扣取出來(lái)，縮放的固定尺寸，然后進(jìn)行關(guān)鍵點(diǎn)位置的計(jì)算。因此，若不計(jì)入圖像縮放過(guò)程的耗時(shí)，人臉配準(zhǔn)算法是可以計(jì)算量固定的過(guò)程。另外，相對(duì)于人臉檢測(cè)，或者是后面將提到的人臉提特征過(guò)程，人臉配準(zhǔn)算法的計(jì)算耗時(shí)都要少很多。
人臉配準(zhǔn)結(jié)果舉例（右圖中的綠色點(diǎn)位人臉配準(zhǔn)結(jié)果）
3. 人臉屬性識(shí)別
“人臉屬性識(shí)別（Face Attribute）”是識(shí)別出人臉的性別、年齡、姿態(tài)、表情等屬性值的一項(xiàng)技術(shù)。
一般的人臉屬性識(shí)別算法的輸入是“一張人臉圖”和“人臉五官關(guān)鍵點(diǎn)坐標(biāo)”，輸出是人臉相應(yīng)的屬性值。人臉屬性識(shí)別算法一般會(huì)根據(jù)人臉五官關(guān)鍵點(diǎn)坐標(biāo)將人臉對(duì)齊（旋轉(zhuǎn)、縮放、扣取等操作后，將人臉調(diào)整到預(yù)定的大小和形態(tài)），然后進(jìn)行屬性分析。
常規(guī)的人臉屬性識(shí)別算法識(shí)別每一個(gè)人臉屬性時(shí)都是一個(gè)獨(dú)立的過(guò)程，即人臉屬性識(shí)別只是對(duì)一類算法的統(tǒng)稱，性別識(shí)別、年齡估計(jì)、姿態(tài)估計(jì)、表情識(shí)別都是相互獨(dú)立的算法。但最新的一些基于深度學(xué)習(xí)的人臉屬性識(shí)別也具有一個(gè)算法同時(shí)輸入性別、年齡、姿態(tài)等屬性值的能力。
人臉屬性識(shí)別過(guò)程（最右側(cè)文字為屬性識(shí)別結(jié)果）
4. 人臉提特征
“人臉提特征（Face Feature Extraction）”是將一張人臉圖像轉(zhuǎn)化為一串固定長(zhǎng)度的數(shù)值的過(guò)程。這個(gè)數(shù)值串被稱為“人臉特征（Face Feature）”，具有表征這個(gè)人臉特點(diǎn)的能力。
人臉提特征過(guò)程的輸入也是 “一張人臉圖”和“人臉五官關(guān)鍵點(diǎn)坐標(biāo)”，輸出是人臉相應(yīng)的一個(gè)數(shù)值串（特征）。人臉提特征算法都會(huì)根據(jù)人臉五官關(guān)鍵點(diǎn)坐標(biāo)將人臉對(duì)齊預(yù)定模式，然后計(jì)算特征。
近幾年來(lái)，深度學(xué)習(xí)方法基本統(tǒng)治了人臉提特征算法，這些算法都是固定時(shí)長(zhǎng)的算法。早前的人臉提特征模型都較大，速度慢，僅使用于后臺(tái)服務(wù)。但最新的一些研究，可以在基本保證算法效果的前提下，將模型大小和運(yùn)算速度優(yōu)化到移動(dòng)端可用的狀態(tài)。
人臉提特征過(guò)程（最右側(cè)數(shù)值串為“人臉特征”）
5. 人臉比對(duì)（人臉驗(yàn)證、人臉識(shí)別、人臉檢索、人臉聚類）
“人臉比對(duì)（Face Compare）”是衡量?jī)蓚€(gè)人臉之間相似度的算法
人臉比對(duì)算法的輸入是兩個(gè)人臉特征（注：人臉特征由前面的人臉提特征算法獲得），輸出是兩個(gè)特征之間的相似度。人臉驗(yàn)證、人臉識(shí)別、人臉檢索都是在人臉比對(duì)的基礎(chǔ)上加一些策略來(lái)實(shí)現(xiàn)。相對(duì)人臉提特征過(guò)程，單次的人臉比對(duì)耗時(shí)極短，幾乎可以忽略。
基于人臉比對(duì)可衍生出人臉驗(yàn)證(Face Verification)、人臉識(shí)別(Face Recognition)、人臉檢索(Face Retrieval)、人臉聚類（Face Cluster）等算法。
人臉對(duì)比過(guò)程（右側(cè)的相似度為人臉比對(duì)輸出的結(jié)果）
6. 人臉驗(yàn)證
“人臉驗(yàn)證（Face Verification）”是判定兩個(gè)人臉圖是否為同一人的算法。
它的輸入是兩個(gè)人臉特征，通過(guò)人臉比對(duì)獲得兩個(gè)人臉特征的相似度，通過(guò)與預(yù)設(shè)的閾值比較來(lái)驗(yàn)證這兩個(gè)人臉特征是否屬于同一人（即相似度大于閾值，為同一人；小于閾值為不同）。
人臉驗(yàn)證過(guò)程說(shuō)明（最右側(cè)“是同一人”為人臉驗(yàn)證的輸出）
7. 人臉識(shí)別
“人臉識(shí)別(Face Recognition)”是識(shí)別出輸入人臉圖對(duì)應(yīng)身份的算法。
它的輸入一個(gè)人臉特征，通過(guò)和注冊(cè)在庫(kù)中N個(gè)身份對(duì)應(yīng)的特征進(jìn)行逐個(gè)比對(duì)，找出“一個(gè)”與輸入特征相似度最高的特征。將這個(gè)最高相似度值和預(yù)設(shè)的閾值相比較，如果大于閾值，則返回該特征對(duì)應(yīng)的身份，否則返回“不在庫(kù)中”。
人臉識(shí)別過(guò)程（右側(cè)身份“jason”為人臉識(shí)別結(jié)果）
8. 人臉檢索
“人臉檢索”是查找和輸入人臉相似的人臉序列的算法。
人臉檢索通過(guò)將輸入的人臉和一個(gè)集合中的說(shuō)有人臉進(jìn)行比對(duì)，根據(jù)比對(duì)后的相似度對(duì)集合中的人臉進(jìn)行排序。根據(jù)相似度從高到低排序的人臉序列即使人臉檢索的結(jié)果。
人臉檢索過(guò)程（右側(cè)綠框內(nèi)排序序列為檢索結(jié)果）
9. 人臉聚類
“人臉聚類（Face Cluster）”是將一個(gè)集合內(nèi)的人臉根據(jù)身份進(jìn)行分組的算法。
人臉聚類也通過(guò)將集合內(nèi)所有的人臉兩兩之間做人臉比對(duì)，再根據(jù)這些相似度值進(jìn)行分析，將屬于同一個(gè)身份的人劃分到一個(gè)組里。
在沒(méi)有進(jìn)行人工身份標(biāo)注前，只知道分到一個(gè)組的人臉是屬于同一個(gè)身份，但不知道確切身份。另外假設(shè)集合中有N個(gè)人臉，那么人臉聚類的算法復(fù)雜度為O(N2)
人臉聚類過(guò)程（右側(cè)綠框內(nèi)按身份的分組結(jié)果為聚類結(jié)果）
10. 人臉活體
“人臉活體（FaceLiveness）”是判斷人臉圖像是來(lái)自真人還是來(lái)自攻擊假體（照片、視頻等）的方法。
和前面所提到的人臉技術(shù)相比，人臉活體不是一個(gè)單純算法，而是一個(gè)問(wèn)題的解法。這個(gè)解法將用戶交互和算法緊密結(jié)合，不同的交互方式對(duì)應(yīng)于完全不同的算法。鑒于方法的種類過(guò)于繁多，這里只介紹“人臉活體”的概念，不再展開(kāi)。
因此，整理了一些常見(jiàn)人臉技術(shù)的基本概念，主要用于幫助非基礎(chǔ)研究同事對(duì)人臉相關(guān)技術(shù)有一個(gè)更深入的了解，方便后續(xù)的交流與合作。
人臉技術(shù)基本概念介紹
1. 人臉檢測(cè)
“人臉檢測(cè)（Face Detection）”是檢測(cè)出圖像中人臉?biāo)谖恢玫囊豁?xiàng)技術(shù)。
人臉檢測(cè)算法的輸入是一張圖片，輸出是人臉框坐標(biāo)序列（0個(gè)人臉框或1個(gè)人臉框或多個(gè)人臉框）。一般情況下，輸出的人臉坐標(biāo)框?yàn)橐粋€(gè)正朝上的正方形，但也有一些人臉檢測(cè)技術(shù)輸出的是正朝上的矩形，或者是帶旋轉(zhuǎn)方向的矩形。
常見(jiàn)的人臉檢測(cè)算法基本是一個(gè)“掃描”加“判別”的過(guò)程，即算法在圖像范圍內(nèi)掃描，再逐個(gè)判定候選區(qū)域是否是人臉的過(guò)程。因此人臉檢測(cè)算法的計(jì)算速度會(huì)跟圖像尺寸、圖像內(nèi)容相關(guān)。開(kāi)發(fā)過(guò)程中，我們可以通過(guò)設(shè)置“輸入圖像尺寸”、或“最小臉尺寸限制”、或“人臉數(shù)量上限”的方式來(lái)加速算法。
人臉檢測(cè)結(jié)果舉例（綠色框?yàn)槿四槞z測(cè)結(jié)果）
2. 人臉配準(zhǔn)
“人臉配準(zhǔn)（Face Alignment）”是定位出人臉上五官關(guān)鍵點(diǎn)坐標(biāo)的一項(xiàng)技術(shù)。
人臉配準(zhǔn)算法的輸入是“一張人臉圖片”加“人臉坐標(biāo)框”，輸出五官關(guān)鍵點(diǎn)的坐標(biāo)序列。五官關(guān)鍵點(diǎn)的數(shù)量是預(yù)先設(shè)定好的一個(gè)固定數(shù)值，可以根據(jù)不同的語(yǔ)義來(lái)定義（常見(jiàn)的有5點(diǎn)、68點(diǎn)、90點(diǎn)等等）。
當(dāng)前效果的較好的一些人臉配準(zhǔn)技術(shù)，基本通過(guò)深度學(xué)習(xí)框架實(shí)現(xiàn)，這些方法都是基于人臉檢測(cè)的坐標(biāo)框，按某種事先設(shè)定規(guī)則將人臉區(qū)域扣取出來(lái)，縮放的固定尺寸，然后進(jìn)行關(guān)鍵點(diǎn)位置的計(jì)算。因此，若不計(jì)入圖像縮放過(guò)程的耗時(shí)，人臉配準(zhǔn)算法是可以計(jì)算量固定的過(guò)程。另外，相對(duì)于人臉檢測(cè)，或者是后面將提到的人臉提特征過(guò)程，人臉配準(zhǔn)算法的計(jì)算耗時(shí)都要少很多。
人臉配準(zhǔn)結(jié)果舉例（右圖中的綠色點(diǎn)位人臉配準(zhǔn)結(jié)果）
3. 人臉屬性識(shí)別
“人臉屬性識(shí)別（Face Attribute）”是識(shí)別出人臉的性別、年齡、姿態(tài)、表情等屬性值的一項(xiàng)技術(shù)。
一般的人臉屬性識(shí)別算法的輸入是“一張人臉圖”和“人臉五官關(guān)鍵點(diǎn)坐標(biāo)”，輸出是人臉相應(yīng)的屬性值。人臉屬性識(shí)別算法一般會(huì)根據(jù)人臉五官關(guān)鍵點(diǎn)坐標(biāo)將人臉對(duì)齊（旋轉(zhuǎn)、縮放、扣取等操作后，將人臉調(diào)整到預(yù)定的大小和形態(tài)），然后進(jìn)行屬性分析。
常規(guī)的人臉屬性識(shí)別算法識(shí)別每一個(gè)人臉屬性時(shí)都是一個(gè)獨(dú)立的過(guò)程，即人臉屬性識(shí)別只是對(duì)一類算法的統(tǒng)稱，性別識(shí)別、年齡估計(jì)、姿態(tài)估計(jì)、表情識(shí)別都是相互獨(dú)立的算法。但最新的一些基于深度學(xué)習(xí)的人臉屬性識(shí)別也具有一個(gè)算法同時(shí)輸入性別、年齡、姿態(tài)等屬性值的能力。
人臉屬性識(shí)別過(guò)程（最右側(cè)文字為屬性識(shí)別結(jié)果）
4. 人臉提特征
“人臉提特征（Face Feature Extraction）”是將一張人臉圖像轉(zhuǎn)化為一串固定長(zhǎng)度的數(shù)值的過(guò)程。這個(gè)數(shù)值串被稱為“人臉特征（Face Feature）”，具有表征這個(gè)人臉特點(diǎn)的能力。
人臉提特征過(guò)程的輸入也是 “一張人臉圖”和“人臉五官關(guān)鍵點(diǎn)坐標(biāo)”，輸出是人臉相應(yīng)的一個(gè)數(shù)值串（特征）。人臉提特征算法都會(huì)根據(jù)人臉五官關(guān)鍵點(diǎn)坐標(biāo)將人臉對(duì)齊預(yù)定模式，然后計(jì)算特征。
近幾年來(lái)，深度學(xué)習(xí)方法基本統(tǒng)治了人臉提特征算法，這些算法都是固定時(shí)長(zhǎng)的算法。早前的人臉提特征模型都較大，速度慢，僅使用于后臺(tái)服務(wù)。但最新的一些研究，可以在基本保證算法效果的前提下，將模型大小和運(yùn)算速度優(yōu)化到移動(dòng)端可用的狀態(tài)。
人臉提特征過(guò)程（最右側(cè)數(shù)值串為“人臉特征”）
5. 人臉比對(duì)（人臉驗(yàn)證、人臉識(shí)別、人臉檢索、人臉聚類）
“人臉比對(duì)（Face Compare）”是衡量?jī)蓚€(gè)人臉之間相似度的算法
人臉比對(duì)算法的輸入是兩個(gè)人臉特征（注：人臉特征由前面的人臉提特征算法獲得），輸出是兩個(gè)特征之間的相似度。人臉驗(yàn)證、人臉識(shí)別、人臉檢索都是在人臉比對(duì)的基礎(chǔ)上加一些策略來(lái)實(shí)現(xiàn)。相對(duì)人臉提特征過(guò)程，單次的人臉比對(duì)耗時(shí)極短，幾乎可以忽略。
基于人臉比對(duì)可衍生出人臉驗(yàn)證(Face Verification)、人臉識(shí)別(Face Recognition)、人臉檢索(Face Retrieval)、人臉聚類（Face Cluster）等算法。
人臉對(duì)比過(guò)程（右側(cè)的相似度為人臉比對(duì)輸出的結(jié)果）
6. 人臉驗(yàn)證
“人臉驗(yàn)證（Face Verification）”是判定兩個(gè)人臉圖是否為同一人的算法。
它的輸入是兩個(gè)人臉特征，通過(guò)人臉比對(duì)獲得兩個(gè)人臉特征的相似度，通過(guò)與預(yù)設(shè)的閾值比較來(lái)驗(yàn)證這兩個(gè)人臉特征是否屬于同一人（即相似度大于閾值，為同一人；小于閾值為不同）。
人臉驗(yàn)證過(guò)程說(shuō)明（最右側(cè)“是同一人”為人臉驗(yàn)證的輸出）
7. 人臉識(shí)別
“人臉識(shí)別(Face Recognition)”是識(shí)別出輸入人臉圖對(duì)應(yīng)身份的算法。
它的輸入一個(gè)人臉特征，通過(guò)和注冊(cè)在庫(kù)中N個(gè)身份對(duì)應(yīng)的特征進(jìn)行逐個(gè)比對(duì)，找出“一個(gè)”與輸入特征相似度最高的特征。將這個(gè)最高相似度值和預(yù)設(shè)的閾值相比較，如果大于閾值，則返回該特征對(duì)應(yīng)的身份，否則返回“不在庫(kù)中”。
人臉識(shí)別過(guò)程（右側(cè)身份“jason”為人臉識(shí)別結(jié)果）
8. 人臉檢索
“人臉檢索”是查找和輸入人臉相似的人臉序列的算法。
人臉檢索通過(guò)將輸入的人臉和一個(gè)集合中的說(shuō)有人臉進(jìn)行比對(duì)，根據(jù)比對(duì)后的相似度對(duì)集合中的人臉進(jìn)行排序。根據(jù)相似度從高到低排序的人臉序列即使人臉檢索的結(jié)果。
人臉檢索過(guò)程（右側(cè)綠框內(nèi)排序序列為檢索結(jié)果）
9. 人臉聚類
“人臉聚類（Face Cluster）”是將一個(gè)集合內(nèi)的人臉根據(jù)身份進(jìn)行分組的算法。
人臉聚類也通過(guò)將集合內(nèi)所有的人臉兩兩之間做人臉比對(duì)，再根據(jù)這些相似度值進(jìn)行分析，將屬于同一個(gè)身份的人劃分到一個(gè)組里。
在沒(méi)有進(jìn)行人工身份標(biāo)注前，只知道分到一個(gè)組的人臉是屬于同一個(gè)身份，但不知道確切身份。另外假設(shè)集合中有N個(gè)人臉，那么人臉聚類的算法復(fù)雜度為O(N2)
人臉聚類過(guò)程（右側(cè)綠框內(nèi)按身份的分組結(jié)果為聚類結(jié)果）
10. 人臉活體
“人臉活體（FaceLiveness）”是判斷人臉圖像是來(lái)自真人還是來(lái)自攻擊假體（照片、視頻等）的方法。
和前面所提到的人臉技術(shù)相比，人臉活體不是一個(gè)單純算法，而是一個(gè)問(wèn)題的解法。這個(gè)解法將用戶交互和算法緊密結(jié)合，不同的交互方式對(duì)應(yīng)于完全不同的算法。鑒于方法的種類過(guò)于繁多，這里只介紹“人臉活體”的概念，不再展開(kāi)。
- 標(biāo)簽:
人臉識(shí)別