與圖像處理相比,從視頻當(dāng)中提取見解或使用AI技術(shù)既帶來新的挑戰(zhàn),同時(shí)也提供可觀的優(yōu)化賒。有一種誤解認(rèn)為,視頻AI只是簡單從視頻素材當(dāng)中提取特定幀,并對(duì)各視頻幀運(yùn)行計(jì)算機(jī)視覺算法。雖然這種作法確實(shí)可行,但卻并不能真正帶來分析見解。在今天的文章中,我們將通過幾項(xiàng)實(shí)例來了解這種處理單一視頻幀方法的缺點(diǎn)。但考慮到篇幅有限,這里我不會(huì)詳細(xì)討論克服這些缺點(diǎn)所需要的其它算法。感興趣的朋友可以參考Video Indexer,其提供了多種能夠?qū)崿F(xiàn)此類目標(biāo)的特定視頻算法。

視頻中出現(xiàn)的人物

我們一起來看以下[視頻]中的前25秒

請(qǐng)注意,在這25秒當(dāng)中Doug一直出現(xiàn)在畫面之內(nèi)。

如果要為Doug在視頻當(dāng)中出現(xiàn)的情況繪制一條時(shí)間線,則應(yīng)該如下圖所示。

請(qǐng)注意,在這一過程當(dāng)中Doug并非全程面向鏡頭。在視頻的第7秒當(dāng)中,他有在盯著Emily——第23秒也出現(xiàn)了同樣的情況。

如果您在視頻中的對(duì)應(yīng)時(shí)段之內(nèi)運(yùn)行人臉檢測(cè),則Doug的面部將無法被檢測(cè)到(請(qǐng)參閱以下截圖)。

換句話來說,如果只是在各視頻幀上進(jìn)行人臉檢測(cè),大家將無法繪制出如上所示的時(shí)間線。要獲得這樣的時(shí)間線,我們必須有能力跨越視頻分段追蹤面部,并考慮其中出現(xiàn)的臉部側(cè)面視圖。Video Indexer能夠追蹤面部,這意味著您將能夠看到之前展示的完整時(shí)間軸。

使用光學(xué)字符識(shí)別提取主題/關(guān)鍵詞

請(qǐng)看以下兩幀內(nèi)容。

這兩幀來自主講人在舞臺(tái)上進(jìn)行演講的視頻,后面背景墻上的“Microsoft”一詞一直時(shí)隱時(shí)現(xiàn)。作為人類觀看者,我們當(dāng)然能夠輕松推斷出其顯示的是“Microsoft”。但如果在這兩張圖片上運(yùn)行OCR,輸出結(jié)果將只有“Microsc”與“crosoft”。如果在視頻剪輯當(dāng)中處理完整的視頻幀序列,您會(huì)得到大量這種殘缺不全的詞匯。為了順利從鏡頭中提取到正確且完整的詞匯,您需要對(duì)這種部分詞匯應(yīng)用算法。Video Indexer能夠?qū)崿F(xiàn)這項(xiàng)功能,并從視頻當(dāng)中獲得更好的分析見解。

人臉識(shí)別

人臉識(shí)別系統(tǒng)由人臉數(shù)據(jù)庫組成,而該人臉數(shù)據(jù)庫則包含一組指向不同人物對(duì)象的訓(xùn)練用圖像。其還提供一項(xiàng)查詢功能,用于從查詢圖像當(dāng)中提取面部特征,并將其與人臉數(shù)據(jù)庫相匹配。查詢函數(shù)的輸出結(jié)果包含可能的匹配列表以及置信度值。查詢功能的輸出質(zhì)量,將取決于人臉數(shù)據(jù)庫與查詢圖像的實(shí)際質(zhì)量。

在視頻處理場景下,其中將包含多個(gè)視頻幀,且人物會(huì)配合不同的頭部姿態(tài)及照明條件亮相。我們當(dāng)然可以在每位人物出場時(shí)采取逐幀處理的方式進(jìn)行人臉識(shí)別系統(tǒng)查詢,但這種作法可能導(dǎo)致各幀之間出現(xiàn)不同的人臉匹配結(jié)論與存在巨大差異的置信度值。換句話來說,我們需要使用額外的邏輯層來確定人臉匹配結(jié)果。作為優(yōu)化手段,我們可以選擇合適的幀子集進(jìn)行有針對(duì)性的人臉識(shí)別系統(tǒng)查詢,從而減少該系統(tǒng)的實(shí)際查詢次數(shù)。

在處理視頻時(shí),我們還可以通過使用來自多個(gè)視頻幀的人物訓(xùn)練圖像整理變化趨勢(shì),從而構(gòu)建并增強(qiáng)人臉數(shù)據(jù)庫。另外,大家也能夠建立邏輯以追蹤跨幀人物并利用啟發(fā)式算法評(píng)估其中的變化。 Video Indexer同樣能夠?qū)崿F(xiàn)這一功能,意味著用戶將能夠從當(dāng)前視頻當(dāng)中構(gòu)建起質(zhì)量更高的人臉數(shù)據(jù)庫成果。