計算機視覺研究院專欄

作者：Edison_G

計算機視覺技術(shù)在越來越多的場景起到重要的作用，現(xiàn)在的視頻異常行為檢測就可以今早給予警察預(yù)警信息，大大減少暴力事件、游行游街行為、聚集性活動等行為的發(fā)生。

01

前景

目前社會中始終會出現(xiàn)多多少少的異常行為，在目前人工智能發(fā)展的形式中，幾乎人均被幾個攝像頭拍攝到的情況下，本次熱點新聞事件中，經(jīng)過了較長時間都沒有得到警力的幫助，無非就是周圍群眾沒有及時報警制止該行為，另一種就是安裝的攝像頭沒有警報功能。如果在此終端的基礎(chǔ)上增加除了錄像功能外的警報功能，就更加完美。

好比在攝像頭實時監(jiān)控下，如果發(fā)現(xiàn)了異常行為，就會及時將報警信息反饋給中心端（一般是警察中心或者安保監(jiān)控室），當(dāng)員工看到警報，再通過視頻確認(rèn)，可以針對性作出一些措施，可能會大大減少犯罪的行為，也較大的提升社會安全度。

今天我們就來說說視頻實時行為異常檢測的一些事！

02

概要

今天分享的干貨中，研究者解決了異常檢測的問題，即檢測視頻序列中的異常事件。基于卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的異常檢測方法通常利用代理任務(wù)（例如重建輸入視頻幀）來學(xué)習(xí)描述正態(tài)性的模型，而不會在訓(xùn)練時看到異常樣本，并在測試時使用重建誤差來量化異常的程度。這些方法的主要缺點是它們沒有明確考慮正常模式的多樣性，而CNN強大的表示能力允許重建異常視頻幀。

為了解決這個問題，有研究者提出了一種異常檢測的無監(jiān)督學(xué)習(xí)方法，它明確地考慮了正常模式的多樣性，同時降低了CNN的表示能力。為此，研究者建議使用具有新更新方案的內(nèi)存模塊，其中內(nèi)存中的項目記錄正常數(shù)據(jù)的原型模式。還提出了新的特征緊湊性和分離損失來訓(xùn)練記憶，提高記憶項目和從正常數(shù)據(jù)中深度學(xué)習(xí)的特征的辨別力。標(biāo)準(zhǔn)基準(zhǔn)的實驗結(jié)果證明了新提出方法的有效性和效率，其性能優(yōu)于現(xiàn)有技術(shù)。

03

新框架簡述

新模型在CUHK Avenue上的特征和記憶項目分布。特征和項目分別以點和星顯示。具有相同顏色的點映射到同一個項目。內(nèi)存中的項目捕獲正常數(shù)據(jù)的各種原型模式。這些特征具有高度的判別力，并且相似的圖像塊可以很好地聚類。

在下圖中展示了新框架的概述。重建輸入幀或預(yù)測未來的無監(jiān)督異常檢測。輸入四個連續(xù)的視頻幀來預(yù)測第五個用于預(yù)測任務(wù)。由于預(yù)測可以被認(rèn)為是使用以前的幀重建未來幀，使用幾乎相同的網(wǎng)絡(luò)架構(gòu)，兩個任務(wù)的損失相同。在下文中詳細(xì)描述了研究者用于重建任務(wù)的方法。

新模型主要由三個組件組成：編碼器、內(nèi)存模塊和****。 

編碼器輸入一個正常的視頻幀并提取查詢特征。然后使用這些特征來檢索記憶項目中的原型正常模式并更新記憶。將聚合（即讀?。┑牟樵兲卣骱陀洃涰椞峁┙o****，以重建輸入視頻幀。使用端到端的重構(gòu)、特征緊湊性和特征分離損失來訓(xùn)練新模型。 

在測試時，使用加權(quán)正則分?jǐn)?shù)來防止內(nèi)存被異常視頻幀更新。計算輸入幀與其重建之間的差異以及查詢特征與內(nèi)存中最近項目之間的距離，以量化視頻幀中異常的程度。

讀取和更新內(nèi)存圖解

04

實驗及總結(jié)

異常行為應(yīng)用的領(lǐng)域較廣，比如校園車輛行人不規(guī)范的異常，交通路口闖紅燈行為，廣場大面積聚集活動等應(yīng)用。如下圖：

或者在學(xué)校，通過該技術(shù)監(jiān)測學(xué)生上課聽課程度，學(xué)生到課率等行為。

本次新框架的實驗結(jié)果，如下表：

輸入幀（左）；預(yù)測誤差（中）；異常區(qū)域（右）。我們可以看到新模型定位了異常事件的區(qū)域。