1

 背景

近期好多同學(xué)在私信讓我說一些基礎(chǔ)性的知識。好多入門的同學(xué)在糾結(jié)Anchor的設(shè)置，而且部分同學(xué)私信，可不可以把這個基礎(chǔ)知識詳細說一次，今天就單獨開一次小課，一起來學(xué)習(xí)Faster R-CNN中的RPN及Anchor。

說到RPN和Anchor，應(yīng)該立馬就能想到Faster R-CNN網(wǎng)絡(luò)框架，這個我平臺在之前就有詳細的介紹過。

往期回顧

● 深度學(xué)習(xí)近期總結(jié)分析

有興趣的可以點擊進入看看，當(dāng)作復(fù)習(xí)一下。首先我先將幾類經(jīng)典的目標檢測網(wǎng)絡(luò)做一個對比，然后開始說說今天要講的知識。

最開始出現(xiàn)的是R-CNN，如下圖：

從上圖可以看出其框架做了很多重復(fù)的計算，在第二步之后，如果有2k個proposals，那后面就要執(zhí)行2k邊，太低效。于是，出現(xiàn)了改進的SSP-Net，如下圖：

SSP-Ne框架組合了Classification和Regression，做成單個網(wǎng)絡(luò)，并且可以Een-to-End進行訓(xùn)練，速度上提高許多。但是，SSP-Net還是基于Selective Search產(chǎn)生proposal，之后就出現(xiàn)了Fast R-CNN，其是融合了R-CNN和SPP-Net的創(chuàng)新，并且引入多任務(wù)損失函數(shù)，使整個網(wǎng)絡(luò)的訓(xùn)練和測試變得十分方便。

但是Region proposal的提取還是使用了Selective Search，目標檢測時間大多消耗在這上面（大約region proposal需2~3s，而提特征分類只需0.32s），這種是無法滿足實時應(yīng)用，而且并沒有實現(xiàn)真正意義上的端到端訓(xùn)練測試（因為region proposal使用了Selective Search先提取處來）。

于是就有了直接使用CNN產(chǎn)生region proposal并對其分類，這就是Faster R-CNN框架，如下圖：

Faster R-CNN將proposals交給了CNN去生成，這樣Region Proposal Network（RPN）應(yīng)運而生。

2

 Faster RCNN

仔細看看Faster R-CNN框架，其實還保留了Fast R-CNN的框架，其主要就是CNN+RPN。其中RPN主要就是負責(zé)生成proposals，然后與最后一層的feature map一起使用，用ROI Pooling生成固定長度的feature vector。具體如下：

那接下來開始好好的說一下RPN和Anchor！下圖是我從網(wǎng)絡(luò)copy過來的，應(yīng)該更加能理解整體的流程及內(nèi)容。

在上圖中，紅色的3x3紅框是其中一個滑窗的操作過程，注意這里的Anchor是原圖像像素空間中的，而不是feature map上的。這樣的話，就可以很好去知道Anchor的意思，而且Anchor對于RPN非常重要。

現(xiàn)在，我們假設(shè)現(xiàn)在的feature map尺寸為W x H x C（13x13x256就是feature map的Width=13，Height=13和Channel=256），在feature map使用滑動窗口的操作方式，當(dāng)前滑窗的中心在原像素空間的映射點就稱為Anchor，并且以Anchor為中心去生成K（paper中default K=9，3個尺寸和3個縮放比例）個proposals。

在feature map上滑動一次，得到一個小網(wǎng)絡(luò)，該網(wǎng)絡(luò)輸入是3x3x256，經(jīng)過3x3x256x256的卷積，就可以得到1x1x256的低維特征向量。

然后就得到上圖的兩個分支。

• Classification：經(jīng)過1x1x256x18的卷積核，得到1x1x18的特征向量，分別代表9個proposals的Object的概率（是或不是）；

• Regression：經(jīng)過1x1x256x36的卷積核，得到1x1x36的特征向量，分別代表9個proposals的（長寬及中心點坐標）。

注意，上面只是一個小網(wǎng)絡(luò)，也就是一個3x3滑窗的過程及結(jié)果，在網(wǎng)絡(luò)整體運行的過程中，要將整個feature map都要滑動一遍，最終就會得到兩個損失函數(shù)：

其中就是Classification（Lcls）和Regression（Lreg）兩個損失。對于邊界框的回歸，其是采用以下4個坐標的參數(shù)化：

綜上，通過滑窗和Anchor機制就可以找到固定比例、一定大小的proposals，這樣RPN就可以完美替代低效的Selective Search去產(chǎn)生proposals。

最終，在目標檢測領(lǐng)域中，這個框架算是一個里程碑，值得大家學(xué)習(xí)與深入探索。最后的檢測結(jié)果也是不錯的。