貢獻(xiàn):

1.通過(guò)檢測(cè)bbox的一對(duì)角點(diǎn)來(lái)檢測(cè)出目標(biāo)。

2.提出corner pooling，來(lái)更好的定位bbox的角點(diǎn)。

上圖是top-left corner的 Corner Pooling過(guò)程。在水平方向，從最右端開(kāi)始往最左端遍歷，每個(gè)位置的值都變成從最右到當(dāng)前位置為止，出現(xiàn)的最大的值。同理，bottom-right corner的Corner Pooling則是最左端開(kāi)始往最右端遍歷。同樣的，在垂直方向上，也是這樣同樣的Pooling的方式。

以左上角點(diǎn)為例，當(dāng)我們決定此點(diǎn)是否個(gè)corner點(diǎn)的時(shí)候，往往會(huì)沿著水平的方向向右看，看看是否與物體有相切，還會(huì)沿著垂直方向向下看，看看是否與物體相切。簡(jiǎn)而言之，其實(shí)corner點(diǎn)是物體上邊緣點(diǎn)和坐邊緣點(diǎn)的集合，因此在pooling的時(shí)候通過(guò)Corner Pooling的方式能夠一定程度上體現(xiàn)出當(dāng)前點(diǎn)出發(fā)的射線是否與物體相交。

ExtremeNet:

作者使用了最佳的關(guān)鍵點(diǎn)估計(jì)框架，通過(guò)對(duì)每個(gè)目標(biāo)類(lèi)預(yù)測(cè)4個(gè)多峰值的heatmaps來(lái)尋找極值點(diǎn)。另外，作者使用每個(gè)類(lèi)center heatmap來(lái)預(yù)測(cè)目標(biāo)中心。僅通過(guò)基于幾何的方法來(lái)對(duì)極值點(diǎn)分組，如果4個(gè)極值點(diǎn)的幾何中點(diǎn)在center map上對(duì)應(yīng)的分?jǐn)?shù)高于閾值，則這4個(gè)極值點(diǎn)分為一組。

offset的預(yù)測(cè)是類(lèi)別無(wú)關(guān)的，而極值點(diǎn)的預(yù)測(cè)是類(lèi)別相關(guān)的。對(duì)每種極值點(diǎn)heatmap，不包含center map，預(yù)測(cè)2張offset map（分別對(duì)應(yīng)XY軸方向）。網(wǎng)絡(luò)的輸出是5xC heatmaps和4x2offset maps，C是類(lèi)別數(shù)。

分組算法的輸入是每個(gè)類(lèi)的5個(gè)heatmaps，一個(gè)center heatmap和4個(gè)extreme heatmaps，通過(guò)檢測(cè)所有的峰值來(lái)提取出5個(gè)heatmaps的關(guān)鍵點(diǎn)。給出4個(gè)極值點(diǎn)，計(jì)算幾何中心，如果幾何中心在center map上對(duì)應(yīng)高響應(yīng)，那么這4個(gè)極值點(diǎn)為有效檢測(cè)。作者使用暴力枚舉的方式來(lái)得到所有有效的4個(gè)關(guān)鍵點(diǎn)。

貢獻(xiàn)：

1.將關(guān)鍵點(diǎn)定義為極值點(diǎn)。

2.根據(jù)幾何結(jié)構(gòu)對(duì)關(guān)鍵點(diǎn)進(jìn)行分組。

CornerNet和ExtremeNet的區(qū)別：

1.CornerNet通過(guò)預(yù)測(cè)角點(diǎn)來(lái)檢測(cè)目標(biāo)的，而ExtremeNet通過(guò)預(yù)測(cè)極值點(diǎn)和中心點(diǎn)來(lái)檢測(cè)目標(biāo)的。

2.CornerNet通過(guò)角點(diǎn)embedding之間的距離來(lái)判斷是否為同一組關(guān)鍵點(diǎn)，而ExtremeNet通過(guò)暴力枚舉極值點(diǎn)、經(jīng)過(guò)中心點(diǎn)判斷4個(gè)極值點(diǎn)是否為一組。

FSAF:

讓每個(gè)實(shí)例選擇最好的特征層來(lái)優(yōu)化網(wǎng)絡(luò)，因此不需要anchor來(lái)限制特征的選擇。

一個(gè)anchor-free的分支在每個(gè)特征金字塔層構(gòu)建，獨(dú)立于anchor-based的分支。和anchor-based分支相似，anchor-free分支由分類(lèi)子網(wǎng)絡(luò)和回歸子網(wǎng)絡(luò)。一個(gè)實(shí)例能夠被安排到任意層的anchor-free分支。訓(xùn)練期間，基于實(shí)例的信息而不是實(shí)例box的尺寸來(lái)動(dòng)態(tài)地為每個(gè)實(shí)例選擇最合適的特征層。選擇的特征層學(xué)會(huì)檢測(cè)安排的實(shí)例。推理階段，F(xiàn)SAF模塊和anchor-based分支獨(dú)立或者聯(lián)合運(yùn)行。

在RetinaNet的基礎(chǔ)上，F(xiàn)SAF模塊引入了2個(gè)額外的卷積層，這兩個(gè)卷積層各自負(fù)責(zé)anchor-free分支的分類(lèi)和回歸預(yù)測(cè)。具體的，在分類(lèi)子網(wǎng)絡(luò)中，feature map后面跟著K個(gè)3x3的卷積層和sigmoid，在回歸子網(wǎng)絡(luò)中，feature map后面跟著4個(gè)3x3的卷積層和ReLU。

實(shí)例輸入到特征金字塔的所有層，然后求得所有anchor-free分支focal loss和IoU loss的和，選擇loss和最小的特征層來(lái)學(xué)習(xí)實(shí)例。訓(xùn)練時(shí)，特征根據(jù)安排的實(shí)例進(jìn)行更新。推理時(shí)，不需要進(jìn)行特征更新，因?yàn)樽詈线m的特征金字塔層自然地輸出高置信分?jǐn)?shù)。

FCOS:

和語(yǔ)義分割相同，檢測(cè)器直接將位置作為訓(xùn)練樣本而不是anchor。具體的，如果某個(gè)位置落入了任何gt中，那么該位置就被認(rèn)為是正樣本，并且類(lèi)別為該gt的類(lèi)別?；赼nchor的檢測(cè)器，根據(jù)不同尺寸安排anchor到不同的特征層，而FCOS直接限制邊界框回歸的范圍(即每個(gè)feature map負(fù)責(zé)一定尺度的回歸框)。

Center-ness：

為了剔除遠(yuǎn)離目標(biāo)中心的低質(zhì)量預(yù)測(cè)bbox，作者提出了添加center-ness分支，和分類(lèi)分支并行。

優(yōu)點(diǎn)：

1.將檢測(cè)和其他使用FCN的任務(wù)統(tǒng)一起來(lái)，容易重用這些任務(wù)的思想。

2.proposal free和anchor free，減少了超參的設(shè)計(jì)。

3.不使用trick，達(dá)到了單階段檢測(cè)的最佳性能。

4.經(jīng)過(guò)小的修改，可以立即拓展到其他視覺(jué)任務(wù)上。

FoveaBox:

人類(lèi)眼睛的中央凹：視野(物體)的中心具有最高的視覺(jué)敏銳度。FoveaBox聯(lián)合預(yù)測(cè)對(duì)象中心區(qū)域可能存在的位置以及每個(gè)有效位置的邊界框。由于特征金字塔的特征表示，不同尺度的目標(biāo)可以從多個(gè)特征層中檢測(cè)到。

FoveaBox添加了2個(gè)子網(wǎng)絡(luò)，一個(gè)子網(wǎng)絡(luò)預(yù)測(cè)分類(lèi)，另一個(gè)子網(wǎng)絡(luò)預(yù)測(cè)bbox。

Object Fovea：

目標(biāo)的中央凹如上圖所示。目標(biāo)中央凹只編碼目標(biāo)對(duì)象存在的概率。為了確定位置，模型要預(yù)測(cè)每個(gè)潛在實(shí)例的邊界框。

FSAF、FCOS、FoveaBox的異同點(diǎn)：

1.都利用FPN來(lái)進(jìn)行多尺度目標(biāo)檢測(cè)。

2.都將分類(lèi)和回歸解耦成2個(gè)子網(wǎng)絡(luò)來(lái)處理。

3.都是通過(guò)密集預(yù)測(cè)進(jìn)行分類(lèi)和回歸的。

4.FSAF和FCOS的回歸預(yù)測(cè)的是到4個(gè)邊界的距離，而FoveaBox的回歸預(yù)測(cè)的是一個(gè)坐標(biāo)轉(zhuǎn)換。

5.FSAF通過(guò)在線特征選擇的方式，選擇更加合適的特征來(lái)提升性能，F(xiàn)COS通過(guò)center-ness分支剔除掉低質(zhì)量bbox來(lái)提升性能，F(xiàn)oveaBox通過(guò)只預(yù)測(cè)目標(biāo)中心區(qū)域來(lái)提升性能。

總結(jié)：

1.各種方法的關(guān)鍵在于gt如何定義

2.主要是基于關(guān)鍵點(diǎn)檢測(cè)的方法和密集預(yù)測(cè)的方法來(lái)做Anchor-Free

3.本質(zhì)上是將基于anchor轉(zhuǎn)換成了基于point/region

下一期我們?cè)敿?xì)說(shuō)說(shuō)商湯的《CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection》，基于向心偏移的anchor-free目標(biāo)檢測(cè)網(wǎng)絡(luò)centripetalnet，為基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)方法研究帶來(lái)了新思路。