論文地址：https://openaccess.thecvf.com/content/ACCV2020/papers/Zhang_Localize_to_Classify_and_Classify_to_Localize_Mutual_Guidance_in_ACCV_2020_paper.pdf

源代碼地址：https://github.com/ZHANGHeng19931123/MutualGuide

目標檢測一般包括分類和回歸兩個子任務。在模型訓練的過程中，我們依據(jù)回歸任務的預測結(jié)果動態(tài)分配分類任務的標簽，同時利用分類任務的預測結(jié)果來分配回歸任務的標簽，以此達到相互指導、左右互搏的效果。

一、背景

有監(jiān)督的目標檢測是計算機視覺中的一項流行任務，旨在通過邊界框定位目標并將它們中的每一個分配給預定義的類?；谏疃葘W習的方法在很大程度上主導了這個研究領域，最近的方法都是基于Anchor機制的。Anchors是在整個圖像上均勻堆疊的不同大小和縱橫比的預定義參考框。它們通過將目標檢測問題轉(zhuǎn)換為基于Anchor的邊界框回歸和分類問題，幫助網(wǎng)絡處理目標尺寸和形狀變化。大多數(shù)最先進的基于Anchor的目標檢測器采用預定義的Anchor boxes和GT框（以下稱為 IoU-anchor）之間的交集（IoU）來將樣本Anchor分配給目標（正樣本Anchor）或背景（負樣本Anchor）類別。然后使用這些分配的Anchors來最小化訓練期間的邊界框回歸和分類損失。

Anchor A和Anchor B與框GT具有相同的IoU，但具有不同的視覺語義信息。每個圖像中的真實情況標記為虛線框。

基于深度學習的目標檢測涉及兩個子任務：實例定位和分類。這兩個任務的預測分別告訴我們圖像上的“位置”和“什么”目標。在訓練階段，兩個任務都通過梯度下降聯(lián)合優(yōu)化，但是靜態(tài)Anchor匹配策略并沒有明確受益于兩個任務的聯(lián)合解決方案，這可能會導致任務錯位問題，即在評估階段 ，該模型可能會生成具有正確分類但不精確定位的邊界框的預測，以及具有精確定位但錯誤分類的預測。這兩種預測都顯著降低了整體檢測質(zhì)量。

二、前言

為了解決現(xiàn)有基于IoU-anchor策略的這兩個局限性，研究者提出了一種新的自適應Anchor匹配準則，由定位和分類任務相互指導，動態(tài)分配訓練Anchor樣本為優(yōu)化分類，反之亦然。特別是，將定位良好的Anchor限制為也很好分類（定位到分類），以及那些分類良好的Anchor也很好定位（分類到定位）。這些策略導致內(nèi)容/上下文敏感的Anchor匹配并避免任務錯位問題。盡管所提出的策略很簡單，但在PASCAL VOC和MS COCO數(shù)據(jù)集上，尤其是在嚴格的指標（如AP75）上，Mutual Guidance與具有不同深度學習架構(gòu)的傳統(tǒng)靜態(tài)策略相比，帶來了一致的平均精度 (AP) 增益。

新提出的方法有望在需要精確實例定位的應用程序上更有效，例如自動駕駛、機器人、戶外視頻監(jiān)控等。

三、新框架

傳統(tǒng)的Anchor通常是預先定義了一組Anchor的aspect ratio，在實際的滑窗訓練過程中先用二分類模型判斷這些Anchor的框內(nèi)有沒有物體，并根據(jù)設定的閾值將sample標注為positive或者negative或者ignored，然后進行bonding box回歸進行refine，最后做多分類再回歸調(diào)整位置。

這里作者將預定義的Anchor和GT的IoU叫做IoU-anchor，IoU-anchor大于50%的作為positive，小于40%作為negative，其他作為ignored samples。如果沒有Anchor的大于50%，那就選最大的IoU的那個作為positive。如下圖所示：

定位到分類（Localize to Classify）

動態(tài)設置述分類方法中正負樣本的閾值。因為隨著訓練進行，正樣本變多（因為二分類模型能力逐漸增強，但是閾值沒變），作者認為這樣會導致訓練不穩(wěn)定。

于是作者將擬將分類模型的分類能力納入閾值設置考量范圍以動態(tài)設置閾值：在根據(jù)IoU-regressed標注確定正負樣本的時候不再直接采用固定閾值，而是根據(jù)IoU-anchor中的正樣本數(shù)量n來選取IoU-regressed的前n個樣本標注為positive，其他negative和ignored同理。

這種策略能夠隨著定位能力提高而提高，同時也保持了訓練過程中正負樣本分配的一致性！

分類到定位（Classify to localize）

在分類早期，模型處于初始狀態(tài)，大多數(shù)分類的結(jié)果都接近于0，存在類似于推薦系統(tǒng)的冷啟動問題同時也可能使得訓練不穩(wěn)定，所以研究者定義了一個Classify to localize的策略來避免這種問題。

首先作者定義了一個IoU-amplified用于替換傳統(tǒng)的IoU-regressed，其表達式如下:

其中σ是超參用于調(diào)整的增強系數(shù)，p是分類得分。此外，這一部分也采用了類似于前面定位到分類部分動態(tài)閾值設置的策略來設置這里的正樣本閾值。

顯然開始時與GT的iou較大的anchor box置信度一般更高，被選中的概率也更高；當iou相同時，置信度p較高的anchor得到的IOUamplified也更大。上圖的第四列是直接預測的置信度，第五列是amplified之后的score。可以發(fā)現(xiàn)amplified后的結(jié)果與iou和p都有關。

IoU-amplifed總是高于IoU-anchor，并且amplification與預測的Classif分數(shù)成正比。特別是σ越小amplification越強（注意σ要大于1），σ變大時就消失。

通過這種交互作用，訓練過程能夠讓回歸好分類差的Anchor盡可能地提升分類精度，同樣讓分類好但回歸差的Anchor盡可能地提升回歸精度，從而一定程度解決 task-misalignment問題。

四、實驗及可視化

訓練階段標簽分配差異的可視化（圖像大小設置為320×320像素）。紅色、黃色和綠色Anchor框分別是由基于IoU-anchor、Localize to Classify和Classify to Localize分配的正樣本Anchor。