純干貨：Box Size置信度偏差會(huì)損害目標(biāo)檢測(cè)器
加入技術(shù)交流群
檢測(cè)器的置信度預(yù)測(cè)在目標(biāo)大小和位置方面存在偏差，但目前尚不清楚這種偏差與受影響的目標(biāo)檢測(cè)器的性能有何關(guān)系。
一、前言
無(wú)數(shù)應(yīng)用依賴于目標(biāo)檢測(cè)器的可靠置信度估計(jì)的準(zhǔn)確預(yù)測(cè)。然而，眾所周知，包括目標(biāo)檢測(cè)器在內(nèi)的神經(jīng)網(wǎng)絡(luò)會(huì)產(chǎn)生錯(cuò)誤校準(zhǔn)的置信估計(jì)。最近的工作甚至表明，檢測(cè)器的置信度預(yù)測(cè)在目標(biāo)大小和位置方面存在偏差，但目前尚不清楚這種偏差與受影響的目標(biāo)檢測(cè)器的性能有何關(guān)系。
研究者正式證明條件置信偏差（conditional confidence bias）正在損害目標(biāo)檢測(cè)器的預(yù)期性能，并憑經(jīng)驗(yàn)驗(yàn)證這些發(fā)現(xiàn)。具體來說，研究者們演示了如何修改直方圖分箱校準(zhǔn)，不僅可以避免性能受損，還可以通過條件置信校準(zhǔn)來提高性能。
研究者進(jìn)一步發(fā)現(xiàn)，在檢測(cè)器的訓(xùn)練數(shù)據(jù)上生成的檢測(cè)器中也存在置信偏差，利用這些偏差在不使用額外數(shù)據(jù)的情況下執(zhí)行提出的去偏差。此外，Test Time Augmentation會(huì)放大這種偏差，從而從我們的校準(zhǔn)方法中獲得更大的性能提升。最后，研究者在一組不同的目標(biāo)檢測(cè)架構(gòu)上驗(yàn)證了他們的發(fā)現(xiàn)，并在沒有額外數(shù)據(jù)或訓(xùn)練的情況下顯示了高達(dá)0.6 mAP和0.8 mAP50的改進(jìn)。
二、背景
Accurate probability estimates對(duì)于自動(dòng)化決策過程至關(guān)重要。它們對(duì)于準(zhǔn)確可靠的性能以及正確評(píng)估風(fēng)險(xiǎn)至關(guān)重要。對(duì)于目標(biāo)檢測(cè)器來說尤其如此，它們經(jīng)常部署在自動(dòng)駕駛、醫(yī)學(xué)成像和安全應(yīng)用等獨(dú)特的關(guān)鍵領(lǐng)域，這些領(lǐng)域可能危及人的生命。盡管存在這些高風(fēng)險(xiǎn)，目標(biāo)檢測(cè)器的置信度校準(zhǔn)受到的關(guān)注相對(duì)較少。目標(biāo)檢測(cè)器設(shè)計(jì)中的大部分注意力都集中在追求性能基準(zhǔn)上的最新結(jié)果，而忽略了其預(yù)測(cè)置信度方面的問題。 此外，最近已經(jīng)證明目標(biāo)檢測(cè)器在其位置回歸預(yù)測(cè)方面也容易受到條件置信偏差的影響，但目前尚不清楚這種偏差與受影響目標(biāo)檢測(cè)器的性能有何關(guān)系？
為了強(qiáng)調(diào)置信校準(zhǔn)的重要性，研究者表明條件置信偏差正在損害目標(biāo)檢測(cè)性能。該現(xiàn)象的簡(jiǎn)化說明如下圖所示。
三、新方法分析
Evaluating Object Detectors
Confidence Calibration
置信度校準(zhǔn)背后的想法是，每個(gè)預(yù)測(cè)的ci應(yīng)該等于經(jīng)驗(yàn)?zāi)繕?biāo)檢測(cè)器的TP預(yù)測(cè)概率P(τ i=1| d=di)。從這里開始，我們將其簡(jiǎn)稱為Pi。對(duì)于置信度校準(zhǔn)，將目標(biāo)檢測(cè)器視為一個(gè)隨機(jī)過程。預(yù)測(cè)di的標(biāo)簽現(xiàn)在由隨機(jī)變量Ti～Bernoulli(Pi)表示，從中抽取tIoU=0.50的τi作為樣本。Pi也可以看作是目標(biāo)檢測(cè)器對(duì)于具有相同置信度ci的一組檢測(cè)的精度；將Pi稱為“successful”或TP檢測(cè)的概率P(τ i=1| d=di)以避免與上等式中定義的度量混淆。
Bias in Confidence of Object Detector
研究者假設(shè)條件置信偏差正在損害目標(biāo)檢測(cè)器的性能。 如第一張圖，基于具有不同校準(zhǔn)曲線的兩組檢測(cè)的夸大示例來形象化這個(gè)想法。 每個(gè)組只有一個(gè)各自的置信值的檢測(cè)，在這個(gè)例子中很明顯，置信閾值為0.55的檢測(cè)器對(duì)于未校準(zhǔn)檢測(cè)(0,1)的精度為50%；如果檢測(cè)器被完美校準(zhǔn) (2,3)，精度為70%。 在精確召回曲線中可以觀察到相關(guān)的改進(jìn)。 該曲線下的面積與AP指標(biāo)密切相關(guān)。 簡(jiǎn)單示例和假設(shè)表明，目標(biāo)檢測(cè)器相對(duì)于邊界框大小和位置的置信估計(jì)偏差正在損害檢測(cè)器的性能。
接下來都是算式證明
Maximizing Average Precisio
為了證明提出的假設(shè)，即置信偏差正在損害目標(biāo)檢測(cè)器的性能，我們看一下AP與P的關(guān)系以及如何在一組檢測(cè)D中最大化它。目標(biāo)檢測(cè)器可以被視為一個(gè)隨機(jī)過程 ，所以我們需要分析預(yù)期的AP：
代入Prec和Rec：
如果我們假設(shè)每個(gè)Pi和Pj獨(dú)立，i≠j：
通過一些簡(jiǎn)單的算術(shù)，我們可以將其重新表述為：
因此，我們可以通過根據(jù)P從大到小對(duì)預(yù)測(cè)進(jìn)行排序來最大化AP計(jì)算中的總和。由于檢測(cè)在評(píng)估AP之前根據(jù)其置信度進(jìn)行排序，因此在以下條件下最大化：
Confidence Calibration
不同邊界框大小的置信度校準(zhǔn)的變化降低了檢測(cè)器的預(yù)期性能。現(xiàn)在已經(jīng)證明了這個(gè)假設(shè)，研究者希望在證明的基礎(chǔ)上通過校正校準(zhǔn)曲線之間的變化來提高檢測(cè)器的性能，看看它是否會(huì)提高性能指標(biāo)。如果找到消除條件偏差的檢測(cè)置信度映射，則消除了變化，從而產(chǎn)生了相等的校準(zhǔn)曲線。這可以通過將置信度映射為每個(gè)邊界框大小的成功概率來實(shí)現(xiàn)。當(dāng)然，概率通常是未知的，但置信度校準(zhǔn)正好解決了找到將置信度分?jǐn)?shù)映射到他們的經(jīng)驗(yàn)成功概率的函數(shù)的問題。根據(jù)以上的推理，條件置信校準(zhǔn)應(yīng)該減少目標(biāo)檢測(cè)器的框大小置信偏差。減少這種偏差應(yīng)該會(huì)增加檢測(cè)器的AP。我們嘗試使用公開可用的目標(biāo)檢測(cè)器CenterNet來驗(yàn)證這一點(diǎn)，它帶有Hourglass的主干網(wǎng)絡(luò)，并在COCO上進(jìn)行了訓(xùn)練。我們以60:40的比例分割2017 COCO驗(yàn)證集，在第一個(gè)分割上進(jìn)行校準(zhǔn)，并在較小的第二個(gè)分割上評(píng)估校準(zhǔn)檢測(cè)。我們對(duì)80個(gè)類別中的每一個(gè)類別進(jìn)行類別校準(zhǔn)以考慮不同類別的變化，然后將每個(gè)類別的檢測(cè)分為三個(gè)大小相同的邊界框大小的子組。每個(gè)子組都使用具有7個(gè)置信區(qū)間的直方圖分箱進(jìn)行校準(zhǔn)。校準(zhǔn)檢測(cè)的性能顯著差于未校準(zhǔn)檢測(cè)的，35.7 mAP和40.1mAP。這個(gè)結(jié)果與我們最初的推理和形式證明相矛盾，發(fā)生了什么？Modifying Histogram Binning
研究者仔細(xì)研究histogram binning，以了解為什么它會(huì)大大降低測(cè)試檢測(cè)器的性能。發(fā)現(xiàn)它違反了我們先前的一些假設(shè)，我們修改了標(biāo)準(zhǔn)直方圖分箱校準(zhǔn)以實(shí)際驗(yàn)證我們的原始假設(shè)，即我們可以使用校準(zhǔn)來提高預(yù)測(cè)性能。為此，我們?cè)谥狈綀D分箱中加入以下假設(shè)：第一個(gè)假設(shè)是校準(zhǔn)提高了我們根據(jù)預(yù)測(cè)成為TP的概率對(duì)預(yù)測(cè)進(jìn)行排序的能力。直方圖合并將置信范圍映射到單個(gè)估計(jì)的精度值，丟棄細(xì)粒度的置信差異，如下圖：由于我們已經(jīng)根據(jù)它們的大小將檢測(cè)分為子組，我們可以假設(shè)檢測(cè)器在這些子組中產(chǎn)生有意義的置信度排序：畢竟，這是它的訓(xùn)練目標(biāo)。由于我們希望保持每個(gè)子組內(nèi)的排序，我們?cè)谥狈綀Dbin的中心之間添加linear splines。
我們還將對(duì)splines的supports設(shè)置為每個(gè)bin中檢測(cè)的平均置信度，以最大限度地減少每個(gè)bin內(nèi)不均勻分布的置信度造成的錯(cuò)誤。在上圖右中可以看到supports處減少的方差以及所有修改。我們像以前一樣在同一個(gè)目標(biāo)檢測(cè)器上測(cè)試每個(gè)修改和最終修改的校準(zhǔn)函數(shù)。結(jié)果見之前的表格驗(yàn)證個(gè)別修改和我們最初的假設(shè)，即框大小置信偏差降低了目標(biāo)檢測(cè)器的性能，而我們的校準(zhǔn)可以減少這種偏差并提高性能。還有較多的證明推理，感興趣的同學(xué)可以在論文中繼續(xù)詳讀了解：
https://arxiv.org/pdf/2112.01901.pdf
四、實(shí)驗(yàn)
擴(kuò)展優(yōu)化指標(biāo)的 mAP 性能變化
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
