論文：https://arxiv.org/abs/2103.09136

代碼（已開(kāi)源）：https://github.com/ChenhongyiYang/QueryDet-PyTorch

01

概述

促進(jìn)小目標(biāo)檢測(cè)的最常見(jiàn)和最有效的方法是使用高分辨率圖像或特征圖。然而，這兩種方法都會(huì)導(dǎo)致計(jì)算成本高昂，因?yàn)橛?jì)算成本會(huì)隨著圖像和特征大小的增加而成正比增長(zhǎng)。

為了兩全其美，研究者提出了QueryDet，使用一種新穎的查詢機(jī)制來(lái)加速基于特征金字塔的目標(biāo)檢測(cè)器的推理速度。該流程由兩個(gè)步驟組成沒(méi)如下圖。

首先在低分辨率特征上預(yù)測(cè)小物體的粗略位置，然后使用由這些粗略位置稀疏引導(dǎo)的高分辨率特征計(jì)算準(zhǔn)確的檢測(cè)結(jié)果。這樣不僅可以收獲高分辨率特征圖的好處，還可以避免對(duì)背景區(qū)域進(jìn)行無(wú)用計(jì)算。在流行的COCO數(shù)據(jù)集上，該方法將檢測(cè)mAP提高了1.0，mAP small提高了2.0，高分辨率推理速度平均提高了3倍。在包含更多小目標(biāo)的VisDrone數(shù)據(jù)集上，研究者創(chuàng)建了一個(gè)新的狀態(tài)，同時(shí)平均獲得2.3倍的高分辨率加速。

02

背景及動(dòng)機(jī)

可以通過(guò)縮放輸入圖像的大小或降低CNN的下采樣率以保持高分辨率特征來(lái)改進(jìn)小目標(biāo)檢測(cè)，因?yàn)樗鼈冊(cè)黾恿私Y(jié)果特征圖中的有效分辨率。然而，僅僅增加特征圖的分辨率會(huì)產(chǎn)生相當(dāng)大的計(jì)算成本。幾項(xiàng)工作[A unified multi-scale deep convolutional neural network for fast object detection] [Feature pyramid networks for object detection][Ssd: Single shot multibox detector]提出通過(guò)重用來(lái)自CNN不同層的多尺度特征圖來(lái)構(gòu)建特征金字塔來(lái)解決這個(gè)問(wèn)題。不同尺度的目標(biāo)在不同的層次上被處理：大目標(biāo)傾向于在高層次特征上被檢測(cè)到，而小目標(biāo)通常在低層次上被檢測(cè)到。特征金字塔范式節(jié)省了在主干中從淺到深維護(hù)高分辨率特征圖的計(jì)算成本。盡管如此，檢測(cè)頭對(duì)低級(jí)特征的計(jì)算復(fù)雜度仍然是巨大的。

例如，在RetinaNet中添加一個(gè)額外的金字塔級(jí)別P2將帶來(lái)大約300%的計(jì)算量（FLOPs）和檢測(cè)頭的內(nèi)存成本；因此在NVIDIA 2080Ti GPU上將推理速度從13.6 FPS嚴(yán)重降低到4.85 FPS。

研究者提出了一種簡(jiǎn)單有效的方法QueryDet，以節(jié)省檢測(cè)頭的計(jì)算量，同時(shí)提高小目標(biāo)的性能。動(dòng)機(jī)來(lái)自兩個(gè)關(guān)鍵觀察：

1）對(duì)低級(jí)特征的計(jì)算是高度冗余的。在大多數(shù)情況下，小目標(biāo)的空間分布非常稀疏：它們只占據(jù)高分辨率特征圖的一小部分；因此浪費(fèi)了大量的計(jì)算。 

2）特征金字塔是高度結(jié)構(gòu)化的。雖然我們無(wú)法準(zhǔn)確檢測(cè)低分辨率特征圖中的小物體，但我們?nèi)匀豢梢愿叨茸孕诺赝茢喑鏊鼈兊拇嬖诤痛致晕恢谩?/span>

利用上圖兩個(gè)觀察結(jié)果的一個(gè)自然想法是，我們只能將檢測(cè)頭應(yīng)用于小目標(biāo)的空間位置。該策略需要以低成本和稀疏計(jì)算在所需的特征圖上定位小物體的粗略位置。 

在今天分享中，研究者提出了基于新型查詢機(jī)制級(jí)聯(lián)稀疏查詢(CSQ)的QueryDet，如上圖所示。遞歸地預(yù)測(cè)低分辨率特征圖上小目標(biāo)（查詢）的粗略位置，并將它們用于 指導(dǎo)更高分辨率特征圖中的計(jì)算。借助稀疏卷積，顯著降低了檢測(cè)頭對(duì)低級(jí)特征的計(jì)算成本，同時(shí)保持了對(duì)小目標(biāo)的檢測(cè)精度。請(qǐng)注意，新提出的方法旨在節(jié)省空間計(jì)算，因此它與其他加速方法兼容，如輕量級(jí)主干網(wǎng)、模型修剪、模型量化和知識(shí)蒸餾。

03

新框架

Revisiting RetinaNet

RetinaNet有兩部分：一個(gè)帶有FPN的主干網(wǎng)絡(luò)，輸出多尺度特征圖和兩個(gè)用于分類和回歸的檢測(cè)頭。

• ResNet+FPN：提取圖片特征

• Anchor：邊框搜索

• Class subnet (Focal Loss)：預(yù)測(cè)類別

• Box subnet：預(yù)測(cè)邊框坐標(biāo)和大小

P3 head占據(jù)了將近一半的FLOPs，而低分辨率功能P4到P7的成本僅占15%。因此，如果想將FPN擴(kuò)展到P2以獲得更好的小目標(biāo)性能，成本是無(wú)法承受的：高分辨率的P2和P3將占據(jù)總成本的75%。在下面風(fēng)分析中，描述了QueryDet如何減少對(duì)高分辨率特征的計(jì)算并促進(jìn)推理sp。

Accelerating Inference by Sparse Query

在基于FPN的檢測(cè)器的設(shè)計(jì)中，小目標(biāo)傾向于從高分辨率低級(jí)特征圖中檢測(cè)到。然而，由于小目標(biāo)通常在空間中分布稀疏，高分辨率特征圖上的密集計(jì)算范式效率非常低。受此觀察的啟發(fā)，研究者提出了一種從粗到細(xì)的方法來(lái)降低低級(jí)金字塔的計(jì)算成本：首先，在粗略特征圖上預(yù)測(cè)小物體的粗略位置，然后集中計(jì)算精細(xì)特征圖上的相應(yīng)位置。這個(gè)過(guò)程可以看作是一個(gè)查詢過(guò)程：粗略的位置是查詢鍵，用于檢測(cè)小目標(biāo)的高分辨率特征是查詢值；因此稱提出的方法為QueryDet。方法的整個(gè)流程如下圖所示。

Relationships with Related Work

請(qǐng)注意，盡管新提出的方法與使用RPN的兩階段目標(biāo)檢測(cè)器有一些相似之處，但它們?cè)谝韵路矫嬗兴煌?/span>

1. 新方法僅在粗略預(yù)測(cè)中計(jì)算分類結(jié)果，而RPN同時(shí)計(jì)算分類和回歸

2. RPN是在所有級(jí)別的全特征圖上計(jì)算的，而QueryDet的計(jì)算是稀疏和選擇性的

3. 兩階段方法依靠像RoIAlign或RoIPooling這樣的操作來(lái)將特征與第一階段候選對(duì)齊。

盡管如此，它們并沒(méi)有在新提出的方法中使用，因?yàn)檠芯空咴诖致灶A(yù)測(cè)中沒(méi)有框輸出。值得注意的是，提出的方法與基于FPN的RPN兼容，因此可以將QueryDet合并到兩階段檢測(cè)器中以加速提案生成。

04

實(shí)驗(yàn)及可視化

Comparison of accuracy (AP) and speed (FPS) of our QueryDet and the baseline RetinaNet on COCO mini-val set

Comparison of detection accuracy (AP) and speed (FPS) of our QueryDet and the baseline RetinaNet on VisDrone validation set

The speed and accuracy (AP and AR) trade-off with input images with different sizes on COCO and VisDrone. The trade-off is controlled by the the query threshold σ. The leftmost marker (the ▲ marker) of each curve stands for the result when Cascade Sparse Query is not applied. QD stands for QueryDet and RN stands for RetinaNet

Visualization of the detection results and the query heatmap for small objects of our QueryDet on MS-COCO and VisDrone2018 datasets. We remove class labels for VisDrone2018 to better distinguish the small bounding boxes