前言  在現(xiàn)有的基于CNN的檢測(cè)器中，骨干網(wǎng)絡(luò)是基本特征提取的重要組成部分，檢測(cè)器的性能在很大程度上取決于它。 

在今天分享中，作者的目標(biāo)是通過(guò)建立一個(gè)更強(qiáng)大的骨干網(wǎng)絡(luò)，如ResNet和ResNeXt，以獲得更好的檢測(cè)性能。具體來(lái)說(shuō)，提出了一種新的策略，通過(guò)相鄰骨干之間的復(fù)合連接來(lái)組裝多個(gè)相同的骨干，以形成一個(gè)更強(qiáng)大的骨干稱(chēng)為復(fù)合骨干網(wǎng)絡(luò)(CBNet)。 通過(guò)這種方式，CBNet迭代地將前一個(gè)骨干的輸出特征，即高級(jí)特征，作為輸入特征的一部分，以逐階段的方式提供給后續(xù)骨干，最后使用最后一個(gè)骨干的特征映射（稱(chēng)為領(lǐng)導(dǎo)骨干）進(jìn)行目標(biāo)檢測(cè)。 最后證明CBNet可以非常容易地集成到大多數(shù)先進(jìn)的檢測(cè)器中，并顯著提高它們的性能。

CBNet通過(guò)相鄰骨干的并行階段之間的復(fù)合連接組合多個(gè)相同的骨干(助理骨干和領(lǐng)導(dǎo)骨干）。通過(guò)這種方式，CBNet以一種逐階段的方式迭代地將骨干的輸出特征作為輸入特征的一部分反饋給后續(xù)骨干，最后輸出最后一個(gè)骨干的特征，即用于對(duì)象檢測(cè)的領(lǐng)導(dǎo)骨干。紅色箭頭表示復(fù)合連接。

背景

Recurrent Convolution Neural Network：

如上圖所示，所提出的復(fù)合骨干網(wǎng)絡(luò)體系結(jié)構(gòu)與未展開(kāi)的遞歸卷積神經(jīng)網(wǎng)絡(luò)(RCNN)體系結(jié)構(gòu)有點(diǎn)相似。然而，所提出的CBNet與該網(wǎng)絡(luò)有很大的不同。

首先，如上圖所示，CBNet的體系結(jié)構(gòu)實(shí)際上是完全不同的，特別是對(duì)于并行階段之間的連接。第二，在RCNN中，不同時(shí)間步驟的并行階段共享參數(shù)，而在所提出的CBNet中，骨干的并行階段不共享參數(shù)。

此外，如果我們使用RCNN作為檢測(cè)器的主干，我們需要在Image Net上對(duì)其進(jìn)行預(yù)訓(xùn)練。然而，當(dāng)我們使用CBNet時(shí)，我們不需要對(duì)其進(jìn)行預(yù)訓(xùn)練。

Architecture of CBNet

所提出的CBNet的體系結(jié)構(gòu)由K個(gè)相同的骨干(K≥2)組成)。特別是，為了簡(jiǎn)單起見(jiàn)，將K=2的情況(如上圖a所示)稱(chēng)為雙骨干(DB)，K=3的情況稱(chēng)為三骨干(TB)。如下圖所示，CBNet體系結(jié)構(gòu)包含兩種類(lèi)型的骨干：領(lǐng)導(dǎo)骨干BK和助理骨干B1、B2、...、BK?1。每個(gè)骨干包括L級(jí)(一般為L(zhǎng)級(jí)=5級(jí))，每個(gè)級(jí)由幾個(gè)具有相同大小特征映射的卷積層組成。骨干的第l階段實(shí)現(xiàn)了一個(gè)非線(xiàn)性變換Fl（·）。

在傳統(tǒng)的只有一個(gè)骨干的卷積網(wǎng)絡(luò)中，第l階段以前一個(gè)l?第1階段的輸出(表示為xl?1)作為輸入，可以表示為：

CBNet就不完全于此：

 此外，CBNet中的B1、B2、...、BK?1可以采用各種骨干結(jié)構(gòu)，并且可以直接從預(yù)先訓(xùn)練好的模型中初始化單個(gè)骨干。

Other possible composite styles

實(shí)驗(yàn) 

CBNet (Dual-ResNet101) 與ResNet101可視化比較

COCO數(shù)據(jù)集上檢測(cè)器的mAP增加了約1.5%至3%，通過(guò)簡(jiǎn)單地將CBNet集成到Cascade Mask R-CNN基線(xiàn)中，在COCO上獲得了一個(gè)新的最先進(jìn)的結(jié)果，mAP為53.3。

同時(shí)，實(shí)驗(yàn)結(jié)果表明，提高實(shí)例分割性能也是非常有效的。額外的研究進(jìn)一步證明了所提出的結(jié)構(gòu)和復(fù)合連接模塊的有效性。