Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation

論文：https://arxiv.org/abs/2209.07695

代碼：https://github.com/xiaoachen98/DDB

域自適應語義分割（Domain Adaptive Semantic Segmentation, DASS）旨在利用大量有標注的源域數(shù)據(jù)和未標注的目標域數(shù)據(jù)，然后把知識從源域遷移到目標域中。先前的DASS方法大多試圖直接把源域?qū)W到的知識遷移到目標域中，然而巨大的領域差異往往會限制這些方法的有效性，只能取得次優(yōu)的性能。為了緩解這個問題，一些方法通過在輸入空間（style transfer類方法），或輸出空間（self-training類方法）進行域橋接（domain bridging, DB）來在領域間逐漸地遷移知識。

通過前人的實驗以及我們自己的復現(xiàn)結(jié)果的發(fā)現(xiàn)，這些基于style transfer的方法總是會產(chǎn)生一些不利于密集預測的偽影（尤其是在高分辨率場景下）。為了能夠在輸入空間和輸出空間都能夠構建中間域，我們求助于一些data mix技術。我們首先把這些data mix技術分為兩類，即全局插值（如mix-up）和局部替換（如cutmix）。然后，我們構建了一個簡單的自訓練pipeline來驗證這些DB方法的有效性：

從表1可以發(fā)現(xiàn)基于局部替換的DB方法要優(yōu)于其它類型的DB方法，并且從表1(c)中還可以發(fā)現(xiàn)CutMix（region level）和ClassMix（class level）這兩個DB技術混合使用可以帶來一些性能增益。這個觀察引起了我們的注意，于是我們可視化了兩個方法訓練出的模型特征分布和預測：

從上圖可以發(fā)現(xiàn)，region level的 DB方法訓練出的模型更關注目標的上下文信息而損害一些特征的可判別性（正確分割出火車類但特征分布比較松散），class level的DB方法訓練出的模型則更傾向于挖掘目標自身的特性而忽略了目標的上下文信息（有更緊湊的特征分布但完全混淆了火車和公交車）。這種互補的特性引起了我們的興趣以及進一步的探究。

核心思想：充分利用region level的DB方法和class level的DB方法的互補特性，得到更優(yōu)的性能。

方法流程：概括來說，我們采用了雙路徑領域橋接（DPDB）步驟和跨路徑知識蒸餾（CKD）步驟交替進行的訓練策略來取長補短，相互促進。具體來說，我們先用region level DB和class level DB進行自訓練，得到兩個互補的教師模型（DPDB）。接著各自在目標域上計算出每個類別的prototype用于計算下一步CKD步驟中的ensemble權重圖。在CKD步驟中，我們隨機初始化一個學生模型，在目標域上用DPDB中得到的兩個互補教師模型來進行多教師硬蒸餾，并且每個位置與對應類別的prototype距離會被用來動態(tài)加權兩個教師模型的預測。通過CKD可以得到優(yōu)于所有教師模型的學生模型，這個學生模型的權重會用來初始化下一個階段的DPDB的模型，達到交替訓練的目的。算法偽代碼如下：

我們的方法除了可應用于標準的單源-單目標的設定外，還不需要任何定制化設計即可在多源-單目標以及單源-多目標的設定上取得優(yōu)異性能。

此外，我們還進行了完整的消融實驗和互補性實驗來驗證motivation以及所提策略的有效性。從表5可以發(fā)現(xiàn)硬蒸餾，適應性集成，以及交替訓練的有效性。從表6可以看出region level DB和class level DB方法的互補性。從圖3的預測圖中也可以看出兩種DB方法的互補性，以及我們提出的DDB可以很好地集成各自的優(yōu)點，青出于藍而勝于藍。

本文簡單的介紹了DDB的研究動機，方法介紹和簡單實驗分析其有效性。論文和補充材料中有更加詳細的討論，并且有更詳細的細節(jié)描述。希望我們的工作能夠給DASS帶來一些有意思的見解。