半監(jiān)督語義分割前沿
加入技術(shù)交流群
來源丨MCPRL
導(dǎo)讀
傳統(tǒng)語義分割在很多任務(wù)上已經(jīng)達(dá)到了很好的性能，然而這需要大規(guī)模完全標(biāo)注的數(shù)據(jù)集，這無疑需要昂貴的人力物力財力。半監(jiān)督語義分割旨在利用少量標(biāo)注樣本和大量的未標(biāo)記樣本解決標(biāo)注難度大、標(biāo)注成本昂貴等問題。本文將焦距近期半監(jiān)督語義分割的前沿論文，分析其方法和特點并給出總結(jié)。
1 背景
定義：使用大量的未標(biāo)記數(shù)據(jù)，以及同時使用標(biāo)記數(shù)據(jù)，來進(jìn)行語義分割。常用數(shù)據(jù)集：PASCAL VOC 2012；Cityscapes等常用分割網(wǎng)絡(luò)：不同backbone的deeplabv3+；HRNet；PSPNet等常用方法：主要包括Pseudo-Labels based和Consistency based，Pseudo-Labels based就是基于偽標(biāo)簽進(jìn)行監(jiān)督學(xué)習(xí)的方法, 一般就是模型對unlabeled data預(yù)測偽標(biāo)簽，然后進(jìn)行監(jiān)督學(xué)習(xí)；Consistency based就是利用數(shù)據(jù)增強(qiáng)、網(wǎng)絡(luò)擾動等方法，但認(rèn)為模型的輸出應(yīng)該保持一致，可以看作一種正則化方法以提高模型的泛化性，防止網(wǎng)絡(luò)對有標(biāo)簽數(shù)據(jù)的過擬合，讓模型提取出最本質(zhì)的特征。
2 論文列表
本文分析的論文如下：3 ST++: Make Self-training Work Better for Semi-supervised Semantic Segmentation
第一篇就是CVPR2022的ST++，它具有兩大出發(fā)點：- 對于半監(jiān)督語義分割來說，一些精細(xì)的機(jī)制（指加的一些tricks）是必不可少的嗎?更重要的是，self-train對于這項任務(wù)來說已經(jīng)過時了嗎?針對這個出發(fā)點，作者就使用self-train策略，利用常用的數(shù)據(jù)增強(qiáng)，而沒有用其他花哨的tricks，產(chǎn)生ST模型
- 第二個出發(fā)點就是，以前的方法，同時利用了所有的unlabeled data，而不同的未標(biāo)記圖像不可能同樣簡單，對應(yīng)的偽標(biāo)簽也不可能同樣可靠，因此在使用有些不可靠的偽標(biāo)簽迭代優(yōu)化模型時，會導(dǎo)致嚴(yán)重的預(yù)測偏差和潛在的性能下降。因此，作者提出ST++進(jìn)行重新訓(xùn)練，它會基于偽mask在不同迭代輪次中的整體穩(wěn)定性自動選擇和優(yōu)先排序更可靠的圖像，為剩下的不可靠的圖像生成更高質(zhì)量的人工標(biāo)簽。
- 【有監(jiān)督預(yù)訓(xùn)練】在有標(biāo)簽圖像上完全訓(xùn)練得到一個初始的教師模型T
- 【生成偽標(biāo)簽】用教師模型在所有的無標(biāo)簽圖像上預(yù)測one-hot偽標(biāo)簽
- 【重新訓(xùn)練】混合有標(biāo)簽圖像和無標(biāo)簽圖像及其偽標(biāo)簽，在其上重新訓(xùn)練一個學(xué)生模型S，用于最終的測試
- 在labeled data上訓(xùn)練T，并根據(jù)meanIOU篩選可靠的unlabeled data
- 用labeled data和可靠的unlabeled data第一次訓(xùn)練S
- 訓(xùn)練好的模型對不可靠的unlabeled data重新預(yù)測生成偽標(biāo)簽
- 用所有數(shù)據(jù)對S進(jìn)行第二次訓(xùn)練
- 整個訓(xùn)練過程還可以繼續(xù)迭代，利用自身模型性能的提升和數(shù)據(jù)不斷清洗形成正反饋。
4 Semi-Supervised Semantic Segmentation With Cross Pseudo Supervision
這一篇CPS來自于CVPR2021，,其思想非常簡單，就是利用網(wǎng)絡(luò)擾動，即兩個具有相同架構(gòu)的不同初始化的網(wǎng)絡(luò)進(jìn)行交叉監(jiān)督，來達(dá)到提升模型預(yù)測穩(wěn)定性的作用。它結(jié)合Cutmix數(shù)據(jù)增強(qiáng)和CELoss就可達(dá)到當(dāng)時SOTA。5 Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation
這篇文章也是出自CVPR2022，是一個利用一致性損失的經(jīng)典方法。它主要貢獻(xiàn)就是：1. 通過一個新的輔助教師和一個更嚴(yán)格的信心加權(quán)的CE損失(Conf-CE)來替代MT的MSE損失，提高了未標(biāo)記訓(xùn)練圖像的分割精度，和更好的收斂——架構(gòu)、損失函數(shù)層面2. 結(jié)合使用輸入數(shù)據(jù)、特征和網(wǎng)絡(luò)擾動，以改進(jìn)模型的泛化3. 提出一種新型的特征擾動，稱為T-VAT，基于從我們的MT模型的教師那里學(xué)習(xí)到的對抗性噪聲，并將其應(yīng)用于學(xué)生模型，從而產(chǎn)生具有挑戰(zhàn)性的噪聲，以促進(jìn)學(xué)生模型的有效訓(xùn)練?！獢_動層面6 Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels
7 Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning
這是NIPS2021的一篇，著重于解決長尾、類不平衡問題，比如說Cityscapes數(shù)據(jù)集，頭部類別的像素數(shù)遠(yuǎn)多于尾部類別幾百倍。為了應(yīng)對數(shù)據(jù)集中的這種問題，本文提出了三大自適應(yīng)策略：1)自適應(yīng)復(fù)制-粘貼和CutMix數(shù)據(jù)增強(qiáng)方法，為表現(xiàn)不佳的類別提供更多被復(fù)制或剪切的機(jī)會2)自適應(yīng)數(shù)據(jù)采樣方法，鼓勵從表現(xiàn)不佳的類別中采樣像素3)一種簡單而有效的重加權(quán)方法，以緩解偽標(biāo)記帶來的訓(xùn)練噪聲8 Enhancing Pseudo Label Quality for Semi-Supervised Domain-Generalized Medical Image Segmentation
這一篇是用在醫(yī)學(xué)圖像CT上的半監(jiān)督域擴(kuò)展語義分割，解決Domain-Generalize問題：訓(xùn)練數(shù)據(jù)由來自三個源域的標(biāo)記圖像和未標(biāo)記圖像組成，且不知道域標(biāo)簽，而測試數(shù)據(jù)來自一個未知分布。方法主要是借鑒CPS交叉監(jiān)督提出 confidence-aware cross pseudo supervision，并且使用了使用傅里葉特征做數(shù)據(jù)增強(qiáng)。9 Collaborative and Adversarial Learning of Focused and Dispersive Representations for Semi-supervised Polyp Segmentation
- 這篇是半監(jiān)督方法用在息肉分割上的，主要提出了兩個提取模塊，在兩個分割網(wǎng)絡(luò)的編碼路徑上分別采用FEM和DEM。FEM使我們的網(wǎng)絡(luò)能夠捕捉到輸入特征圖的重點信息，如位置信息和空間信息，而DEM試圖聚合輸入的零散邊界信息。
- 同時訓(xùn)練兩個分割網(wǎng)絡(luò)和一個discriminator網(wǎng)絡(luò)標(biāo)記圖像通過對抗訓(xùn)練方法。在一致性約束的幫助下，我們可以利用FEM和DEM的兩種特征映射，通過訓(xùn)練好的鑒別器網(wǎng)絡(luò)生成具有高可信度的置信度映射；
- 提出了另一種對抗訓(xùn)練方法——輔助對抗學(xué)習(xí)(AAL)，以提高半監(jiān)督訓(xùn)練階段未標(biāo)記圖像分割預(yù)測的質(zhì)量。我們采用一種新的鑒別器對有標(biāo)記圖像的分割結(jié)果分配真標(biāo)簽，對無標(biāo)記圖像的預(yù)測分配假標(biāo)簽。使用AAL可以得到可信度較高的置信圖，從而更好地應(yīng)用于分割網(wǎng)絡(luò)
10 總結(jié)
- 半監(jiān)督語義分割目前的改進(jìn)方向主要包括：圖像、特征、網(wǎng)絡(luò)層級的擾動；網(wǎng)絡(luò)架構(gòu)（目前較少）；損失函數(shù)（更細(xì)的改動，結(jié)合consistency-based 和 pseudo-based）；訓(xùn)練策略（更細(xì)致的策略）
- 可融合的方向：對比學(xué)習(xí)、相似度學(xué)習(xí)可作為突破口，可能可以結(jié)合弱監(jiān)督、無監(jiān)督方法。
撰稿人、排版人：董軍豪
本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
