編者按：小樣本圖像分類是小樣本學習研究領域中的一個熱點問題，對其展開應用和研究，有十分重大的現實意義?；诙攘繉W習的方法在該領域中得到了廣泛應用，并且取得了顯著效果。但是在應用這種方法時，由于觀測噪聲的存在，所以網絡模型對于不同輸入對應的特征表達具有不同的置信度。對不確定度的建模和利用，對于提升優(yōu)化效率十分重要。

因此，微軟亞洲研究院的研究員們提出了不確定性感知小樣本圖像分類方法。相關研究論文“Uncertainty-Aware Few-Shot Image Classification”已被國際人工智能聯合會議 IJCAI 2021 收錄。歡迎感興趣的讀者點擊閱讀原文，查看論文全文。

小樣本學習可以降低機器學習算法的數據依賴性，對于實際應用意義重大。其中，小樣本圖像分類旨在從少量標注樣本中學習識別新的類別。在該領域中，基于度量學習的方法得到了廣泛研究并取得了顯著效果。具體而言，這種方法是按照特征空間相似度將待分類樣本與支持集合中最近鄰的類中心進行匹配，進而實現分類的。但是，由于觀測噪聲的存在，網絡模型對于不同輸入對應的特征表達具有不同的置信度。對不確定度的建模和利用，對于提升小樣本學習的優(yōu)化效率十分重要，但這在以前卻經常被忽略。

因此，微軟亞洲研究院的研究員們提出了不確定性感知小樣本圖像分類方法。該方法將“樣本-類中心”對的相似度從原來的確定性表征轉變?yōu)楦怕驶碚?，并且將相似度的不確定性在該概率化表征中進行參數化。同時該方法還利用圖模型，聯合預測每個樣本與支撐集中所有的類中心相似度的不確定性，以實現不確定性感知優(yōu)化。最后，研究員們還基于強基線模型對該方法進行了性能驗證。相對于該強基線模型，本文提出方法的性能得到了顯著提升，并超過 SOTA 方法。相關研究論文“Uncertainty-Aware Few-Shot Image Classification”已被國際人工智能聯合會議 IJCAI 2021 收錄。

論文鏈接：https://arxiv.org/pdf/2010.04525.pdf

方法簡介

在基于度量學習的小樣本圖像分類中，“樣本-類中心”對的相似度由樣本和類中心在特征空間中的表征共同決定。因此與之前的工作不同，本文的方法不再對特征表征的不確定性建模，而是對特征相似度的不確定性進行建模。（如圖1）

圖1：不確定性感知圖像分類的流程圖

不確定度建模：研究員們首先對待分類樣本（query）和支持集（support）中的樣本進行特征提取，將每個樣本用一個特征向量表示。同時對支撐集中每個類別的不同樣本的特征向量進行平均，進而得到類中心。然后，研究員們將每個樣本和類中心之間的相似度建模成一個由均值 μ 和方差 σ 參數化的高斯分布。其中，均值 μ 表示根據確定性方式計算得到的相似度度量，并以此代表最有可能的相似度度量值；方差 σ 則表示該相似度的不確定程度。

不確定度估計：考慮到基于相似度的圖像分類，是將待分類樣本與所有的類中心進行相似度計算，從而對應于一個“聯合決策”過程。因此，研究員們提出：基于全局上下文信息，利用圖模型聯合估計所有“樣本-類中心”對的相似度不確定性。對于一個給定的待分類樣本，可將其對應的所有“樣本-類中心”對作為圖模型中的節(jié)點，進而利用圖模型進行全局范圍內的信息傳遞。該圖模型對應節(jié)點的輸出即為對應于“樣本-類中心”對相似度的不確定性估計結果。

基于圖模型的不確定性預測器具有兩個優(yōu)點：（1）對參與分類任務的類別數有可伸縮性，使得可以在網絡訓練的不同階段對不確定性預測器進行訓練；（2）可以利用全局上下文信息進行不確定性預測。

不確定性感知優(yōu)化：通過上述對于相似度不確定性的建模，研究員們將相似度從確定性表征轉變成概率化表征。此時，分類的 logits 將從一個概率分布變成一個聯合概率分布，其每一維由一個高斯分布建模。由于該聯合概率分布的期望的解析解難以得到，所以研究員們采用了 Monte Carlo 積分，對該聯合分布期望進行近似估計，從而實現不確定性感知優(yōu)化。

實驗結果

基線模型：本文工作基于一個強基線模型進行性能驗證。該強基線模型的訓練分兩個階段進行：

（1）全局分類訓練階段。對訓練集中的所有類別，通過一個由全連接層構建的分類器，利用交叉熵損失函數，對特征提取器和分類器進行模型訓練。

（2）回合制訓練階段。在該階段，每次隨機采樣 N 個類別，每個類別隨機采樣 K 個樣本，從而組成一個“N-way，K-shot”的支撐集，進而計算待分類樣本與支撐集合中所有類中心在特征空間的相似度。最后，利用交叉熵損失函數進行基于相似度的分類訓練。

性能驗證實驗：首先驗證不確定性建模對于不同訓練階段優(yōu)化的有效性，實驗結果如表1所示。其中“w/o U”表示不使用不確定性感知優(yōu)化；“w U”表示使用本文提出的不確定性感知優(yōu)化；“no”表示不進行對應階段的訓練。

表1：相似度不確定性建模對于不同訓練階段的有效性分析

由表1可知，在不同階段中使用本文提出的不確定感知優(yōu)化方法，對于小樣本圖像分類任務的準確率均有明顯提升。除此以外，在第一個階段中對不確定性預測器進行預訓練，可以使模型取得更優(yōu)的實驗結果。這得益于圖模型構建的不確定性預測器，從而使其對于參與分類任務的類別數具有可伸縮性。

不同建模方式的對照實驗：在該實驗中，研究員們將對相似度及樣本的特征表達進行不確定性建模和實驗對比。同時，研究員們還對比了不確定性預測器不同的結構設計，實驗結果如表2所示。其中，“SampleU”表示對樣本表征進行不確定性建模；“SimiU”表示對“樣本-類中心”對相似度進行不確定性建模?！癈onv-based”表示基于卷積模型的不確定性預測器；“Graph-based”表示基于圖模型的不確定性預測器。實驗結果表明，本文提出的相似度不確定性建模方法和基于圖模型的不確定性預測器具有較好的實驗性能。

表2：不同不確定性的建模和預測方式對比實驗

與 SOTA 方法的性能對比：研究員們在 mini-ImageNet、tiered-ImageNet、CIFAR-FS 和 FC-100 四個通用小樣本圖像分類數據集上，將所提出的不確定性感知小樣本圖像分類模型與 SOTA 方法進行性能對比，實驗結果如表3所示。實驗證明了本文提出的方法在大多數情況下均能超過已有 SOTA 方法。

表3：與 SOTA 方法的性能對比。其中“l(fā)1-l2-l3-l4”表示由四層卷積神經網絡構成的 Backbone 模型，各層的卷積核數目分別為 l1，l2，l3 和 l4。

結論

在本文中，研究員們提出了不確定性感知小樣本圖像分類方法。利用數據獨立的不確定性建模，來降低觀測噪聲對于小樣本學習的不良影響。研究員們首先將“樣本-類中心”對的相似度從確定性建模方式轉變?yōu)楦怕驶７绞?；然后設計了一個基于圖模型的不確定性預測器，利用全局范圍的上下文信息對“樣本-類中心”對的相似度不確定性進行聯合預測，從而實現不確定性感知優(yōu)化。與此同時，通過實驗對比，還驗證了本文提出方法的有效性，并證明了該方法能夠在多個通用公開數據集上取得 SOTA 的實驗性能。

本文作者：張直政