機(jī)器學(xué)習(xí)最近取得了很大的進(jìn)展，但仍然有一個(gè)主要的挑戰(zhàn)：需要大量的標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練模型。

有時(shí)這種數(shù)據(jù)在現(xiàn)實(shí)世界中是無(wú)法獲得的。以醫(yī)療保健為例，我們可能沒(méi)有足夠的x光掃描來(lái)檢查一種新的疾病。但是通過(guò)少樣本學(xué)習(xí)可以讓模型只從幾個(gè)例子中學(xué)習(xí)到知識(shí)！

所以少樣本學(xué)習(xí)(FSL)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，它解決了只用少量標(biāo)記示例學(xué)習(xí)新任務(wù)的問(wèn)題。FSL的全部意義在于讓機(jī)器學(xué)習(xí)模型能夠用一點(diǎn)點(diǎn)數(shù)據(jù)學(xué)習(xí)新東西，這在收集一堆標(biāo)記數(shù)據(jù)太昂貴、花費(fèi)太長(zhǎng)時(shí)間或不實(shí)用的情況下非常有用。

支持樣本/查詢集:使用少量圖片對(duì)查詢集進(jìn)行分類。

少樣本學(xué)習(xí)中有三種主要方法需要了解:元學(xué)習(xí)、數(shù)據(jù)級(jí)和參數(shù)級(jí)。

• 元學(xué)習(xí):元學(xué)習(xí)包括訓(xùn)練一個(gè)模型，學(xué)習(xí)如何有效地學(xué)習(xí)新任務(wù);

• 數(shù)據(jù)級(jí):數(shù)據(jù)級(jí)方法側(cè)重于增加可用數(shù)據(jù)，以提高模型的泛化性能;

• 參數(shù)級(jí):參數(shù)級(jí)方法旨在學(xué)習(xí)更健壯的特征表示，以便更好地泛化到新任務(wù)中

元學(xué)習(xí)

元學(xué)習(xí)(學(xué)習(xí)如何學(xué)習(xí))。這種方法訓(xùn)練一個(gè)模型學(xué)習(xí)如何有效地學(xué)習(xí)新任務(wù)。這個(gè)模型是關(guān)于識(shí)別不同任務(wù)之間的共同點(diǎn)，并使用這些知識(shí)通過(guò)幾個(gè)例子快速學(xué)習(xí)新東西。

元學(xué)習(xí)算法通常在一組相關(guān)任務(wù)上訓(xùn)練模型，并學(xué)習(xí)從可用數(shù)據(jù)中提取與任務(wù)無(wú)關(guān)的特征和特定于任務(wù)的特征。任務(wù)無(wú)關(guān)的特征捕獲關(guān)于數(shù)據(jù)的一般知識(shí)，而任務(wù)特定的特征捕獲當(dāng)前任務(wù)的細(xì)節(jié)。在訓(xùn)練過(guò)程中，算法通過(guò)僅使用每個(gè)新任務(wù)的幾個(gè)標(biāo)記示例更新模型參數(shù)來(lái)學(xué)習(xí)適應(yīng)新任務(wù)。這使得模型可以用很少的示例推廣到新的任務(wù)。

數(shù)據(jù)級(jí)方法

數(shù)據(jù)級(jí)方法側(cè)重于擴(kuò)充現(xiàn)有數(shù)據(jù)，這樣可以幫助模型更好地理解數(shù)據(jù)的底層結(jié)構(gòu)，從而提高模型的泛化性能。

主要思想是通過(guò)對(duì)現(xiàn)有示例應(yīng)用各種轉(zhuǎn)換來(lái)創(chuàng)建新的示例，這可以幫助模型更好地理解數(shù)據(jù)的底層結(jié)構(gòu)。

有兩種類型的數(shù)據(jù)級(jí)方法:

• 數(shù)據(jù)增強(qiáng):數(shù)據(jù)增強(qiáng)包括通過(guò)對(duì)現(xiàn)有數(shù)據(jù)應(yīng)用不同的轉(zhuǎn)換來(lái)創(chuàng)建新的示例;

• 數(shù)據(jù)生成:數(shù)據(jù)生成涉及使用生成對(duì)抗網(wǎng)絡(luò)(GANs)從頭生成新的示例。

數(shù)據(jù)級(jí)的方法:

參數(shù)級(jí)方法目標(biāo)是學(xué)習(xí)更健壯的特征表示，可以更好地泛化到新的任務(wù)。

有兩種參數(shù)級(jí)方法:

• 特征提取:特征提取涉及從數(shù)據(jù)中學(xué)習(xí)一組特征，可以用于新任務(wù);

• 微調(diào):微調(diào)包括通過(guò)學(xué)習(xí)最優(yōu)參數(shù)使預(yù)訓(xùn)練的模型適應(yīng)新任務(wù)。

例如，假設(shè)你有一個(gè)預(yù)先訓(xùn)練好的模型，它可以識(shí)別圖像中的不同形狀和顏色。通過(guò)在新數(shù)據(jù)集上微調(diào)模型，只需幾個(gè)示例，它就可以快速學(xué)會(huì)識(shí)別新的類別。

元學(xué)習(xí)是FSL的一種流行方法，它涉及到在各種相關(guān)任務(wù)上訓(xùn)練模型，以便它能夠?qū)W習(xí)如何有效地學(xué)習(xí)新任務(wù)。該算法學(xué)習(xí)從可用數(shù)據(jù)中提取任務(wù)無(wú)關(guān)和任務(wù)特定的特征，快速適應(yīng)新的任務(wù)。

元學(xué)習(xí)算法可以大致分為兩種類型:基于度量的和基于梯度的。

基于度量的元學(xué)習(xí)

基于度量的元學(xué)習(xí)算法學(xué)習(xí)一種特殊的方法來(lái)比較每個(gè)新任務(wù)的不同示例。他們通過(guò)將輸入示例映射到一個(gè)特殊的特征空間來(lái)實(shí)現(xiàn)這一點(diǎn)，在這個(gè)空間中，相似的示例放在一起，而不同的示例則分開(kāi)很遠(yuǎn)。模型可以使用這個(gè)距離度量將新的示例分類到正確的類別中。

一種流行的基于度量的算法是Siamese Network，它學(xué)習(xí)如何通過(guò)使用兩個(gè)相同的子網(wǎng)絡(luò)來(lái)測(cè)量?jī)蓚€(gè)輸入示例之間的距離。這些子網(wǎng)絡(luò)為每個(gè)輸入示例生成特征表示，然后使用距離度量(如歐幾里得距離或余弦相似度)比較它們的輸出。

基于梯度元的學(xué)習(xí)

基于梯度的元學(xué)習(xí)學(xué)習(xí)如何更新他們的參數(shù)，以便他們能夠快速適應(yīng)新的挑戰(zhàn)。

這些算法訓(xùn)練模型學(xué)習(xí)一組初始參數(shù)，只需幾個(gè)例子就能快速適應(yīng)新任務(wù)。MAML (model - agnostic元學(xué)習(xí))是一種流行的基于梯度的元學(xué)習(xí)算法，它學(xué)習(xí)如何優(yōu)化模型的參數(shù)以快速適應(yīng)新任務(wù)。它通過(guò)一系列相關(guān)任務(wù)來(lái)訓(xùn)練模型，并使用每個(gè)任務(wù)中的一些示例來(lái)更新模型的參數(shù)。一旦模型學(xué)習(xí)到這些參數(shù)，它就可以使用當(dāng)前任務(wù)中的其他示例對(duì)它們進(jìn)行微調(diào)，提高其性能。

FSL有幾種算法，包括：

• 與模型無(wú)關(guān)的元學(xué)習(xí)(Model-Agnostic Meta-Learning): MAML是一種元學(xué)習(xí)算法，它為模型學(xué)習(xí)了一個(gè)良好的初始化，然后可以用少量的例子適應(yīng)新的任務(wù)。

• 匹配網(wǎng)絡(luò) （Matching Networks）:匹配網(wǎng)絡(luò)通過(guò)計(jì)算相似度來(lái)學(xué)習(xí)將新例子與標(biāo)記的例子匹配。

• 原型網(wǎng)絡(luò)（Prototypical Networks）:原型網(wǎng)絡(luò)學(xué)習(xí)每個(gè)類的原型表示，根據(jù)它們與原型的相似性對(duì)新示例進(jìn)行分類。

• 關(guān)系網(wǎng)絡(luò)（Relation Networks）:關(guān)系網(wǎng)絡(luò)學(xué)會(huì)比較成對(duì)的例子，對(duì)新的例子做出預(yù)測(cè)。

與模型無(wú)關(guān)的元學(xué)習(xí)

MAML的關(guān)鍵思想是學(xué)習(xí)模型參數(shù)的初始化，這些參數(shù)可以通過(guò)一些示例適應(yīng)新任務(wù)。在訓(xùn)練過(guò)程中，MAML接受一組相關(guān)任務(wù)，并學(xué)習(xí)僅使用每個(gè)任務(wù)的幾個(gè)標(biāo)記示例來(lái)更新模型參數(shù)。這一過(guò)程使模型能夠通過(guò)學(xué)習(xí)模型參數(shù)的良好初始化來(lái)泛化到新的任務(wù)，這些參數(shù)可以快速適應(yīng)新的任務(wù)。

匹配網(wǎng)絡(luò)

匹配網(wǎng)絡(luò)是另一種常用的少樣本圖像分類算法。它不是學(xué)習(xí)固定的度量或參數(shù)，而是基于當(dāng)前支持集學(xué)習(xí)動(dòng)態(tài)度量。這意味著用于比較查詢圖像和支持集的度量因每個(gè)查詢圖像而異。

匹配網(wǎng)絡(luò)算法使用一種注意力機(jī)制來(lái)計(jì)算每個(gè)查詢圖像的支持集特征的加權(quán)和。權(quán)重是根據(jù)查詢圖像和每個(gè)支持集圖像之間的相似性來(lái)學(xué)習(xí)的。然后將支持集特征的加權(quán)和與查詢圖像特征連接起來(lái)，得到的向量通過(guò)幾個(gè)全連接的層來(lái)產(chǎn)生最終的分類。

原型網(wǎng)絡(luò)

原型網(wǎng)絡(luò)是一種簡(jiǎn)單有效的少樣本圖像分類算法。它學(xué)習(xí)圖像的表示，并使用支持示例的嵌入特征的平均值計(jì)算每個(gè)類的原型。在測(cè)試過(guò)程中，計(jì)算查詢圖像與每個(gè)類原型之間的距離，并將原型最近的類分配給查詢。

關(guān)系網(wǎng)絡(luò)

關(guān)系網(wǎng)絡(luò)學(xué)習(xí)比較支持集中的示例對(duì)，并使用此信息對(duì)查詢示例進(jìn)行分類。關(guān)系網(wǎng)絡(luò)包括兩個(gè)子網(wǎng)絡(luò):特征嵌入網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)。特征嵌入網(wǎng)絡(luò)將支持集中的每個(gè)示例和查詢示例映射到一個(gè)特征空間。然后關(guān)系網(wǎng)絡(luò)計(jì)算查詢示例和每個(gè)支持集示例之間的關(guān)系分?jǐn)?shù)。最后使用這些關(guān)系分?jǐn)?shù)對(duì)查詢示例進(jìn)行分類。

少樣本學(xué)習(xí)在不同的領(lǐng)域有許多應(yīng)用，包括:

在各種計(jì)算機(jī)視覺(jué)任務(wù)中，包括圖像分類、目標(biāo)檢測(cè)和分割。少樣本學(xué)習(xí)可以識(shí)別圖像中不存在于訓(xùn)練數(shù)據(jù)中的新對(duì)象。

在自然語(yǔ)言處理任務(wù)中，如文本分類、情感分析和語(yǔ)言建模，少樣本學(xué)習(xí)有助于提高語(yǔ)言模型在低資源語(yǔ)言上的性能。

在機(jī)器人技術(shù)中使用少數(shù)次學(xué)習(xí)，使機(jī)器人能夠快速學(xué)習(xí)新任務(wù)，適應(yīng)新環(huán)境。例如，機(jī)器人只需要幾個(gè)例子就可以學(xué)會(huì)撿起新物體。

少樣本在醫(yī)療診斷領(lǐng)域可以在數(shù)據(jù)有限的情況下識(shí)別罕見(jiàn)疾病和異常，可以幫助個(gè)性化治療和預(yù)測(cè)病人的結(jié)果。

少樣本學(xué)習(xí)是一種強(qiáng)大的技術(shù)，它使模型能夠從少數(shù)例子中學(xué)習(xí)。它在各個(gè)領(lǐng)域都有大量的應(yīng)用，并有可能徹底改變機(jī)器學(xué)習(xí)。隨著不斷的研究和開(kāi)發(fā)，少樣本學(xué)習(xí)可以為更高效和有效的機(jī)器學(xué)習(xí)系統(tǒng)鋪平道路。