學校 | 香港中文大學研究方向 | 機器人、醫(yī)療圖像、主動學習

我將我對主動學習的理解和最新研究的感悟都整理為這篇文章，主要目的是供大家參考、討論，一起學習和交流主動學習的技術。同時，我以后還會繼續(xù)閱讀主動學習領域的文章，有不錯和值得推薦的文章，我會實時更新到我的 github 里，大家可以通過這個 list 最快地閱讀最新最重要的文章，也歡迎大家向我推薦一些文章和一起交流。
Awesome Active Learning:https://github.com/baifanxxx/awesome-active-learning
Note：前 1、2、3 節(jié)都是一些主動學習基礎內(nèi)容，也有很多文章做過類似的整理和介紹，如果你已經(jīng)很了解了，可以直接跳到 4 節(jié)以后閱讀。

主動學習是一種通過主動選擇最有價值的樣本進行標注的機器學習或人工智能方法。其目的是使用盡可能少的、高質量的樣本標注使模型達到盡可能好的性能。也就是說，主動學習方法能夠提高樣本及標注的增益，在有限標注預算的前提下，最大化模型的性能，是一種從樣本的角度，提高數(shù)據(jù)效率的方案，因而被應用在標注成本高、標注難度大等任務中，例如醫(yī)療圖像、無人駕駛、異常檢測、基于互聯(lián)網(wǎng)大數(shù)據(jù)的相關問題。
▲ The pool-based active learning cycle. (Burr Settles, 2010)
Settles, Burr 的 Active Learning Literature Survey 文章為經(jīng)典的主動學習工作進行了總結。上圖是經(jīng)典的基于池的主動學習框架。在每次的主動學習循環(huán)中，根據(jù)任務模型和無標簽數(shù)據(jù)的信息，查詢策略選擇最有價值的樣本交給專家進行標注并將其加入到有標簽數(shù)據(jù)集中繼續(xù)對任務模型進行訓練。因為主動學習的過程中存在人的標注，所以主動學習又屬于 Human-in-the-Loop Machine Learning 的一種。
主動學習為什么是有用的？下面通過一個直觀的小例子讓大家感受一下。
▲ (a) 一個由 400 個實例組成的數(shù)據(jù)集，從兩類高斯分布均勻采用。實例表示為二維特征空間中的點。(b) 從問題域中隨機抽取 30 個標記實例，訓練一個邏輯回歸模型。這條藍線代表了分類器的決策邊界（70% 的準確率）。(c) 使用不確定性抽樣對 30 個主動查詢實例進行訓練的邏輯回歸模型（90%）。（Burr Settles, 2010）
由此說明，樣本對模型的貢獻并不是一樣的，選擇更有價值的樣本具有實際意義。當然，如何確定和評估樣本的價值也是主動學習研究的一個重點。

根據(jù)應用場景，主動學習的方法可以被分為 membership query synthesis, stream-based and pool-based 三種類型。其中，pool-based 是最常見的場景，并且由于深度學習基于 batch 訓練的機制，使得 pool-based 的方法更容易與其契合。
在membership query synthesis 的場景中，算法可能挑選整個無標簽數(shù)據(jù)中的任何一個交給 oracle 標注，典型的假設是包括算法自己生成的數(shù)據(jù)。但是有時候，算法生成的數(shù)據(jù)無法被 oracle 識別，例如生成的手寫字圖像太奇怪，oracle 也不能識別它屬 于 0~9？或者生成的音頻數(shù)據(jù)不存在語義信息，讓 oracle 也無法識別。
在 stream-based 的場景中，每次只給算法輸入一個無標簽樣本，由算法決定到底是交給 oracle 標注還是直接拒絕。有點類似流水線上的次品檢測員，過來一個產(chǎn)品就需要立刻判斷是否為次品，而不能在開始就根據(jù)這一批產(chǎn)品的綜合情況來考量。
在 pool-based 的場景中，每次給算法輸入一個批量的無標簽樣本，然后算法根據(jù)策略挑選出一個或幾個樣本交給 oracle 進行標注。這樣的場景在生活中更容易出現(xiàn)，算法也可以根據(jù)這一批量樣本進行互相比較和綜合考慮。

在主動學習框架中，最重要的就是如何設計一個查詢策略來判斷樣本的價值，即是否值得被 oracle 標注。而樣本的價值并不是一成不變的，它不僅與樣本自身有關，還和任務和模型等因素有關。一個簡單的例子，在貓狗二分類問題中，一張長得像貓的狗的照片，對分類模型的訓練往往是有價值，因為它難以分辨。
但是，同樣是這張照片，出現(xiàn)在動植物二分類問題中，就變得不那么重要了，因為模型想分辨它并不難。因此，查詢策略的設計并不是簡單和一成不變的，需要根據(jù)具體環(huán)境、問題和需要進行設定。這樣就產(chǎn)生了各種各樣的查詢策略，下面，我介紹一些基本的查詢策略供大家參考。
不確定性采樣（Uncertainty Sampling）：也許是最簡單直接也最常用的策略。算法只需要查詢最不確定的樣本給 oracle 標注，通常情況下，模型通過學習不確定性強的樣本的標簽能夠迅速提升自己的性能。例如，學生在刷題的時候，只做自己愛出錯的題肯定比隨機選一些題來做提升得快。對于一些能預測概率的模型，例如神經(jīng)網(wǎng)絡，可以直接利用概率來表示不確定性。比如，直接用概率值，概率值排名第一和第二的差值，熵值等等。
多樣性采樣（Diversity Sampling） ：是從數(shù)據(jù)的分布考慮的常用策略。算法根據(jù)數(shù)據(jù)分布確保查詢的樣本能夠覆蓋整個數(shù)據(jù)分布以保證標注數(shù)據(jù)的多樣性。例如，老師在出考試題的時候，會盡可能得出一些有代表性的題，同時盡可能保證每個章節(jié)都覆蓋到，這樣才能保證題目的多樣性全面地考察學生的綜合水平。同樣地，在多樣性采用的方法中，也主要分為以下幾種方式：
基于模型的離群值——采用使模型低激活的離群樣本，因為現(xiàn)有數(shù)據(jù)缺少這些信息；
代表性采樣——選擇一些最有代表性的樣本，例如采用聚類等簇的方法獲得代表性樣本和根據(jù)不同域的差異找到代表性樣本；
真實場景多樣性——根據(jù)真實場景的多樣性和樣本分布，公平地采樣。
預期模型改變（Expected Model Change）：EMC 通常選擇對當前模型改變最大、影響最大的樣本給 oracle 標注，一般來說，需要根據(jù)樣本的標簽才能反向傳播計算模型的改變量或梯度等。在實際應用中，為了弱化需要標簽這個前提，一般根據(jù)模型的預測結果作為偽標簽然后再計算預期模型改變。當然，這種做法存在一定的問題，偽標簽和真實標簽并不總是一致的，他與模型的預測性能有關。
委員會查詢（Query-By-Committee）：QBC 是利用多個模型組成的委員會對候選的數(shù)據(jù)進行投****，即分別作出決策，最終他們選擇最有分歧的樣本作為最有信息的數(shù)據(jù)給 oracle 標注。
此外，有些研究者將多種查詢策略結合起來使用混合策略進行查詢，例如即考慮不確定性又考慮多樣性的。還有一些其他的查詢策略，例如預期誤差減少、方差減少、密度加權法等。

下面我給大家分享幾個經(jīng)典的主動學習方法，這些方法經(jīng)常被拿來作對比。在自己以后的文章里也可以考慮和以下經(jīng)典的方法進行比較。
Entropy可直接根據(jù)預測的概率分布計算熵值，選擇熵值最大的樣本來標注。

BALDDeep Bayesian Active Learning with Image Data
https://arxiv.org/abs/1703.02910
BGADLBayesian Generative Active Deep Learninghttps://arxiv.org/abs/1904.11643
Core-setActive Learning for Convolutional Neural Networks: A Core-Set Approachhttps://openreview.net/forum?id=H1aIuk-RW

LLALLearning Loss for Active Learninghttps://arxiv.org/abs/1905.03677?context=cs.CV
VAALVariational Adversarial Active Learninghttps://arxiv.org/abs/1904.00370

由于主動學習解決的是如何從無標簽數(shù)據(jù)中選擇價值高的樣本進行標注，所以在數(shù)據(jù)標簽難以獲得、標注成本大的場景和實際問題中被廣泛應用。
互聯(lián)網(wǎng)大數(shù)據(jù)相關的應用：在互聯(lián)網(wǎng)的大數(shù)據(jù)場景中，無標簽的數(shù)據(jù)不計其數(shù)，但是又不可能把所有的數(shù)據(jù)都打上標簽。在有限的資金和時間下，最有效的方法就是利用主動學習挑選最有價值的樣本交給人去打標簽。例如，
阿里巴巴淘系技術https://www.zhihu.com/question/265479171/answer/1495497483
中科智云全球首發(fā)全新主動學習算法框架，顛覆傳統(tǒng)大量樣本和人力標注模式https://www.ofweek.com/ai/2021-07/ART-201713-8210-30509389.html
在安全風控異常檢測等領域，異常數(shù)據(jù)遠遠少于正常的數(shù)據(jù)，而對網(wǎng)絡上的大量數(shù)據(jù)都進行標注也是極其不合理的，但是主動學習能夠選擇性地標注這些數(shù)據(jù)。
無人駕駛等機器人領域的應用：在很多機器人領域，都需要收集大量的有標簽數(shù)據(jù)來訓練。尤其是非常火的無人駕駛領域。在無人駕駛領域，無人駕駛汽車對環(huán)境的感知尤為重要，感知的好壞直接影響決策的質量，對無人駕駛汽車的安全性有至關重要的作用。
感知模型多用深度學習構建，數(shù)據(jù)的重要性不言而喻，尤其是標注數(shù)據(jù)。而真實場景的無人駕駛環(huán)境種類多、復雜，為了保證模型性能，大多數(shù)公司需要利用汽車在實際場景中運行收集到的圖像、點云等數(shù)據(jù)進行訓練。面對這樣龐大的數(shù)據(jù)量，給每一個樣本都打上標簽幾乎是不可能實現(xiàn)的任務，而利用主動學習選擇最有價值的樣本（可能是當前模型預測的不確定性大）再人工標注，繼續(xù)訓練模型，從而盡可能地提高模型的性能，提高了穩(wěn)定性和安全性。例如，特斯拉等
特斯拉挑戰(zhàn)視覺極限https://www.bilibili.com/read/cv7621643
主動學習如何改善自動駕駛夜間行人檢測【NVIDIA】https://www.bilibili.com/video/BV1xV411o72V/
Waymo和特斯拉背后的訓練系統(tǒng)究竟有什么特別之處？https://zhuanlan.zhihu.com/p/400834629
智能醫(yī)療診斷等領域：在醫(yī)療領域，深度學習的發(fā)展為包括診斷在內(nèi)的多個方面帶來了革命性的發(fā)展。數(shù)據(jù)驅動的方法必然需求大量的有標注數(shù)據(jù)，而標注醫(yī)療圖像不僅耗時耗力，而且需要特定的專業(yè)知識，所以利用主動學習選擇模型難以預測的樣本進行選擇地標注是非常有實際意義的。
有很多論文在研究主動學習在醫(yī)療領域的應用，但在實際應用和落地中，醫(yī)療診斷面臨的最首要的問題還是精度和泛化性能。由于醫(yī)療數(shù)據(jù)是小樣本，這些最重要和最基本的問題沒有被徹底解決，所以主動學習的熱度并不大。但是還是有一些公司在應用，例如騰訊 AI Lab 使用主動學習和難例挖掘方案
中國首款智能顯微鏡獲批進入臨床：病理診斷 AI 化，騰訊 AI Lab 打造https://new.qq.com/omn/20200409/20200409A0BGWI00.html
在我看來，醫(yī)療數(shù)據(jù)獲得的量本身就少的話，就沒必要應用主動學習了，因為在有限的樣本下，即使都標注都很難達到一個滿意的性能，更別說去做選擇了。但是真正有需求的場景是，
1. 有大量的無標簽醫(yī)療數(shù)據(jù)，需要從中選擇有價值的進行標注，例如從視頻數(shù)據(jù)（胃腸鏡視頻）標注圖像進行檢測等；
2. 真正實現(xiàn)基本性能，能夠落地部署后，仍需要長期在使用過程中收集數(shù)據(jù)，進行標注，但是由于這個過程是一直持續(xù)下去，長久的工作，所以對于這樣大量的無標簽數(shù)據(jù)也需要進行主動學習選擇標注。
總之，主動學習應用的場景是針對有大量無標簽數(shù)據(jù)（至少不缺），如何節(jié)省標注工作量使得模型達到滿意的性能。在深度學習爆炸的時代，各種任務和應用都考慮采用數(shù)據(jù)驅動的 learning 的方法來解決，這就對數(shù)據(jù)的需求更高了。實際應用中，既不可能完全放棄標簽，也不可能放棄無標注數(shù)據(jù)，而主動學習恰恰能夠提供一個較合理的權宜之計，既要標注有價值的數(shù)據(jù)，又不需要全部標注，選擇性地標注。
七、實際應用可能存在的問題

雖然考慮到主動學習的出發(fā)點和要解決的問題都比較實際，但是目前的主動學習方法在實際應用的話還是存在一些問題。
性能不穩(wěn)定：制約主動學習最大的問題就是性能不穩(wěn)定。主動學習是根據(jù)自己指定的選擇策略從樣本中挑選，那么這個過程中策略和數(shù)據(jù)樣本就是影響性能的兩個很重要的因素。對于非常冗余的數(shù)據(jù)集，主動學習往往會比隨機采樣效果要好，但是對于樣本數(shù)據(jù)非常多樣，冗余性較低的數(shù)據(jù)集，主動學習有的時候會存在比隨機采樣還差的效果。數(shù)據(jù)樣本的分布還影響不同主動學習的方法，比如基于不確定性的方法和基于多樣性的方法，在不同數(shù)據(jù)集上的效果并不一致，這種性能的不穩(wěn)定是制約人們應用主動學習的一個重要因素。
在實際應用中，需要先根據(jù)主動學習進行數(shù)據(jù)選擇和標注，如果此時的策略還不如隨機采樣，人們并不能及時改變或者止損，因為數(shù)據(jù)已經(jīng)被標注了，沉沒成本已經(jīng)產(chǎn)生了。而優(yōu)化網(wǎng)絡結構和性能的這些方法就不存在這個問題，人們可以一直嘗試不同的方法和技巧使得性能達到最好，修改和嘗試的損失很小。
而主動學習被要求得更加苛刻，幾乎需要將設計好的策略拿來直接應用就必須要 work 才行，如果不 work，那些被選擇的樣本還是被標注了，還是損失時間和金錢。苛刻的要求和不穩(wěn)定的性能導致人們還不如省下這個精力，直接采用隨機的標注方式。
臟數(shù)據(jù)的挑戰(zhàn)：現(xiàn)在幾乎所有的論文都在公開的數(shù)據(jù)集、現(xiàn)成的數(shù)據(jù)集上進行測試和研究。而這些數(shù)據(jù)集其實已經(jīng)被選擇和篩選過了，去除了極端的離群值，甚至會考慮到樣本平衡，人為的給少樣本的類別多標注一些，多樣本的類別少標注一些。而實際應用中，數(shù)據(jù)的狀況和這種理想數(shù)據(jù)集相差甚遠。主動學習常用不確定性的選擇策略，不難想象，噪聲較大的樣本甚至離群值總會被選擇并標注，這種樣本可能不僅不會提升模型的性能，甚至還會使性能變差。
實際中還存在 OOD（out of distribution）的問題，例如想訓練一個貓狗分類器，直接從網(wǎng)絡中按關鍵字搜索貓狗收集大量圖片，里邊可能存在一些老虎、獅子、狼等不在貓狗類別的無關樣本，但是他們的不確定性是非常高的，被選中的話，并不會提升模型的性能。
難以遷移：主動學習是一種數(shù)據(jù)選擇策略，那么實際應用中必然需求更通用、泛化性更好的主動學習策略。而目前的主動學習策略難以在不同域、不同任務之間進行遷移，比如設計了一個貓狗分類任務的主動學習策略，基于不確定性或多樣性，達到了較好的性能，現(xiàn)在需要做一個新的雞鴨分類的任務，那么是否還需要重新設計一個策略？如果任務是病變組織的分類呢？
由于不同任務的數(shù)據(jù)分布特點可能不一樣，不同任務的難易不一樣，無法保證主動學習的策略能夠在不同數(shù)據(jù)不同任務中通用，往往需要針對固定的任務設計一個主動學習策略。這樣就耗費了精力，如果能有一個通用性好的主動學習策略，那么就可以被不同任務遷移，被更廣泛地應用，甚至直接將其部署為通用標注軟件，為各種任務、數(shù)據(jù)集，提供主動選擇和標注功能。
交互不便：數(shù)據(jù)選擇策略與標注過程聯(lián)系緊密，理想的流程是，有一個整合的軟件能夠提供主動數(shù)據(jù)選擇，然后提供交互界面進行標注，這就是將主動學習流程與標注軟件結合。僅有高效的主動學習策略，而不方便標注交互，也會造成額外的精力浪費。在流程上，現(xiàn)在主動學習普遍是選擇出一批待標注的樣本后，交給人們?nèi)俗?，而期望人們能盡快標注交給模型，模型繼續(xù)訓練后再次選擇。
人們標注的時候，模型既不能訓練，主動學習也不進行其他操作，是個串行的過程，需求等待人工標注結束后，才能進行接下來的訓練。這樣的流程就不那么方便和高效，想象把主動學習+標注的系統(tǒng)給醫(yī)生應用，策略先選出了一些樣本，醫(yī)生僅標注這些樣本就標注了幾天，然后再給模型訓練，模型訓練一段時間后，又選擇出一些樣本給醫(yī)生，醫(yī)生和模型互相等待對方的操作，降低了效率和便利性。

下面我介紹一些主動學習目前最新的閱讀價值較高的論文，供大家把握研究方向和熱點。如果大家有興趣，可以持續(xù)關注我 github 上的 awesome-active-learning paper list，我會實時更新有價值的主動學習方面的工作，供大家學習和交流。 8.1 主動學習問題和方法的探究
目前主動學習的基本方法和問題還存在一些不足，有一些最新的方法試圖解決這些問題。
Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering （作者之一，李飛飛）https://arxiv.org/abs/2107.02331
主動學習有望緩解監(jiān)督式機器學習的海量數(shù)據(jù)需求：它已成功地將樣本效率提高了一個數(shù)量級，例如主題分類和對象識別等傳統(tǒng)任務。然而，作者發(fā)現(xiàn)與這一現(xiàn)象形成鮮明對比的是：在視覺問答任務的 5 個模型和 4 個數(shù)據(jù)集中，各種各樣的主動學習方法未能勝過隨機選擇。為了理解這種差異，作者在每個示例的基礎上分析了 8 種主動學習方法，并將問題確定為集體異常值——主動學習方法更喜歡獲取但模型無法學習的一組示例（例如，詢問文本的問題在圖像中或需要外部知識）。
通過系統(tǒng)的消融實驗和定性可視化，作者驗證了集體異常值是導致基于池的主動學習退化的普遍現(xiàn)象。值得注意的是，作者表明，隨著主動學習池中集體異常值的數(shù)量減少，主動學習樣本效率顯著提高。

Contrastive Coding for Active Learning Under Class Distribution Mismatch：https://openaccess.thecvf.com/content/ICCV2021/html/Du_Contrastive_Coding_for_Active_Lea

基于以下假設：標記數(shù)據(jù)和未標記數(shù)據(jù)是從同一類分布中獲得的，主動學習 (AL) 是成功的。然而，它的性能在類別分布不匹配的情況下會惡化，其中未標記的數(shù)據(jù)包含許多標記數(shù)據(jù)的類分布之外的樣本。為了有效地處理類分布不匹配下的AL問題，作者提出了一種基于對比編碼的 AL 框架，名為 CCAL。
與現(xiàn)有的 AL 方法專注于選擇信息量最大的樣本進行標注不同，CCAL 通過對比學習提取語義和獨特的特征，并將它們組合在查詢策略中，以選擇具有匹配類別的信息量最大的未標記樣本。理論上，作者證明了 CCAL 的 AL 誤差具有嚴格的上限。
LADA: Look-Ahead Data Acquisition via Augmentation for Active Learning：https://arxiv.org/abs/2011.04194
在主動學習的獲取過程中尚未考慮從數(shù)據(jù)增強產(chǎn)生的虛擬實例的潛在收益。在數(shù)據(jù)獲取的過程中，數(shù)據(jù)增強將選擇并生成對訓練模型提供信息的數(shù)據(jù)實例。因此，作者提出了通過增強或 LADA 的前瞻數(shù)據(jù)采集來集成數(shù)據(jù)采集和數(shù)據(jù)增強。在獲取過程之前，LADA 考慮 1）選擇未標記的數(shù)據(jù)實例和 2）通過數(shù)據(jù)增強生成的虛擬數(shù)據(jù)實例。此外，為了增強虛擬數(shù)據(jù)實例的信息量，LADA 優(yōu)化了數(shù)據(jù)增強策略以最大化預測獲取分數(shù)，從而產(chǎn)生了 InfoMixup 和 InfoSTN 的提議。由于 LADA 是一個可推廣的框架，作者試驗了各種采集和增強方法的組合。

8.2 主動學習與半監(jiān)督學習結合
由于半監(jiān)督學習展示出了優(yōu)異的性能，在標簽不足的情況下，如果能將主動學習與半監(jiān)督學習結合，將會取得更優(yōu)異的性能。
Semi-Supervised Active Learning for Semi-Supervised Models: Exploit Adversarial Examples With Graph-Based Virtual Labels：https://openaccess.thecvf.com/content/ICCV2021/html/Guo_Semi-Supervised_Active_Learnin
盡管當前主流方法開始結合 SSL 和 AL（SSL-AL）來挖掘未標記樣本的多樣化表示，但這些方法的全監(jiān)督任務模型仍然僅使用標記數(shù)據(jù)進行訓練。此外，這些方法的 SSL-AL 框架存在不匹配問題。在這里，作者提出了一個基于圖的 SSL-AL 框架來釋放 SSL 模型的能力并進行有效的 SSL-AL 交互。
在該框架中，SSL 利用基于圖的標簽傳播為未標記的樣本提供偽標簽，渲染 AL 樣本的結構分布并提升 AL。AL 在決策邊界附近找到樣本，利用對抗性示例幫助 SSL 執(zhí)行更好的標簽傳播。閉環(huán)中的信息交換實現(xiàn)了SSL和AL的相互增強。

8.3 主動學習與無監(jiān)督域自適應結合
無監(jiān)督域自適應要對齊目標域與源域，使模型利用源域的數(shù)據(jù)和標簽，在無標簽的目標域上取得較好的性能。目前出現(xiàn)一些工作考慮源域和目標域的關系，設計了主動學習策略提升模型在目標域的性能。
Multi-Anchor Active Domain Adaptation for Semantic Segmentation：https://arxiv.org/abs/2108.08012
將目標域的分布無條件地與源域對齊可能會扭曲目標域數(shù)據(jù)的特有的信息。為此，作者提出了一種新穎的基于多錨點的主動學習策略，以協(xié)助域自適應語義分割任務。通過創(chuàng)新地采用多個點而不是單個質心，可以更好地將源域表征為多模態(tài)分布，實習從目標域中選擇更具代表性和互補性的樣本。手動注釋這些樣本的工作量很小，可以有效緩解目標域分布的失真，從而獲得較大的性能增益。另外還采用多錨策略來對目標分布進行建模。通過軟對齊損失，對多個錨點周圍緊湊的目標樣本的潛在表示進行正則化，可以實現(xiàn)更精確的分割。


8.4 主動學習與知識蒸餾結合
知識蒸餾過程中，teacher 給 student 傳遞知識，但是什么樣的樣本能夠幫助這一過程，也是主動學習可以研究的一個方向。
Active Learning for Lane Detection: A Knowledge Distillation Approach：https://openaccess.thecvf.com/content/ICCV2021/html/Peng_Active_Learning_for_Lane_Detection_A_
作者發(fā)現(xiàn)現(xiàn)有的主動學習方法在車道檢測方面表現(xiàn)不佳，原因是兩方面的。一方面，大多數(shù)方法基于熵來評估數(shù)據(jù)不確定性，這在車道檢測中是不可取的，因為它鼓勵選擇車道很少甚至根本沒有車道的圖像。另一方面，現(xiàn)有的方法沒有意識到車道標注的噪聲，這是由嚴重遮擋和車道標記不清晰引起的。
在本文中，作者構建了一個新穎的知識蒸餾框架，并基于 student 模型所學的知識評估圖像的不確定性。作者表明，所提出的不確定性度量克服了上述兩個問題。為了減少數(shù)據(jù)冗余，作者研究了圖像樣本的影響集（influence set），并提出了一種新的多樣性度量。最后，作者結合了不確定性和多樣性指標，提出了一種用于數(shù)據(jù)選擇的貪婪算法。

8.5 主動學習與對比學習結合
對比學習最近勢頭比較猛，最近也有主動學習與對比學習結合解決對比學習的問題，大家可以欣賞一下。
Active Contrastive Learning of Audio-Visual Video Representations：https://arxiv.org/abs/2009.09805
對比學習已被證明可以通過最大化實例的不同視圖之間的互信息（MI）的下限來生成音頻和視覺數(shù)據(jù)的可概括表示。然而，獲得嚴格的下限需要 MI 中的樣本大小指數(shù)，因此需要大量的負樣本。我們可以通過構建一個大型的基于隊列的字典來合并更多的樣本，但是即使有大量的負樣本，性能提升也存在理論上的限制。
作者假設隨機負采樣導致高度冗余的字典，導致下游任務的次優(yōu)表示。在本文中，作者提出了一種主動對比學習方法，該方法構建了一個 actively sampled 字典，其中包含多樣化和信息豐富的樣本，從而提高了負樣本的質量，并提高了數(shù)據(jù)中互信息量高的任務的性能，例如，視頻分類。

8.6 利用強化學習進行主動學習
Reinforced active learning for image segmentation：https://arxiv.org/abs/2002.06583
基于學習的語義分割方法有兩個固有的挑戰(zhàn)。首先，獲取像素級標簽既昂貴又耗時。其次，現(xiàn)實的分割數(shù)據(jù)集是高度不平衡的：某些類別比其他類別豐富得多，使性能偏向于最具代表性的類別。在本文中，作者感興趣的是基于池的方式進行人工標記工作，最大限度地減少這種工作，同時最大限度地提高分割模型在測試集上的性能。作者提出了一種新的基于深度強化學習（RL）的語義分割主動學習策略。
智能體學習一種策略，從未標記的數(shù)據(jù)池中選擇一小部分信息豐富的圖像區(qū)域進行標記。區(qū)域選擇決策是基于被訓練的分割模型的預測和不確定性做出的。作者的方法提出了一種用于主動學習的 DQN，使其能適應大規(guī)模的語義分割問題。作者在  CamVid 和大規(guī)模數(shù)據(jù)集 Cityscapes 中測試。
在 Cityscapes 上，在相同性能下，作者的基于深度強化學習的區(qū)域的 DQN 方法比最具競爭力的基線減少大約 30% 的額外標記數(shù)據(jù)。此外，作者發(fā)現(xiàn)與基線相比，作者的方法選擇了更多代表性不足的類別標簽，從而提高它們的性能并有助于減輕類別不平衡。

8.7 主動學習在點云方面
點云比圖像的標注時間更長更費精力，尤其是像素級的點云標注。近期主動學習在點云方面的工作漸漸嶄露頭角，而且效果非常驚人，值得期待。下面我介紹一篇有代表性的點云語義分割的工作。
ViewAL: Active Learning with Viewpoint Entropy for Semantic Segmentation：https://arxiv.org/abs/1911.11789
作者提出了 ViewAL，這是一種新穎的語義分割主動學習策略，它利用了多視圖數(shù)據(jù)集中的視點一致性。作者的核心思想是，跨視點的模型預測的不一致提供了非?？煽康牟淮_定性度量，并鼓勵模型在不考慮觀察對象的視點的情況下表現(xiàn)良好。
為了結合這種不確定性度量，作者引入了一種新的視點熵公式，這是作者主動學習策略的基礎。此外，作者提出了超像素級別的不確定性計算，它利用了分割任務中固有的局部信息，直接降低了注釋成本。視點熵和超像素的聯(lián)合使用有效地選擇了具有高度信息量的樣本。

8.8 主動學習在目標檢測方面
最新也有一些主動學習的文章開始結合到目標檢測中，針對目標檢測定義策略。目標檢測不僅存在分類還存在定位，所以對于圖像的不確定性定義和建模更加多樣，使得更容易創(chuàng)新自己的主動學習方法，大家可以嘗試做做這方面的工作。
Multiple instance active learning for object detection：https://arxiv.org/abs/2104.02324
盡管用于圖像識別的主動學習取得了實質性進展，但仍然缺乏指定用于目標檢測的實例級主動學習方法。在本文中，作者提出了多實例主動目標檢測（MI-AOD），通過觀察實例級的不確定性來選擇信息量最大的圖像進行檢測器訓練。MI-AOD 定義了一個實例不確定性學習模塊，它利用在標記集上訓練的兩個對抗性實例分類器的差異來預測未標記集的實例不確定性。
MI-AOD 將未標記的圖像視為實例包，將圖像中的特征錨點視為實例，并通過以多實例學習（MIL）方式重新加權實例來估計圖像的不確定性。反復迭代實例不確定性學習和重加權有助于抑制噪聲實例，彌合實例不確定性和圖像級不確定性之間的差距。

九、總結
總而言之，主動學習現(xiàn)在還有很多點可以繼續(xù)研究，包括但不限于：
1. 從主動學習基本理論和問題出發(fā)，完善和改進；2. 與其他 learning 方法或概念結合，改進主動學習或該方法，例如半監(jiān)督、域自適應、知識蒸餾和強化學習等等；3. 應用到新的背景和任務（和主動學習結合的 paper 少的）中，例如點云分類分割、醫(yī)療圖像、目標檢測等等。4. ......
既可以在現(xiàn)有的方法的基礎上改進，又可以針對新的特定任務和具體問題設計自己的主動學習策略。無論是哪方面，主動學習都是存在很多繼續(xù)研究的點。
主動學習既有重要的應用價值又還存在著一些問題，是學術界和工業(yè)界都可以進行研究的點。希望對主動學習感興趣的朋友，可以一起多多討論和交流。我以后也會在知乎和 awesome-active-learning 上持續(xù)為大家更新一些主動學習領域優(yōu)異的工作。