AAAI 2022｜AI頂會論文究竟關(guān)注什么？（2）
加入技術(shù)交流群
04
用于在線視頻實例分割的混合實例感知的時序融合方法論文鏈接：https://arxiv.org/abs/2112.01695
相較于圖像分割，有效利用時序一致性是視頻分割的核心問題。本文提出了一種基于實例感知的時序融合方法，用于在線視頻實例分割（Video instance segmentation）框架。首先，研究員們利用圖像分割的一種表示，基于實例的全局編碼（instance code）和 CNN 特征圖來分別表示實例級和像素級特征?；谶@種表示，研究員們引入了一種無需裁剪對齊（ROI align）的時序融合方法來對視頻幀之間（Inter-frame）的內(nèi)容時間一致性進行建模。具體地，研究員們在實例編碼中對全局實例信息進行編碼，并通過實例編碼和 CNN 特征圖之間的混合注意力機制建模幀間的上下文融合。利用學(xué)習(xí)到的混合時間一致性，研究員們能夠直接檢索和維護跨幀的實例身份，摒除了先前方法中復(fù)雜的逐幀實例匹配方案，提高方法效率。如圖7所展示的幀間注意力圖，對于不同的參考幀，當(dāng)前幀的關(guān)注點在像素級和實例級都在時序上是一致的（不同顏色表示不同實例）。
圖7：幀間注意力圖可視化
圖8描述了該方法的具體框架。研究員們通過引入混合的幀間通訊來強制視頻實例分割中的時間一致性，突出顯示了兩個主要組件，即用于連接當(dāng)前實例編碼和功能的幀內(nèi)注意力和幀間注意力，以及用于融合相鄰幀中的混合（像素級和實例級）時序信息。首先，N 個幀內(nèi)注意力層被集成到卷積主干中，然后是 M 個注意力層交織幀間和幀內(nèi)注意力建模。歸因于網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計和附加的對比損失函數(shù)，最終在不同幀間實例編碼順序能夠保持一致（Order consistent）。圖8：框架概述
綜合實驗表明，該模型在 Youtube-VIS-19/21數(shù)據(jù)集上，與所有在線視頻實例分割方法對比，取得了最佳性能，結(jié)果在表4展示。表4：在 YoutubeVIS-2019的視頻實例分割結(jié)果
05
用于視頻對象分割的可靠傳播-校正調(diào)制網(wǎng)絡(luò)誤差傳播是視頻對象分割（Video object segmentation）中一個普遍但至關(guān)重要的問題。如何通過具有高可靠性的校正機制來抑制誤差傳播，從而提高分割的準(zhǔn)確性，也成為研究員們關(guān)注的一個重要問題。本文中所提出的方法的核心是把信息流在常規(guī)的傳播（Propagation）過程和用可靠線索校正（Correction）的過程中解耦。圖9概述了該網(wǎng)絡(luò)框架。微軟亞洲研究院的研究員們引入了兩種調(diào)制器（Modulation）網(wǎng)絡(luò)，傳播和校正調(diào)制模塊，分別根據(jù)局部時間相關(guān)性和參考可靠性對目標(biāo)幀特征逐通道重新校準(zhǔn)。具體來說，研究員們使用級聯(lián)傳播校正方案組裝調(diào)制模塊，從而避免了傳播模塊對校正模塊的影響。盡管參考幀提供了可靠的線索，但它可能與目標(biāo)幀差異較大（如圖10，參考幀中的袋鼠在最后一幀消失了，人物外觀變化也非常大），具有不完整和不確定的相關(guān)性（即被參考的可靠性 Reliability 減弱）。研究員們還通過將可靠的功能補丁補充到維護池（Reliable patch pool），從而為調(diào)制網(wǎng)絡(luò)提供更全面和更具表現(xiàn)力的對象代理表示（Object proxy）。其中可靠性過濾器（Reliability filter）可過濾掉后續(xù)幀的不確定補丁。
該模型在當(dāng)時的 YouTube-VOS18/19 和 DAVIS17-Val/Test 基準(zhǔn)測試中達到了最先進的性能，結(jié)果在表5展示。圖10（a）也展示了該方法隨著時間增長準(zhǔn)確性下降最少，這歸功于模型抑制了誤差的傳播。
06
XLM-K：通過多語言知識庫提高跨語言預(yù)訓(xùn)練模型跨語言預(yù)訓(xùn)練的目標(biāo)是提高模型在語言之間的遷移能力，使模型可以在一種語言上訓(xùn)練，然后在其他語言上直接測試。之前跨語言模型的能力主要來源于單語和雙語的普通文本。本文首次提出從多語言的知識庫中來學(xué)習(xí)跨語言能力。多語言知識庫中的實體可以同時對應(yīng)多個語言，提供新的跨語言監(jiān)督，而且也可以增強模型對于知識的理解。圖11為一個多語言知識庫的例子。
微軟亞洲研究院的研究員們提出了兩個新的預(yù)訓(xùn)練任務(wù)：掩碼實體預(yù)測（Masked Entity Prediction）和客體推理（Object Entailment）。這兩個任務(wù)可以幫助模型實現(xiàn)更好的跨語言對齊，以及讓模型有更好的記憶知識。掩碼實體預(yù)測中，在文本輸入中有掩碼的位置，模型不僅需要預(yù)測被去掉的詞，還需要預(yù)測這個詞能夠鏈接到知識庫中的哪個實體。例如一段文本中的蘋果被去掉后，模型需要判斷這個詞應(yīng)該鏈接到屬于水果的蘋果還是屬于公司的蘋果。客體推理任務(wù)中，模型的輸入是一段描述主體（subject）的文本以及主體和客體（object）的關(guān)系，模型需要預(yù)測的客體是什么。例如，主體是“蘋果“的介紹，關(guān)系是“屬于子類”，那么客體就是“水果”，因為“蘋果屬于水果的子類”。兩個任務(wù)中，輸入和輸出的問題都可以是不同的語言，因此模型可以獲得更好的跨語言性能。
在具體任務(wù)上的測試表明了 XLM-K 模型可以顯著提高知識相關(guān)的任務(wù)的性能?？梢钥吹?，該模型在閱讀理解和命名體識別上有較大的提升，在普通文本任務(wù)上效果持平。
最后，研究員們用知識探針任務(wù)來測試 XLM-K 模型對知識的記憶程度。知識探針任務(wù)把知識庫中的知識轉(zhuǎn)化成帶有掩碼的句子，例如“愛因斯坦出生在____”。模型需要直接預(yù)測”德國“。由結(jié)果可見，XLM-K 模型取得了更好的記憶效果。這也表明了研究員們的模型更好地融入了知識庫。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
