AAAI 2022｜AI頂會論文究竟關(guān)注什么？（3）
加入技術(shù)交流群
07
用于文本摘要任務(wù)的序列級對比學習模型
論文鏈接：https://arxiv.org/abs/2109.03481
文本摘要（Text Summarization）的主要目標就是提煉一篇長文章的主要內(nèi)容，將其改寫成一篇概括性的摘要。按照改寫的方式，通常將摘要分為抽取式摘要和生成式摘要兩種。抽取式摘要是指從原文中抽取幾個句子作為摘要，而生成式摘要則需要模型對整個長文章有一個整體的理解，然后生成一段簡潔、連貫的摘要。
目前來說生成式摘要主要是在 sequence-to-sequence 框架下完成的（如圖13所示）。通過一個編碼器（Encoder）對長的文章進行編碼，再用一個****（Decoder）對編碼后的信息進行解碼并生成想要的摘要。在訓練過程中，通常使用的是NLL（Negative Log Likelihood）作為損失函數(shù)。圖13：Sequence-to-Sequence 訓練中使用的 NLL 損失函數(shù)
但是微軟亞洲研究院的研究員們意識到 NLL 并沒有很好地建模文本摘要任務(wù)一個重要的特點：文章和摘要雖然長度的差別很大，但是所描述的主要內(nèi)容應(yīng)該是一致的。為了更好地在訓練過程中強調(diào)這一點，研究員們引入了序列間對比學習模型 SeqCo（Sequence-level Contrastive Learning），將文章和摘要映射到成同一個向量空間的兩個序列，并且在該向量空間內(nèi)拉近文章序列和摘要序列的相似度。
除此之外，為了增加訓練樣本的多樣性，研究員們還將模型生成的摘要也加入到訓練樣本中。整個訓練過程在優(yōu)化 NLL 的同時，也在拉近原文章、目標摘要和模型生成的摘要三者的相似度(如圖15所示)。在訓練過程中，跟 BYOL 類似，研究員們采用了雙塔型的結(jié)構(gòu)（見圖14）。為提高訓練的穩(wěn)定性，對比學習目標端的參數(shù)為其對比端的移動平均值（moving average）并停止梯度回傳。圖14：訓練過程的對比學習損失函數(shù)
圖15：拉近原文章、目標摘要和模型生成的摘要三者的相似度
實驗結(jié)果表明，和僅僅使用了 NLL 作為損失函數(shù)的模型相比，在訓練中引入對比學習使得模型的效果在 CNNDM、XSum 和 NYT 摘要數(shù)據(jù)集上都得到了顯著的提升（表8為在 CNNDM 上的結(jié)果，在其他數(shù)據(jù)集上的結(jié)果具有相同趨勢）。表8：CNN/DM數(shù)據(jù)集上不同方法的性能比較
08
針對圖片識別的稀疏MLP：自注意力機制真的是必要的嗎？最近，Transformer 在計算機視覺領(lǐng)域取得了領(lǐng)先性能并得到了學者的廣泛關(guān)注。其中，自注意力機制(Self-Attention)是 Transformer 取得成功的核心模塊。它以一種動態(tài)的方式捕獲圖片的全局感受野。然而，由于需要計算每兩個 token 之間的關(guān)系，它的時間復雜度是平方量級的，因此，難以處理高分辨率圖片，并且對金字塔結(jié)構(gòu)（pyramid structure）很不友好。而高分辨率輸入和金字塔結(jié)構(gòu)是提高圖片識別性能的關(guān)鍵要素。此外，Transformer 完全摒棄了局部偏置（locality bias）。這種局部偏置也是卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺取得成功的重要因素。
另一方面，也有學者對自注意力機制的必要性提出了質(zhì)疑。MLP-Mixer設(shè)計了一種單純使用多層感知機（MLP）的網(wǎng)絡(luò)架構(gòu)。它與基于 Transformer 的網(wǎng)絡(luò)架構(gòu) ViT 的主要區(qū)別是在空域上進行 token 之間的交互時僅使用了 MLP 來替代自注意力機制。MLP 由于參數(shù)量大容易過擬合，因此效果與基于 Transformer 的方法比還有差距。然而，這并不能證明自注意力機制一定是必要的。
在進行全局建模時，本文設(shè)計了一種不基于自注意力機制的方法——稀疏的多層感知機（sparse MLP）模塊。每個 token 只與其所在行和所在列的 token 進行直接交互。這種方法參數(shù)量低，緩解了 MLP 容易過擬合的問題，同時又可以快速地捕獲全局感受野。
基于 sparse MLP，配合局部偏置和金字塔結(jié)構(gòu)這種對于圖片識別很重要的設(shè)計理念，該方法達到了和基于自注意力機制的方法一樣的性能。這說明自注意力機制并不是必須的，也希望本文可以啟發(fā)更多研究人員關(guān)注不基于自注意力機制的方法。
09
Shift 操作與 Transformer 的結(jié)合：一種高效的 Attention 替代方案代碼鏈接：https://github.com/microsoft/SPACH
最近， Vision Transformer 的結(jié)構(gòu)引起了研究者們的廣泛關(guān)注。在許多計算機視覺的任務(wù)中，Vision Transformer 都取得了領(lǐng)先的性能。那么，由此引發(fā)的一個問題就是：Vision Transformer 性能優(yōu)異的原因究竟是什么？
此前，許多研究者相信，自注意力機制（Self-Attention）是讓Vision Transformer 成功的主要原因。相比與常見的卷積操作，自注意機制提供了一種全局的（global）、動態(tài)的（dynamic）方式去建模圖像中的空間關(guān)系。但是，最近的一些研究表明，全局性和動態(tài)性可能都不是必須的，例如 Swin Transformer 將全局的 Attention 轉(zhuǎn)換為局部的 Attention；MLP-Mixer 將動態(tài)的聚合權(quán)重變成了固定的全連接層。實驗證明，這些簡化都沒有損害自注意力機制的性能。為了進一步探索是什么讓 Transformer 成功，微軟亞洲研究院的研究員們希望進一步去簡化 Attention 的模塊。具體來說，研究員們將簡化推向一種極端情況：沒有全局性、沒有動態(tài)性、甚至沒有參數(shù)、沒有算術(shù)運算。這個操作就是鄰域的移位操作（Shift）。
移位操作在計算機視覺已經(jīng)有了很成功的應(yīng)用。所以研究員們借鑒了部分移位的設(shè)計，其結(jié)構(gòu)如圖17所示。對于輸入的特征，研究員們將一部分的通道向上、下、左、右四個方向分別移位一個像素。通過這種方式，使得模型能夠獲取鄰域位置的信息。圖17：Shift 模塊與標準注意力模塊對比示意圖
研究員們采用這個簡單的操作去替代 Swin Transformer 中的 Attention。令人驚訝的是，在許多視覺任務(wù)上，它的效果并不亞于 Swin Transformer。這說明 Transformer 成功的因素可能并不完全是由于 Attention ：哪怕是這么一個0參數(shù)量、0計算量的簡單操作都能夠取得相近的性能。因此，在今后的研究中，Transformer 的一些設(shè)計細節(jié)或許也應(yīng)該受到大家的重視，例如訓練細節(jié)、歸一化的方式等等。在文章中，微軟亞洲研究院的研究員們也進行了一些初步的探討，希望能夠啟發(fā)大家的思考。表10：與基準模型在各視覺任務(wù)中的性能對比
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
