最終 SPACE-1 借助半監(jiān)督注入策略知識的能力，在這些經(jīng)典的對話榜單上均大幅超過了之前的 SOTA 模型，端到端混合分?jǐn)?shù)在 In-Car，MultiWOZ2.0 和 MultiWOZ2.1 分別提升 2.5、5.3 和 5.5 個點(diǎn)：

圖 13 SPACE-1 在 MultiWoz 2.0 等數(shù)據(jù)集上帶來顯著提升
以上的結(jié)果充分證明了半監(jiān)督預(yù)訓(xùn)練的效果。進(jìn)一步詳細(xì)分析如下圖所示，Success 是對話完成率指標(biāo)，BLEU 是對話生成指標(biāo)，對話策略對于這兩個指標(biāo)有重要影響，注入對話策略知識后的大模型，在這兩個這兩個指標(biāo)上帶來了顯著提升。

圖 14 SPACE-1 效果詳細(xì)分析
3. SPACE-2：從封閉集知識到開放集知識
3.1. 開放集知識
SAPCE-1 主要將對話策略知識注入到預(yù)訓(xùn)練模型的過程中，但是仍然存在一些局限，首先 DA 標(biāo)簽體系比較簡單，因?yàn)橹挥?20 個類別；其次，DA 的標(biāo)簽體系是一個封閉集，雖然對于人機(jī)對話是非常重要的，但從知識的角度來看，仍然是比較簡單。對于整個對話系統(tǒng)來說，語言理解所涉及的知識會更加復(fù)雜，比如一個 query “市中心有什么好吃的嗎？”，首先這句話有意圖信息（找餐館），其次對于餐館位置等屬性一般作為是槽位信息。在廣泛的對話場景下，對于意圖和槽位的人類標(biāo)注，其實(shí)也可以看做知識的一種形態(tài)。所以我們希望 SPACE-2 能完成從簡單封閉集知識到復(fù)雜開放集知識的躍遷，很好的利用已有的標(biāo)注數(shù)據(jù)。

圖 15 兩種知識形態(tài)：簡單的封閉集知識和復(fù)雜的開放集知識
3.2. 語義樹標(biāo)簽
沿著這個思路，我們首先要解決一個難點(diǎn)，已有的復(fù)雜開放集知識不是一個簡單的封閉集合的分類任務(wù)，不同數(shù)據(jù)集的體系更加復(fù)雜不一致。我們通過提出語義樹結(jié)構(gòu)對所有任務(wù)型對話數(shù)據(jù)集的用戶側(cè)理解標(biāo)簽進(jìn)行統(tǒng)一，從 domaim、intent、slot、value 等四個層次進(jìn)行樹狀標(biāo)簽的構(gòu)建。比如對于 query “附近有好吃的川菜館嗎”，其 domain 為 restaurant，intent 是查找餐廳，slot 是菜系，value 是川菜，就可以完成一顆語義樹的構(gòu)建。利用這個思路，我們整合學(xué)術(shù)界已有的 32 個有標(biāo)對話數(shù)據(jù)，提出 AnPreDial（300 萬） ，同時整合已有的 19 個無標(biāo)對話數(shù)據(jù)，提出 UnPreDial（1900 萬），作為 SPACE-2 的預(yù)訓(xùn)練數(shù)據(jù)。

圖 16 語義樹標(biāo)簽
3.3. 半監(jiān)督對比學(xué)習(xí)
與 SPACE-1 類似，我們?nèi)匀徊捎冒氡O(jiān)督對比學(xué)習(xí)的思路進(jìn)行知識注入，有標(biāo)注樣本采用有監(jiān)督對比學(xué)習(xí)，無標(biāo)注樣本采用自監(jiān)督對比學(xué)習(xí)。而對于有監(jiān)督對比學(xué)習(xí)，當(dāng)前的語義樹知識不是獨(dú)熱（one-hot）的，而是可度量的相似度標(biāo)簽。比如 query A 表達(dá)的是“能不能幫我在城東找一家比較便宜的賓館”，而 query B 表達(dá)的是“你能不能在城西幫忙找一家便宜的賓館”，這兩句話的語義樹標(biāo)簽之間的相似度是可度量的，具體的度量方式我們通過兩個 query 標(biāo)簽解析出的語義樹進(jìn)行計(jì)算，將語義數(shù)按照節(jié)點(diǎn)和路徑的組合，拆分為 10 種不同的情況 {D, I, S, V, DI, IS, SV, DIS, ISV, DISV} 其中 D 表示 domain，I 表示 intent，S 表示 slot，V 表示 value。最終按照路徑和節(jié)點(diǎn)的重合程度，計(jì)算 Jaccard 距離作為 soft label 值，最終作為半監(jiān)督學(xué)習(xí)的標(biāo)簽。

圖 17 語義樹相似度度量
因?yàn)閮蓚€樣本之間，可能只有部分是相似的，所以根據(jù)語義樹的特點(diǎn)，我們進(jìn)一步提出了 Multi-view scoring 的學(xué)習(xí)策略，在最后預(yù)測的過程中加入不同子空間的映射矩陣，用不同子空間對部分相似的樣本進(jìn)行顯式建模。

 圖 18 采用多視角（Multi-View）分別對不同的子結(jié)構(gòu)進(jìn)行顯式建模
通過這種策略，可以通過 soft label 度量 batch 內(nèi)任意兩個樣本的相似度，最后通過 weighted 對比學(xué)習(xí)的方式進(jìn)行優(yōu)化。下圖可以看出，相比于自監(jiān)督的對比學(xué)習(xí)（自己和自己作為正例，batch 內(nèi)其他樣本作為負(fù)例）和全監(jiān)督的對比學(xué)習(xí)（正負(fù)標(biāo)簽作為對比學(xué)習(xí)標(biāo)簽），SPACE-2 基于樹結(jié)構(gòu)的半監(jiān)督對比學(xué)習(xí)方式，既能有效的利用標(biāo)注信息，又能很彈性的退化為自監(jiān)督對比學(xué)習(xí)，非常適合對話理解任務(wù)。

圖 19 基于樹結(jié)構(gòu)的半監(jiān)督對比學(xué)習(xí)
3.4. SPACE-2 結(jié)果
SPACE-2 在面向?qū)υ捓斫獾陌駟?DialoGLUE 上（意圖識別、填槽、對話跟蹤）全量測試和小樣本測試總分均為第一，其中在全量測試上，SPACE-2 相比之前的 SOTA 提升 1.1%，在小樣本測試上，SPACE-2 相比之前的 SOTA 提升 3.41，由此可以證明開放集知識對于對話理解的增益。

圖 20 SPACE-2 注入了對話理解知識，在對話理解榜單 DialoGLUE 取得 full-data 和 few-shot 雙榜單第一名
4. SPACE-3: 從單模塊建模到一體化建模
面向單模塊的預(yù)訓(xùn)練模型存在幾個問題：

1. 首先，模型的泛化性有限，無法很好的泛化到其他對話任務(wù)中，比如面向?qū)υ捓斫獾哪Ｐ秃茈y再對話策略上有很好的效果；
2. 對話任務(wù)具有流程型和時序性，理解 -> 策略 -> 生成是有先后順序及相輔相成的，同時建模多個任務(wù)將能更充分的挖掘數(shù)據(jù)特征；
3. 不同任務(wù)的標(biāo)簽知識如果能夠同時以半監(jiān)督的方式注入到預(yù)訓(xùn)練模型中 ，標(biāo)注信息的增多，對于模型的優(yōu)化也更有幫助。

為了克服這些問題，所以我們提出了 SPACE-3，希望將對話理解、對話策略、對話生成都統(tǒng)一到一個預(yù)訓(xùn)練對話模型中。
4.1. 一體化模型
我們換個角度來看人機(jī)對話，首先多輪對話是流動的，是對話雙方不停地進(jìn)行交互，但之前的預(yù)訓(xùn)練對話模型都是從單側(cè)（用戶側(cè) or 系統(tǒng)側(cè)）進(jìn)行建模，沒有考慮他們之間相互的影響。另外，語義樹是對用戶側(cè)的語言（utterance）進(jìn)行理解的，DA 是對系統(tǒng)側(cè)的語言（response）進(jìn)行理解的，那么就可以將理解知識和策略知識進(jìn)行雙側(cè)理解統(tǒng)一建模。

圖 21 換個角度看人機(jī)對話
基于這個思路，我們希望能夠模擬人類對話的思考路徑，通過三個 Decoder 依次做理解、策略和生成，中間的結(jié)果可以用在各類對話下游任務(wù)上。在模型技術(shù)選型上，我們采取 UniLM 作為 backbone，將 1 Encoder + 1 Decoder 擴(kuò)展為 1 Encoder + 3 Decoder 的結(jié)構(gòu)，其中 Dialog Encoder 作為基礎(chǔ)編碼器通過 MLM loss 完成基礎(chǔ)語言理解，而三個 Decoder 各司其職，Understanding Decoder 通過半監(jiān)督對比學(xué)習(xí)進(jìn)行對話理解，Policy Deocder 通過語義策略正則 loss 進(jìn)行對話策略建模，最后 Response Decoder 通過傳統(tǒng)的生成 loss 進(jìn)行對話生成。

圖 22 SPACE-3 模型架構(gòu)
4.2. 雙側(cè)理解建模
策略 loss 的設(shè)計(jì)體現(xiàn)了我們對雙側(cè)理解的思想，首先在用戶側(cè)時刻，根據(jù)上下文和用戶 utterance，經(jīng)過 Policy Decoder 的預(yù)測的結(jié)果，和直接利用 Understanding Decoder 對下一輪 response 理解的結(jié)果，二者具有一致性。比如在下面的例子中，當(dāng)模型接受 U1 + R1 + U2 為 context 的輸入時 Policy Decoder 模塊的結(jié)果，需要與 U1 + R1 + U2 + R2 為 context 的輸入時 Understanding Decoder 模塊的結(jié)果進(jìn)行一致性約束，來引導(dǎo)模型對策略進(jìn)行建模。 

圖 23 策略 LOSS 建模示例
同樣的，在用戶側(cè)時刻，根據(jù)上下文和系統(tǒng) response，經(jīng)過 Policy Decoder 的預(yù)測的結(jié)果，和直接利用 Understanding Decoder 對用戶 utterance 理解的結(jié)果，二者具有一致性。當(dāng)模型接受 U1 + R1 + U2 + R2 為 context 的輸入時 Policy Decoder 模塊的結(jié)果，需要與 U1 + R1 + U2 + R2 + U3 為 context 的輸入時 Understanding Decoder 模塊的結(jié)果進(jìn)行一致性約束，來引導(dǎo)模型對策略進(jìn)行建模。

圖 24 策略 LOSS 建模示例
4.3. SPACE-3 結(jié)果
最后，我們同時在對話理解任務(wù)、對話策略任務(wù)和對話生成任務(wù)上同時評測了 SPACE-3 的效果，在包含理解、策略和生成的 8 個數(shù)據(jù)集的綜合評價(jià)上，取得當(dāng)前最好效果。

圖 25 SPACE-3 模型結(jié)果
5. SPACE-1/2/3 系列模型總結(jié)
這一年多來，我們通過提出半監(jiān)督預(yù)訓(xùn)練新范式，向預(yù)訓(xùn)練對話模型中注入人類標(biāo)注知識，打造了 SPACE 系列模型，共在 11 個國際對話數(shù)據(jù)集取得 SOTA，并且三個工作分別側(cè)重對話策略、對話理解及統(tǒng)一建模。相關(guān)的論文已經(jīng)被頂級會議接收。其中，SPACE-1 融合對話策略知識，被 AAAI 2020 錄用；SPACE-2 融合對話理解知識，被 COLING 2022 錄用；SPACE-3 集理解、策略、生成一體，被 SIGIR 2022 錄用。

圖 26 SPACE 1/2/3 系列模型
6. 未來展望

1. 拓展更多任務(wù)：半監(jiān)督預(yù)訓(xùn)練作為一個通用的預(yù)訓(xùn)練技術(shù)， 不僅可以用于對話任務(wù)，對于更多的 NLP 任務(wù), 甚至其他模態(tài)的任務(wù)都有應(yīng)用的潛力；
2. 融入更多知識：本文中我們對分類標(biāo)注知識和樹形語義知識做了探索，除此之外還有很多其他知識形態(tài)，如何進(jìn)行更好的形式化表示，統(tǒng)一地融入到一個預(yù)訓(xùn)練模型中也是一個開放問題；
3. 設(shè)計(jì)更好算法：目前的探索是基于一致性正則化的半監(jiān)督預(yù)訓(xùn)練方案，但整個半監(jiān)督領(lǐng)域還有 self-taught, co-training, deep generative modeling 等諸多方法，如何綜合利用或設(shè)計(jì)更優(yōu)的算法是一個重要研究課題；
4. 放松數(shù)據(jù)約束：半監(jiān)督學(xué)習(xí)要求標(biāo)注數(shù)據(jù)和無標(biāo)數(shù)據(jù)具有類似的數(shù)據(jù)分布，這一要求在真實(shí)場景中具有局限性，如何設(shè)計(jì)泛化性更強(qiáng)的半監(jiān)督學(xué)習(xí)方法，放松對于無標(biāo)數(shù)據(jù)分布的假設(shè)，是未來的一個發(fā)展方向。

特別鳴謝
靈駿為本項(xiàng)目提供智能算力支持，顯著性加速了 SPACE 大規(guī)模預(yù)訓(xùn)練過程。靈駿是阿里云自主研發(fā)的新一代智能計(jì)算服務(wù)，以軟硬件一體的系統(tǒng)性創(chuàng)新優(yōu)化，使端到端計(jì)算效率得到飛躍式升級。支持自然語言處理、圖形圖像識別、搜索廣告推薦等多種應(yīng)用場景，具備高性能、高效率、高資源利用率等核心優(yōu)勢，可為大模型等前沿 AI 技術(shù)提供高拓展可預(yù)期的計(jì)算服務(wù)。
參考文獻(xiàn)
[1] Devlin J, Chang M W, Lee K, et al.  BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.[2] Brown T, Mann B, Ryder N, et al. Language Models are Few-Shot Learners. NeurIPS 2020.[3] Raffel et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.  JMLR 2020.[4] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need.  NeurIPS 2017.[5] Henderson M, Casanueva I, Mrk?i? N, et al. Convert: Efficient and accurate conversational representations from transformers. EMNLP-findings 2019.[6] Wu C S, Hoi S, Socher R, et al. TOD-BERT: pre-trained natural language understanding for task-oriented dialogue. EMNLP 2020.[7] Zihang Jiang, Weihao Yu, Daquan Zhou, et al. ConvBERT: Improving BERT with Span-based Dynamic Convolution. NeurIPS 2020.[8] Zhang Y, Sun S, Galley M, et al. DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. ACL system demonstration 2020.[9] Adiwardana D, Luong M T, So D R, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.[10] Roller S, Dinan E, Goyal N, et al. Recipes for building an open-domain chatbot. arXiv preprint arXiv:2004.13637, 2020.[11] Xiaojin Jerry Zhu. Semi-supervised learning literature survey. 2005.[12] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks. NeurIPS 2021.[13] He W, Dai Y, Zheng Y, et al. SPACE: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection. AAAI 2022.[14] He W, Dai Y, Hui B, et al. SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding. COLING 2022.[15] He W, Dai Y, Yang M, SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation. SIGIR 2022.[16] Xu H, Zhengyan Z, Ning D, et al. Pre-Trained Models: Past, Present and Future [J]. arXiv preprint arXiv:2106.07139, 2021.