2. 基于貝葉斯強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理

第二個(gè)是進(jìn)行的關(guān)于貝葉斯強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理模型。

研究發(fā)現(xiàn)，基于強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理很大的問(wèn)題是：

• 訓(xùn)練難以穩(wěn)定，其蒙特卡洛抽樣的方差比較大，獎(jiǎng)賞稀疏。

• 難以利用先驗(yàn)知識(shí)，如利用預(yù)訓(xùn)練語(yǔ)料、屬性信息、關(guān)系和實(shí)體的先驗(yàn)分布。

• 單點(diǎn)分布的實(shí)體和向量，不能表達(dá)語(yǔ)義的不確定性。

利用貝葉斯強(qiáng)化學(xué)習(xí)工具來(lái)建模不確定性推理。假設(shè)參數(shù)服從某種概率分布，右圖顯示了貝葉斯學(xué)習(xí)的有點(diǎn)是可以表達(dá)不確定性。

利用貝葉斯強(qiáng)化學(xué)習(xí)其優(yōu)點(diǎn)是可以表達(dá)實(shí)體及關(guān)系的不確定性，這種不確定性有利于權(quán)衡探索-利用關(guān)系，通過(guò)隨機(jī)性可以引入正則項(xiàng)，來(lái)穩(wěn)定 Q 網(wǎng)絡(luò)/策略網(wǎng)絡(luò)的訓(xùn)練優(yōu)化，同時(shí)貝葉斯強(qiáng)化的機(jī)制可以利用知識(shí)的先驗(yàn)分布。

其方法比較簡(jiǎn)單，就是將知識(shí)圖譜中的實(shí)體和關(guān)系假設(shè)為高斯分布，通過(guò)設(shè)計(jì)合理的知識(shí)圖譜 Q 函數(shù)來(lái)進(jìn)行推理。

將知識(shí)圖譜推理定義成馬爾可夫決策過(guò)程，其環(huán)境是知識(shí)圖譜，狀態(tài)是實(shí)體在知識(shí)圖譜中所處的位置，動(dòng)作是這個(gè)位置可能連接的實(shí)體集合，策略函數(shù)是基于最大 Q 值的執(zhí)行策略，獎(jiǎng)賞函數(shù)是 0、1 獎(jiǎng)賞。

Q 函數(shù)的定義就是一個(gè)狀態(tài)動(dòng)作值的定義，在 St 是狀態(tài)時(shí)，對(duì)未來(lái)推理 Q 的獎(jiǎng)賞的期望。直接求解 Q 函數(shù)通常比較困難，是通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行擬合。具體實(shí)現(xiàn)方式是通過(guò) BayesianLSTM 來(lái)擬合 Q 函數(shù)的隱狀態(tài)，通過(guò)貝葉斯線性回歸網(wǎng)絡(luò)輸出 Q 值。

具體的執(zhí)行策略和優(yōu)化策略有兩種，是異策略的方式，即優(yōu)化策略與執(zhí)行策略函數(shù)不同。優(yōu)化策略是采取貪心策略，來(lái)保證訓(xùn)練的利用。執(zhí)行策略是通過(guò) Tompson 采樣，通過(guò) Q 值隨機(jī)化生成來(lái)保證環(huán)境的探索。

最后的目標(biāo)函數(shù)是最小化 Q 函數(shù)網(wǎng)絡(luò)的變分自由能，通過(guò)軌跡采樣方式來(lái)進(jìn)行優(yōu)化，采用蒙特卡洛梯度進(jìn)行近似優(yōu)化，具體實(shí)現(xiàn)是通過(guò)貝葉斯反向傳播的方法來(lái)訓(xùn)練貝葉斯神經(jīng)網(wǎng)絡(luò)。

在知識(shí)圖譜進(jìn)行的實(shí)驗(yàn)，圖為事實(shí)預(yù)測(cè)的實(shí)驗(yàn)結(jié)果，是一個(gè)二分類預(yù)測(cè)，給定兩個(gè)實(shí)體預(yù)測(cè)其關(guān)系的實(shí)驗(yàn)?？梢园l(fā)現(xiàn)模型在 NELL995 上大部分取得了比較好的領(lǐng)先。

實(shí)體預(yù)測(cè)的實(shí)驗(yàn)，可以發(fā)現(xiàn)模型可以取得較優(yōu)的結(jié)果。

在小規(guī)模知識(shí)圖譜上的鏈接預(yù)測(cè)實(shí)驗(yàn)，在小規(guī)模知識(shí)圖譜,上的實(shí)驗(yàn)將最大推理長(zhǎng)度設(shè)定為 2，設(shè)定為單步推理，也取得了一定的效果。

貝葉斯強(qiáng)化學(xué)習(xí)模型，沒(méi)有采用隨機(jī)分布的方式，與 MINERVA 進(jìn)行對(duì)比，可以發(fā)現(xiàn)貝葉斯強(qiáng)化學(xué)習(xí)模型收斂的更快一些，可以引入先驗(yàn)分布，通過(guò)對(duì)實(shí)體的高斯分布的預(yù)訓(xùn)練，葉斯強(qiáng)化學(xué)習(xí)模型收斂的結(jié)果更好一些。

對(duì)推理的過(guò)程進(jìn)行箱式圖可視化，如圖示例中，推理阿根廷是在哪里的？可以不確定性推理，實(shí)現(xiàn) Q 值分布的不確定性，來(lái)實(shí)現(xiàn)不確定性推理。

圖為 GaussianPath 模型在推理過(guò)程中產(chǎn)生了一些可解釋性的推理路徑。

小結(jié)：提出一個(gè)貝葉斯強(qiáng)化學(xué)習(xí)的知識(shí)推理模型，該模型可以表達(dá)多跳推理路徑的不確定性；該模型可以利用貝葉斯網(wǎng)絡(luò)的特性引入先驗(yàn)知識(shí)從而加速及穩(wěn)定強(qiáng)化學(xué)習(xí)的網(wǎng)路訓(xùn)練。實(shí)驗(yàn)表明，該模型可以在標(biāo)準(zhǔn)的數(shù)據(jù)集上取得競(jìng)爭(zhēng)性的結(jié)果。該工作發(fā)表于 2021 年 AAAI 上。

3. 異質(zhì)信息網(wǎng)絡(luò)的自動(dòng)元路徑挖掘

第三個(gè)工作是基于強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理的應(yīng)用，就是在異質(zhì)信息網(wǎng)絡(luò)的自動(dòng)元路徑挖掘。

異質(zhì)信息網(wǎng)絡(luò)是指圖上的節(jié)點(diǎn)、關(guān)系的種類大于 1 的網(wǎng)絡(luò)，其定義比知識(shí)圖譜更加廣泛。常見(jiàn)的異質(zhì)信息網(wǎng)絡(luò)有電影網(wǎng)絡(luò)、引用網(wǎng)絡(luò)、知識(shí)圖譜等。

元路徑是異質(zhì)信息網(wǎng)路上非常常用的手段，是實(shí)體關(guān)系的序列，可以表達(dá)實(shí)體之間的語(yǔ)義特征，如，“APA”可以刻畫共同發(fā)表的關(guān)系，“APVPA”可以刻畫同一個(gè)課題組的關(guān)系。其在圖數(shù)據(jù)挖掘中產(chǎn)生了一系列非常經(jīng)典的工作。

元路徑（Meta Path）應(yīng)用非常廣泛，在信息檢索、數(shù)據(jù)挖掘、推薦系統(tǒng)中廣泛應(yīng)用。

元路徑優(yōu)點(diǎn)是，語(yǔ)義表達(dá)準(zhǔn)確，效率較高，含有圖的結(jié)構(gòu)特征，可解釋性好。缺點(diǎn)是，需要人工設(shè)計(jì)，人工構(gòu)造 Meta Path，是非端到端的方法，對(duì)于長(zhǎng)序列元路徑設(shè)計(jì)比較困難。

自動(dòng)得到元路徑的方法是基于貪婪樹(shù)的方法、K-最短路徑、圖遍歷的方式得到 Meta Path。其存在的問(wèn)題是在離散空間計(jì)算，搜索空間比較大。我們研究的異質(zhì)信息網(wǎng)絡(luò)的自動(dòng)元路徑挖掘模型，利用強(qiáng)化學(xué)習(xí)，在推理過(guò)程中得到推理路徑模式，來(lái)得到元路徑。

異質(zhì)信息網(wǎng)絡(luò)的自動(dòng)元路徑挖掘方法，在 HIN 上利用強(qiáng)化學(xué)習(xí)進(jìn)行多跳推理，得到路徑實(shí)例；在類型有向圖上進(jìn)行規(guī)約，得到元路徑。

該工作強(qiáng)化學(xué)習(xí)的框架，與前面兩個(gè)工作類似，就是在狀態(tài)、動(dòng)作設(shè)定上略有不同。在狀態(tài)上加入了 vd 實(shí)體的元組；在動(dòng)作上，是實(shí)體在異質(zhì)信息網(wǎng)絡(luò)的停留，其動(dòng)作空間就是與其連接的邊和實(shí)體；獎(jiǎng)賞是基于 γ 的衰減的獎(jiǎng)賞函數(shù)。

知識(shí)圖譜的規(guī)模通常很大，是百萬(wàn)級(jí)別的實(shí)體及事實(shí)，直接給每個(gè)實(shí)體分配表向量通常會(huì)消耗非常大的存儲(chǔ)資源和計(jì)算資源。這項(xiàng)工作提出一種基于類型上下文表示的方式，通過(guò)將類型向量平均來(lái)表示實(shí)體，有效減少實(shí)體向量存儲(chǔ)的問(wèn)題。

具體路徑實(shí)例規(guī)約方法是基于最低祖先方法，通過(guò)在類型圖上進(jìn)行根節(jié)點(diǎn)的搜索得到元路徑。如，實(shí)體類型的 DAG 如圖，通過(guò)最低祖先搜索的方法得到其是 Person 的類型，最后得到類型及類型的組合，得到元路徑。

實(shí)驗(yàn)部分采用挖掘得到的元路徑進(jìn)行鏈接預(yù)測(cè)。采用的數(shù)據(jù)集是 Yago 和 NELL，即大規(guī)模異質(zhì)信息網(wǎng)絡(luò)或知識(shí)圖譜。Yago 和 NELL 具有上百萬(wàn)的實(shí)體，Yago 中具有 80 多萬(wàn)個(gè)類型；NELL 具有 700 多個(gè)類型。與 KG 的區(qū)別是具有大量的類型信息。

根據(jù)鏈接預(yù)測(cè)的實(shí)驗(yàn)，可以發(fā)現(xiàn)通過(guò)強(qiáng)化學(xué)習(xí)挖掘得到的路徑，盡管其是一個(gè)比較簡(jiǎn)單的路徑特征的線性回歸，都可以取得比較好的效果。

同時(shí)，可以通過(guò)強(qiáng)化學(xué)習(xí)推理的回歸的 Weight 獲得元路徑的權(quán)重，如，在 Yago 數(shù)據(jù)集中表示公民的關(guān)系，可以由 Person BorIn Country、Person BorIn District LocatedIn Country 主要刻畫 isCitizenOf 的關(guān)系。該模型可以獲得不同權(quán)重的元路徑，也可以挖掘得到較長(zhǎng)長(zhǎng)度的元路徑，還可以通過(guò)元路徑的比較發(fā)現(xiàn)同義的元路徑。

小結(jié)：提出一個(gè)強(qiáng)化學(xué)習(xí)的模型，該模型可以在大規(guī)模異質(zhì)信息網(wǎng)絡(luò)上挖掘元路徑，利用上下文表示可以大大緩解異質(zhì)信息網(wǎng)絡(luò)的規(guī)模性問(wèn)題。實(shí)驗(yàn)表明，即使利用簡(jiǎn)單的線性回歸，挖掘得到的元路徑也可以在大規(guī)模異質(zhì)信息網(wǎng)絡(luò)表現(xiàn)較好。表明異質(zhì)信息網(wǎng)絡(luò)核心的限制就是元路徑的質(zhì)量。該工作發(fā)表于 2020 年 AAAI 上。

05 總結(jié)和展望

• 深度學(xué)習(xí)和神經(jīng)網(wǎng)路的研究進(jìn)入下一階段，需要對(duì)神經(jīng)網(wǎng)絡(luò)的可解釋性、魯棒性進(jìn)行更加深入的研究。

• 未來(lái)研究知識(shí)圖譜可解釋性的方法可以結(jié)合一階邏輯推理和神經(jīng)網(wǎng)絡(luò)，讓知識(shí)圖譜推理可以符合邏輯性，來(lái)提高知識(shí)圖譜的可解釋性。

• 結(jié)合進(jìn)一步的實(shí)際查詢?nèi)蝿?wù)，例如問(wèn)答系統(tǒng)、信息檢索，實(shí)現(xiàn)端到端的可解釋性知識(shí)推理。

• 利用分解模型或 GNNExplainer 等一些方法，建立現(xiàn)有模型的一些事后可解釋性手段。

06 Q&A 問(wèn)答環(huán)節(jié)

Q：如何評(píng)估生成解釋的可理解能力？

A：解釋的可解釋能力，一般在事后可解釋性比較多，如可信度等。在這里研究工作中，更多是事前可解釋性的方法。具體可解釋性的能力是比較主觀的，現(xiàn)有的評(píng)估可解釋性的方法更多的用于事后可解釋性。

今天的分享就到這里，謝謝大家。