6. 現(xiàn)有方法總結(jié)

這里對主要的推理方法進(jìn)行一個總結(jié)，可以發(fā)現(xiàn)基于邏輯演繹規(guī)則和圖結(jié)構(gòu)的方法都是是基于符號的方法，其可解釋性比較好，但泛化性能比較差，都是離線的計算方式?；谥R圖譜嵌入和深度神經(jīng)網(wǎng)絡(luò)模型，其泛化性能比較好，但可解釋性比較差。

近期研究的重點(diǎn)是如何將符號主義和連接主義的模型進(jìn)行融合來獲得具有可解釋性的知識圖譜推理模型。

03 研究動機(jī)

1. 知識圖譜推理的可解釋性

對知識圖譜推理的可解釋性來源進(jìn)行了分類：

• 邏輯可解釋性：是天然的知識圖譜可解釋性來源，可以提供邏輯解釋依據(jù)。

• 圖結(jié)構(gòu)的可解釋性：圖結(jié)構(gòu)具有路徑特征，如metapath和子圖的結(jié)構(gòu)特征。

• 神經(jīng)網(wǎng)絡(luò)模型可解釋性：事后可解釋性，可以通過神經(jīng)網(wǎng)絡(luò)的一些事后可解釋性手段來分析特征的顯著性。其代表方法是Attention機(jī)制的可視化，這種方法目前還不是很成熟；另一種是 CAM 或圖 CAM 方法；還有一種是利用嵌入空間理論分析方法，其中 RotateE 或雙曲空間其嵌入空間理論分析做的非常好，但是不能很好地解釋參數(shù)的變化。

2. 強(qiáng)化學(xué)習(xí)

如何對符號主義和連接主義的模型進(jìn)行有效的融合是近期的研究熱點(diǎn)。這里研究的重點(diǎn)是將強(qiáng)化學(xué)習(xí)融入到知識推理中。

強(qiáng)化學(xué)習(xí)是近 10 年來非常受關(guān)注的模型，在控制、游戲、機(jī)器人中得到了廣泛應(yīng)用。其是將一個學(xué)習(xí)過程建模成馬爾科夫過程，通過智能體和環(huán)境的互相交互，通過最大化長期累積的獎賞來訓(xùn)練模型。與環(huán)境交互時會產(chǎn)生軌跡，如果將知識圖譜建模為一個強(qiáng)化學(xué)習(xí)的過程，那么既可以得到推理的結(jié)果，也可以得到推理的路徑，通過推理路徑來解釋知識圖譜推理。

3. 基于強(qiáng)化學(xué)習(xí)的知識圖譜推理

具體的融合方法是將知識圖譜視為一個環(huán)境，將智能體建模成一個深度神經(jīng)網(wǎng)絡(luò)，結(jié)合符號主義和連接主義的優(yōu)缺點(diǎn)，做到取長補(bǔ)短，讓模型同時具備神經(jīng)網(wǎng)絡(luò)的泛化性能和路徑可解釋性，同時由于深度強(qiáng)化學(xué)習(xí)是一個序列過程，可以處理多跳推理的過程。

04 近期研究

1. 基于層次強(qiáng)化學(xué)習(xí)的知識圖譜推理

第一個進(jìn)行的工作就是基于層次強(qiáng)化學(xué)習(xí)的知識圖譜推理模型。

其研究的背景是解決知識圖譜多語義問題。以圖為例，將 FreeBase 知識圖譜中的實(shí)體用 TransE 進(jìn)行預(yù)訓(xùn)練，將相關(guān)聯(lián)的實(shí)體相減得到關(guān)系的表示，將表示進(jìn)行 PCA 降維可視化，可以看到關(guān)系具有多個語義簇，代表關(guān)系模型在預(yù)訓(xùn)練模型中出現(xiàn)的模式。多個語義簇會造成歧義的現(xiàn)象，造成推理準(zhǔn)確率下降。

如何解決知識圖譜推理多語義問題呢？結(jié)合近期神經(jīng)科學(xué)的發(fā)現(xiàn)，發(fā)表在 Science 上的文章表明人類或高級動物其決策的過程是一個分層推理的過程，是一個潛意識的過程，通過多次觀察、多次推理，逐步去消解多語義和歧義，來得到推理的結(jié)構(gòu)。分層決策的機(jī)制是認(rèn)知過程的核心機(jī)制，是該論文的結(jié)論。例如，人在識別一只金絲猴的過程中的一個潛意識過程是先識別是一個動物，是一個靈長目的動物，再識別它是一只金絲猴。這是一個從高水平到低水平、從概念上粗粒度到細(xì)粒度的過程，該過程就是一個分層的機(jī)制。

分層強(qiáng)化學(xué)習(xí)與傳統(tǒng)強(qiáng)化學(xué)習(xí)模型的區(qū)別是，分層強(qiáng)化學(xué)習(xí)將決策空間進(jìn)行了進(jìn)一步的結(jié)構(gòu)化，將問題分解為若干個子問題來進(jìn)行決策。分層強(qiáng)化學(xué)習(xí)更像人類思維，能夠提高知識推理的準(zhǔn)確度，解決多語義問題。

具體實(shí)現(xiàn)分層強(qiáng)化學(xué)習(xí)的方法是設(shè)計兩個互相嵌套的強(qiáng)化學(xué)習(xí)，一個是高層次的策略函數(shù)，一個是低層次策略函數(shù)。高層次策略控制知識圖譜實(shí)體間的狀態(tài)轉(zhuǎn)移，低層次策略控制語義簇之間的轉(zhuǎn)移，語義簇是用 TransE 的嵌入來構(gòu)建。

具體來講，高水平策略函數(shù)是一個基于 GRU 的可以保存歷史向量的策略函數(shù)，其獎賞函數(shù)是一個γ衰減的獎賞函數(shù)。低水平策略函數(shù)是一個將狀態(tài)空間層次化分解的過程，其獎賞函數(shù)是一個 0、1 獎賞。

其訓(xùn)練的目標(biāo)是使其獎賞最大化，利用梯度策略優(yōu)化來訓(xùn)練模型。由于該模型高水平策略和低水平策略互相嵌套的模型，使用交替固定優(yōu)化的方式，通過蒙特卡洛采樣軌跡的方式來訓(xùn)練推理模型。

使用的評價指標(biāo)是平均準(zhǔn)確率、平均排序分?jǐn)?shù)和 Hit@X。數(shù)據(jù)集是常識知識圖譜 FB15K、NELL995、WN18RR，其中 FB15K 的多語義現(xiàn)象比較嚴(yán)重。

進(jìn)行鏈接預(yù)測的實(shí)驗(yàn)，圖為實(shí)體預(yù)測的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)模型在大部分?jǐn)?shù)據(jù)集上表現(xiàn)的都比較好，同時在多語義的數(shù)據(jù)集上表現(xiàn)的更好一點(diǎn)。

第二個是事實(shí)預(yù)測的實(shí)驗(yàn)，給定兩個實(shí)體，預(yù)測它們之間是否存在某種關(guān)系，是一個二分類的問題，模型在 FB15K-237 上表現(xiàn)更好一些。

分層強(qiáng)化推理可以提供可解釋性的推理路徑，如圖，在推理過程中相比于 MINERVA可以提供更好的推理路徑。

小結(jié)：提出了一個分層強(qiáng)化學(xué)習(xí)的知識推理模型，這個模型模仿了人類的思維方法，這個模型可以學(xué)習(xí)到知識圖譜中關(guān)系的層次化語義簇，從而有助于解決推理過程的多語義問題。實(shí)驗(yàn)表明，這個模型可以在標(biāo)準(zhǔn)的數(shù)據(jù)集上取得競爭性的結(jié)果，在多語義問題上表現(xiàn)更好。該工作發(fā)表于 2020 年 IJCAI 上。