“蓋亞計劃”由 IDEA 研究院認知計算與自然語言研究中心發(fā)起，致力于在預訓練大模型時代建設 AIGC 的基礎設施。
為賦能中文 AIGC 行業(yè)，IDEA-CCNL 封神榜團隊宣布公開最新的研究成果，開放首個因果推理生成 API，并開源對應 50 億參數(shù)模型—燃燈，包括演繹推理生成（Randeng-Deduction）與反繹推理生成（Randeng-Abduction）, 在部分推理生成任務上其效果甚至可以超過 ChatGPT。以自然語言作為思考推理和輸出的媒介，模型憑借其強大的語言能力在中文因果語料上學習，逐步具備常識知識以及更高層次的推理能力，如演繹推理、反繹推理、反事實推理、隱含知識挖掘等。在具備了因果推理能力的基礎上，模型能夠模仿人類思考過程，實現(xiàn)語言層面的自動多步推理，展示出其巨大的潛在應用價值，幫助拓展了人類的認知邊界。
目前，因果推理生成 API 及在線體驗 demo 已經(jīng)開放，對應模型已經(jīng)開源至 Huggingface 平臺：

• 燃燈演繹推理(Randeng-Deduction)API：https://api.fengshenbang-lm.com/v1/deductiveReasoning模型：IDEA-CCNL/Randeng-TransformerXL-5B-Deduction-Chinese
• 燃燈反繹推理(Randeng-Abduction)API：https://api.fengshenbang-lm.com/v1/abductiveReasoning模型：IDEA-CCNL/Randeng-TransformerXL-5B-Abduction-Chinese
• 在線 demo 體驗https://ccnl.fengshenbang-lm.com/single/reasoning/ 

下面將從多個維度來闡述如何使用燃燈因果推理模型，燃燈能做到什么程度和效果以及在每個維度上和 ChatGPT 的對比，幫助大家深入了解。
基礎推理能力：多步推理

基于 Randeng-Deduction 模型，可以進行多步因果推理。給定具體的一個事實推理前提條件（如下圖 1 所示的根節(jié)點），Randeng-Deduction 模型能夠以自然語言的形式迭代地產(chǎn)生該事件可能導致的結果與影響，最終形成龐大的因果推理樹。

圖 1 多步因果推理樹
而 ChatGPT 基于 “債券市場收益率快速下滑” 這一事實給出了單鏈多步推理的結果，推理過程存在一點和前提事實矛盾的地方— 由 “債券市場收益率快速下滑” 推理出了“債券收益率上升”。（如下圖 2）

圖 2 ChatGPT 的多步因果推理結果
基礎推理能力：演繹 + 反繹推理
將 Randeng-Deduction 模型與 Randeng-Abduction 模型結合，能夠同時進行演繹和反繹多步推理，讓模型分析導致事件發(fā)生的一系列原因（圖 3 左）以及該事件產(chǎn)生的結果（圖 3 右），賦予了語言模型思考因果關系的能力。

圖 3 反繹推理樹 (左) 和因果推理樹(右)
ChatGPT 的單步反繹推理也能夠給出導致 “玉米價格持續(xù)上漲” 的多方面因素，在這個維度上達到的效果比較一致。

圖 4 ChatGPT 的反繹推理結果
基礎推理能力：三段論和反事實推理
Randeng-Deduction 模型具備豐富的常識知識，但其強大的推理生成能力并非依賴于對于知識的記憶。采用三段論的形式，Randeng-Deduction 模型既能在正確的事實上進行演繹推理（圖 5 上支、圖 6 上支），同時也能運用常識知識進行反事實推理（圖 5 下支、圖 6 下支）。

圖 5 三段論和反事實推理①

圖 6 三段論和反事實推理②
而對應于圖 6 的輸入，ChatGPT 未能正確地進行反事實推理，且混淆了變溫動物和恒溫動物的定義。

圖 7 ChatGPT 的反事實推理結果結果
高級推理能力：問題制導下的自動推理
利用 Randeng-Deduction 模型的推理能力，加上蒙特卡洛樹搜索（MCTS）算法，可以實現(xiàn)問題制導下的自動推理。圖 8 展示了在給定問題后，基于前提事實推出的因果鏈條。

圖 8 問題制導下的自動推理（僅展示 MCTS 中概率最大的單條路徑）
通過調(diào)整提示（prompt）輸入，ChatGPT 也同樣能夠針對前提事實，給出回答目標問題的推理鏈條。在這個任務上雖然 Randeng- Deduction 和 ChatGPT 給出的推理鏈條思考角度不同，但都成功地回答了目標問題。

圖 9 ChatGPT 針對提問進行多步因果推理的結果
高級推理能力：無限推理
借助于 Randeng-Deduction 模型強大的因果推理生成能力，構建自動推理系統(tǒng)，讓機器無休止地自主思考和推理。但受限于資源及缺乏對應結果評估和選擇模型，ChatGPT 目前還無法做到無限推理。

圖 10 “永不停止”的自動因果推理（僅展示部分推理結果，未展示連接關系）
背后的訓練技術揭秘
Randeng-Deduction 模型與 Randeng-Abduction 模型采用自回歸的方式，將因果命題的生成抽象為給定前提命題的條件生成任務。我們選用 50 億參數(shù)量的 Transformer-XL 作為基礎模型，預先在開放域中文因果語料上進行了自回歸因果生成任務的訓練，使其具備了一定的因果生成能力。為了讓模型突破訓練數(shù)據(jù)的局限，強化其因果推理的能力，讓模型并非單純 “回憶” 訓練數(shù)據(jù)，我們嘗試引入了 3.3 億參數(shù)量的 RoBERTa 模型作為因果關系判別模型，結合兩個因果生成模型開展了自洽（Self-consistent）閉環(huán)迭代訓練。在閉環(huán)中，生成模型憑借各自的因果生成能力為閉環(huán)系統(tǒng)提供了源源不斷的偽樣本，判別模型從多樣的偽樣本中篩選供自身以及生成模型訓練的樣本。在閉環(huán)運轉的過程中，三個模型逐漸從不同的角度（演繹生成、反繹生成、因果關系判斷）對因果推理達成一致，得到持續(xù)的提升。

圖 11 訓練過程總覽
未來的場景應用
基于強大的因果推理能力，燃燈模型未來落地可以更多聚焦于大量的“推理場景”，比如輔助研究分析報告撰寫、賦能劇本殺的劇本快速設計、幫助作家創(chuàng)作出更多“細思極恐” 的推理情節(jié)等等，甚至能夠作為智能機器人和虛擬人的底層邏輯驅(qū)動鏈條，具備更強的認知和決策能力，使之具備像人類一樣的思考能力。
燃燈因果推理模型是 IDEA 研究院 CCNL 中心繼開源中文 Stable Diffusion 太乙模型之后向 中文 AIGC 復興以及機器認知計算邊緣探索邁出的第二步，也是“蓋亞計劃” 發(fā)出的第二架馬車。后續(xù)還將有更多的模型能力推出，敬請期待。
封神榜相關鏈接  封神榜官網(wǎng)：https://fengshenbang-lm.com封神榜 github 主頁：GitHub - IDEA-CCNL/Fengshenbang-LM封神榜 huggingface 地址：IDEA-CCNL (Fengshenbang-LM)封神榜 doc:  https://fengshenbang-doc.readthedocs.io/zh/latest