在強(qiáng)化學(xué)習(xí)領(lǐng)域，「大力出奇跡」行得通？

在自然語言處理、計(jì)算機(jī)視覺和二者的交叉領(lǐng)域中，通過訓(xùn)練大量與任務(wù)無關(guān)的數(shù)據(jù)集，建立大規(guī)模的通用模型來解決許多任務(wù)，已經(jīng)成為主流方法。這些模型可以適應(yīng)新的任務(wù)(例如翻譯) ，利用不相關(guān)的數(shù)據(jù)(例如使用高資源語言來改進(jìn)低資源語言的翻譯) ，甚至可以通過將圖像投影到語言空間來納入新的模式。
這些方法的成功很大程度上來自于可擴(kuò)展模型架構(gòu)、大量未標(biāo)注的任務(wù)無關(guān)數(shù)據(jù)以及高性能計(jì)算基礎(chǔ)設(shè)施的不斷改進(jìn)。至關(guān)重要的是，標(biāo)度律表明，規(guī)模帶來的性能提升尚未達(dá)到飽和點(diǎn)。
在最近的一項(xiàng)工作中，谷歌研究院的成員們提出，類似的進(jìn)展在強(qiáng)化學(xué)習(xí)領(lǐng)域是可能發(fā)生的，并且他們采取可擴(kuò)展的方法的初步步驟，生成了表現(xiàn)優(yōu)越的通才型智能體。與視覺和語言領(lǐng)域相反，強(qiáng)化學(xué)習(xí)通常倡導(dǎo)使用更小的模型，模型也通常用于解決單一任務(wù)，或在同一環(huán)境中的多個(gè)任務(wù)。重要的是，跨越多種環(huán)境的訓(xùn)練的研究數(shù)量并不多，很少有人研究橫跨不同動(dòng)力學(xué)、獎(jiǎng)勵(lì)、視覺效果和智能體實(shí)施方式的東西。

論文鏈接：https://arxiv.org/pdf/2205.15241.pdf
具體地說，研究者調(diào)研了是否可以從大量的專家和非專家經(jīng)驗(yàn)中訓(xùn)練一個(gè)單一的模型（具有單一的一組參數(shù)）在多種環(huán)境中行動(dòng)。他們?cè)谝唤M 41 個(gè) Atari 游戲上進(jìn)行訓(xùn)練，用來滿足多樣性方面的要求，并提出了一個(gè)問題：「模型能從玩很多視頻游戲的過程中學(xué)到一些通用的東西嗎?」
為了訓(xùn)練這個(gè)模型，研究者只使用了先前從 Agarwal et al. [1]中收集到的軌跡，但是交互式地評(píng)估了本研究的智能體。研究者表示，他們并不是在追求特定游戲智能體所能達(dá)到的精通程度或效率，因?yàn)檫@項(xiàng)研究仍處于早期階段。相反，他們要探索的是，在語言和視覺領(lǐng)域觀察到的相同趨勢，是否也適用于大規(guī)模的通才型強(qiáng)化學(xué)習(xí)？
研究發(fā)現(xiàn)，在對(duì)離線專家數(shù)據(jù)集和非專家數(shù)據(jù)集進(jìn)行訓(xùn)練之后，智能體可以在所有游戲中同時(shí)達(dá)到人類級(jí)別性能的 126%，如圖 1 所示。此外，研究者還發(fā)現(xiàn)了與語言和視覺領(lǐng)域相似的趨勢：用很少的數(shù)據(jù)快速適應(yīng)從未見過的游戲(第 4.5 節(jié)) ，性能和模型大小之間的冪律關(guān)系(第 4.4 節(jié)) ，以及為更大的模型提供更快的訓(xùn)練進(jìn)度。

值得注意的是，并非所有現(xiàn)有的多環(huán)境訓(xùn)練方法都有效。他們研究了幾種方法，包括將問題處理為基于離線決策 Transformer 的序列建模 [14,34]、在線 RL [51]、離線時(shí)間差分方法[41]、對(duì)比表征[54] 和行為克隆[58]。
研究者發(fā)現(xiàn)，基于決策 Transformer 的模型在多環(huán)境下提供了最好的性能和擴(kuò)展特性。然而，為了實(shí)現(xiàn)對(duì)專家和非專家軌跡的訓(xùn)練，有必要使用從語言建模引導(dǎo)生成技術(shù)來生成專家級(jí)別的動(dòng)作，這與標(biāo)準(zhǔn)的決策 Transformer 有很大的不同。

實(shí)驗(yàn)
為了回答一系列假設(shè)提問，研究者進(jìn)行了多項(xiàng)實(shí)驗(yàn)，如下：
不同的在線和離線方法在多博弈體制中的表現(xiàn)如何？
研究比較了多博弈機(jī)制和單游戲機(jī)制下不同在線和離線算法，發(fā)現(xiàn)單游戲?qū)＜夷Ｐ腿匀皇亲罡咝У?。在多博弈通用模型中，多博弈決策 Transformer 模型最接近專家性能，多博弈在線 RL 與非 Transformer 模型排在第二位，而離線非 Transformer 模型很難獲得好的表現(xiàn)。
可以注意到，多博弈在線 C51 DQN 中位數(shù)得分為 68% (附錄 D) ，這與多博弈 Impala 中位數(shù)得分為 70% 的得分相似，這是根據(jù) [20] 報(bào)告的結(jié)果計(jì)算得出的。
不同的方法如何與模型尺寸相比較？
在大型語言和視覺模型中，最低可實(shí)現(xiàn)的訓(xùn)練損失通常隨著模型大小的增加而可預(yù)測地減少。Kaplan et al. [37]證明了一個(gè)語言模型的容量 (next-token 自回歸生成模型的 NLP 術(shù)語) 與其性能之間的經(jīng)驗(yàn)冪律關(guān)系(在對(duì)抗數(shù)據(jù)上的負(fù)對(duì)數(shù)似然)。這些趨勢在許多數(shù)量級(jí)的模型尺寸中得到了驗(yàn)證，包括從幾百萬參數(shù)的模型到數(shù)千億參數(shù)的模型。
研究者調(diào)查了交互式游戲中的表現(xiàn)是否存在類似的趨勢（而不僅僅是訓(xùn)練損失），并顯示類似的冪律性能趨勢，如圖 5（a）。多博弈決策 Transformer 的性能實(shí)現(xiàn)了兩個(gè)數(shù)量級(jí)的增加，而其他方法要么飽和，要么性能增長緩慢得多。他們還發(fā)現(xiàn)，較大的模型訓(xùn)練更快，在觀察相同數(shù)量的 token 后，能達(dá)到更高的游戲性能。附錄 G 中進(jìn)一步討論了這些結(jié)果。

不同的方法轉(zhuǎn)換到新游戲的效果如何？
盡管雅達(dá)利游戲是一項(xiàng)自然而且動(dòng)機(jī)良好的任務(wù)，但是由于它與人類如何將知識(shí)轉(zhuǎn)移到新游戲的相關(guān)性問題，對(duì)于快速適應(yīng)新游戲的預(yù)訓(xùn)練還沒有被廣泛探討。Nachum 和 Yang 針對(duì) Atari 的大型離線數(shù)據(jù)和小型專家數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，并與基于互模擬的一系列狀態(tài)表征學(xué)習(xí)目標(biāo)進(jìn)行了比較，但是他們的預(yù)訓(xùn)練和微調(diào)使用的是同一個(gè)游戲。相反，本文研究者感興趣的是經(jīng)過訓(xùn)練的智能體遷移到新游戲的能力。
圖 6 展示了對(duì)抗游戲中的微調(diào)性能。帶有 DT 目標(biāo)的預(yù)訓(xùn)練在所有游戲中表現(xiàn)最好，所有預(yù)訓(xùn)練的方法都比從零開始的訓(xùn)練有效，這證實(shí)了本研究的假設(shè)，即針對(duì)其他游戲的預(yù)訓(xùn)練確實(shí)有助于智能體快速學(xué)習(xí)一項(xiàng)新游戲。CPC 和 BERT 的表現(xiàn)不如 DT，這表明僅僅學(xué)習(xí)狀態(tài)表征不足以達(dá)到理想的遷移效果。雖然 ACL 為 BERT 增加了一個(gè)動(dòng)作預(yù)測輔助損失，但效果不明顯，這表明在離線數(shù)據(jù)上正確建模動(dòng)作對(duì)于獲得良好的傳輸性能非常重要。此外，研究者還發(fā)現(xiàn)微調(diào)性能會(huì)隨著 DT 模型變大而提高，而 CQL 微調(diào)性能與模型大小并不一致(參見圖 5b)。

多博弈決策 Transformer 是否改進(jìn)了訓(xùn)練數(shù)據(jù)？
研究者想要評(píng)估的是，帶有專家行動(dòng)推理的決策 Transformer 是否能夠超越最好的演示在訓(xùn)練中展現(xiàn)的能力。為了做到這一點(diǎn)，研究者看了表現(xiàn) top 3 的決策 Transformer 模型的 rollout。他們使用了 top 3 的 rollout，而不是所有 rollout 的平均值，以更公平地比較最好的演示，而不是一個(gè)普通的專家演示。圖 7 中展示了對(duì)比單個(gè)游戲的最佳演示得分提高的百分比，在一些比賽中，實(shí)現(xiàn)了訓(xùn)練數(shù)據(jù)的顯著改善。

最佳行為推理是否改進(jìn)了行為克??？
圖 8 展示了所有游戲得分的平均值和標(biāo)準(zhǔn)差。雖然行為克隆有時(shí)可能會(huì)產(chǎn)生高回報(bào)的 episode，但這種情況此時(shí)不太可能發(fā)生。研究者發(fā)現(xiàn)，在 41 個(gè)游戲中，有 31 個(gè)游戲的決策 Transformer 的性能優(yōu)于行為克隆。

專家和非專家數(shù)據(jù)混合訓(xùn)練是否比僅專家訓(xùn)練更有益？
與從專家示范中學(xué)習(xí)相比，從包括一些專家數(shù)據(jù)但主要是非專家數(shù)據(jù)的大型多樣化數(shù)據(jù)集中學(xué)習(xí)有助于學(xué)習(xí)和提高性能。為了驗(yàn)證這個(gè)假設(shè)，研究者根據(jù) episodic returns 過濾了每個(gè)游戲的訓(xùn)練數(shù)據(jù)，并且只保留前 10% 的軌跡，以生成一個(gè)專家的數(shù)據(jù)集 (詳情見附錄 E)。他們使用了這個(gè)專家數(shù)據(jù)集來訓(xùn)練多博弈決策 Transformer(DT-40M) 和基于 Transformer 的行為克隆模型(BC-40M)。圖 9 比較了這些模型訓(xùn)練的專家數(shù)據(jù)和 DT-40M 訓(xùn)練的所有數(shù)據(jù)。

使用 Transformer 架構(gòu)有什么好處？
決策 Transformer 是一個(gè) Upside-Down RL (UDRL)實(shí)現(xiàn)，它使用 Transformer 體系架構(gòu)，并將 RL 視為序列建模問題。為了理解 Transformer 體系架構(gòu)的好處，研究者將其與使用前饋、卷積 Impala 網(wǎng)絡(luò)的 UDRL 實(shí)現(xiàn)進(jìn)行比較。

圖 10 展示了使用 Impala 架構(gòu)的決策 Transformer 相對(duì)于 UDRL 的明顯優(yōu)勢。在比較 UDRL (Impla)和 CQL (在評(píng)估的每個(gè)模型尺寸上使用相同的 Impla)時(shí)，可以觀察到 UDRL (impla)優(yōu)于 CQL。結(jié)果表明，本文方法的好處不僅來自于使用的網(wǎng)絡(luò)架構(gòu)，同時(shí)來自于 UDRL 公式。
盡管由于設(shè)計(jì)空間的因素，將 Transformer 與所有可能的卷積架構(gòu)進(jìn)行比較是不可行的，但研究者相信這些經(jīng)驗(yàn)性的結(jié)果仍然顯示了一個(gè)明顯的趨勢，對(duì)于 UDRL 和 Transformer 架構(gòu)都是有益的。