擁有雙臂的機(jī)器人如何去完成像打開(kāi)瓶蓋這樣的任務(wù)呢？按理說(shuō)，應(yīng)該與人類(lèi)動(dòng)作流程差不多：它需要先用一只手握住瓶子的底部，然后用另一只手抓住瓶蓋并將其擰下來(lái)。這種高層次的步驟序列就是我們所熟知的模式，而且它不受操控對(duì)象的幾何和空間狀態(tài)影響。另外一個(gè)好處是，與旨在通過(guò)學(xué)習(xí)策略來(lái)解決任務(wù)的強(qiáng)化學(xué)習(xí)技術(shù)不同，模式不需要在數(shù)小時(shí)、數(shù)周甚至數(shù)月的學(xué)習(xí)過(guò)程中攝取數(shù)以百萬(wàn)計(jì)的示例進(jìn)行訓(xùn)練。

最近，F(xiàn)acebook AI研究院（FAIR）的一個(gè)團(tuán)隊(duì)試圖向兩個(gè)機(jī)器人Sawyer手臂灌輸從庫(kù)中選擇適當(dāng)技能步驟以完成目標(biāo)的能力。在每個(gè)時(shí)間步驟里，這兩個(gè)機(jī)器手臂必須決定使用哪種技能以及使用哪些參數(shù)(例如施加力的位置、用力程度或移動(dòng)這些目標(biāo)的姿勢(shì))。盡管涉及到許多復(fù)雜的問(wèn)題，但該團(tuán)隊(duì)表示，他們的方法提高了學(xué)習(xí)效率，使得機(jī)器人在經(jīng)過(guò)短短幾個(gè)小時(shí)的培訓(xùn)后就可以獲得操縱對(duì)象的技能。

Facebook研究團(tuán)隊(duì)獲得的關(guān)鍵經(jīng)驗(yàn)是，對(duì)于許多任務(wù)，學(xué)習(xí)過(guò)程可以分為兩個(gè)部分：1)學(xué)習(xí)任務(wù)模式；2)學(xué)習(xí)為不同技能選擇適當(dāng)參數(shù)化的策略。他們斷言，這種方法會(huì)促使機(jī)器人獲得更快的學(xué)習(xí)效率，部分原因是來(lái)自給定任務(wù)的不同版本數(shù)據(jù)可以用于提高共享技能。此外，這種方法允許在相關(guān)任務(wù)之間轉(zhuǎn)移學(xué)習(xí)模式。

詳細(xì)介紹這項(xiàng)研究的論文的合著者解釋稱(chēng)：“舉例來(lái)說(shuō)，假設(shè)我們已經(jīng)學(xué)會(huì)了一個(gè)很好的模式，可以在模擬過(guò)程中拾取一個(gè)長(zhǎng)條。在那里我們可以了解操作對(duì)象的姿勢(shì)、幾何形狀以及更多信息。然后，我們可以在相關(guān)任務(wù)中重復(fù)使用該模式，例如在現(xiàn)實(shí)世界中僅從原始圖片觀察中拾取托盤(pán)，即使?fàn)顟B(tài)空間和最佳參數(shù)化(例如抓取姿勢(shì))都有很大不同。由于模式是固定的，因此托盤(pán)拾取任務(wù)的策略學(xué)習(xí)將非常有效，因?yàn)樗恍枰獙W(xué)習(xí)每項(xiàng)技能的參數(shù)。”

研究人員為上述兩個(gè)機(jī)器臂提供了一個(gè)通用的技能庫(kù)，如扭轉(zhuǎn)、舉起和伸手，它們必須將這些技能應(yīng)用于幾個(gè)涉及不同對(duì)象、幾何形狀和初始姿勢(shì)的橫向提升、拾取、打開(kāi)和旋轉(zhuǎn)任務(wù)中。通過(guò)使用低維輸入數(shù)據(jù)，如幾何和本體感受特征(關(guān)節(jié)位置、關(guān)節(jié)速度、末端效應(yīng)器姿勢(shì))進(jìn)行訓(xùn)練，在MuJoCo(模擬環(huán)境)中學(xué)習(xí)模式，然后在模擬和現(xiàn)實(shí)世界中將其轉(zhuǎn)換為視覺(jué)輸入操作。

在實(shí)驗(yàn)過(guò)程中，Sawyer手臂配備了攝像頭，并由Facebook的PyRobot開(kāi)源機(jī)器人平臺(tái)控制，其任務(wù)是操縱9個(gè)家庭物品(如滾針、足球、玻璃罐和T形扳手)，這些物品需要兩個(gè)平行的下顎夾鉗才能與之交互。盡管不得不從原始的視覺(jué)圖像中學(xué)習(xí)，但他們表示，其AI系統(tǒng)使用2000種技能學(xué)習(xí)操作大多數(shù)對(duì)象，在大約4到10個(gè)小時(shí)的培訓(xùn)中，成功率超過(guò)90%。

研究人員寫(xiě)道：“我們已經(jīng)研究了如何利用與狀態(tài)無(wú)關(guān)的技能序列來(lái)極大地提高無(wú)模型強(qiáng)化學(xué)習(xí)的樣本效率。此外，我們已經(jīng)在實(shí)驗(yàn)中證明，將在模擬中學(xué)到的技能序列轉(zhuǎn)移到現(xiàn)實(shí)世界的任務(wù)中，使我們能夠非常有效地解決圖像中的稀疏獎(jiǎng)勵(lì)問(wèn)題，從而使訓(xùn)練真正的機(jī)器人執(zhí)行復(fù)雜技能成為可能?！?nbsp;