微軟開(kāi)發(fā)出名為Magma的新型生成式AI，能自主控制機(jī)器人并處理其傳感器信息，朝向ChatGPT等AI通過(guò)機(jī)器人與現(xiàn)實(shí)世界互動(dòng)的目標(biāo)邁進(jìn)一大步。

Magma可處理文字、圖像和視頻等多模態(tài)數(shù)據(jù)，并在視覺(jué)空間世界中規(guī)劃和行動(dòng)，例如執(zhí)行UI導(dǎo)航或控機(jī)器人等任務(wù)。 微軟表示，Magma能有效地從公開(kāi)的視覺(jué)和語(yǔ)言數(shù)據(jù)中轉(zhuǎn)移知識(shí)，將語(yǔ)言和空間智能結(jié)合起來(lái)，以應(yīng)對(duì)復(fù)雜的任務(wù)。

Magma是從大型語(yǔ)言模型和聊天機(jī)器人轉(zhuǎn)向「AI代理」的趨勢(shì)的一部分，AI代理可以代表人類(lèi)執(zhí)行任務(wù)。 但這項(xiàng)技術(shù)仍存在技術(shù)限制，例如OpenAI最近發(fā)布的AI代理Operator，雖然設(shè)計(jì)用于瀏覽互聯(lián)網(wǎng)并執(zhí)行任務(wù)，但仍需要大量的人工監(jiān)督。

盡管如此，根據(jù)微軟的測(cè)試，Magma AI在UI導(dǎo)航和機(jī)器人控任務(wù)上創(chuàng)造了新的最佳結(jié)果，表現(xiàn)優(yōu)于專(zhuān)為這些任務(wù)量身定制的先前模型。 微軟發(fā)布的影片顯示，該AI能將塑料蘑菇放入金屬碗中，并將抹布推過(guò)臺(tái)面。

除了控機(jī)器手臂外，Magma還可以用于通過(guò)實(shí)時(shí)視頻提供協(xié)助，例如在真實(shí)的西洋棋游戲中提供幫助，或在客廳中建議如何放松幾個(gè)小時(shí)。

然而，微軟的研究人員也承認(rèn)，Magma AI并非完美無(wú)缺。 例如，他們?cè)O(shè)計(jì)的測(cè)試都非常具體，而且教學(xué)影片中的身份和活動(dòng)分布并不代表全球人類(lèi)和社會(huì)的多樣性。

透過(guò)微軟Magma的生成式AI技術(shù)，自主控制機(jī)器人進(jìn)行取拿物品的動(dòng)作。 （來(lái)源：微軟演示視頻）