蒸餾也能夠替代權(quán)重共享。尤其是當(dāng)你的模型用到了特定硬件的模擬屬性時(shí)，那就不能使用權(quán)重共享了，而是必須使用蒸餾來(lái)共享知識(shí)。

用蒸餾共享知識(shí)的效率并不高，帶寬很低。就像在學(xué)校里，教師都想把自己知道的知識(shí)灌進(jìn)學(xué)生腦袋，但這是不可能的，因?yàn)槲覀兪巧镏悄埽愕臋?quán)重對(duì)我沒(méi)用。

這里先簡(jiǎn)單總結(jié)一下，上面提到了兩種截然不同的執(zhí)行計(jì)算的方式（數(shù)字計(jì)算和生物計(jì)算），并且智能體之間共享知識(shí)的方式也大相徑庭。

那么現(xiàn)在發(fā)展正盛的大型語(yǔ)言模型（LLM）是哪種形式呢？它們是數(shù)字計(jì)算方式，能使用權(quán)重共享。

但是 LLM 的每個(gè)副本智能體都只能以非常低效的蒸餾方式學(xué)習(xí)文檔中的知識(shí)。LLM 的做法是預(yù)測(cè)文檔的下一個(gè)詞，但是并沒(méi)有教師對(duì)于下一個(gè)詞的概率分布，它有的只是一個(gè)隨機(jī)選擇，即該文檔作者在下一個(gè)詞位置選用的詞。LLM 實(shí)際上學(xué)習(xí)的是我們?nèi)祟?，但傳遞知識(shí)的帶寬非常低。

話又說(shuō)回來(lái)，雖然 LLM 的每個(gè)副本通過(guò)蒸餾學(xué)習(xí)的效率非常低，但它們數(shù)量多呀，可以多達(dá)幾千個(gè)，也因此它們能學(xué)到比我們多數(shù)千倍的東西。也就是說(shuō)現(xiàn)在的 LLM 比我們?nèi)魏稳硕几硬W(xué)。

超級(jí)智能會(huì)終結(jié)人類文明嗎？

接下來(lái) Hinton 提出了一個(gè)問(wèn)題：「如果這些數(shù)字智能并不通過(guò)蒸餾非常緩慢地學(xué)習(xí)我們，而是開(kāi)始直接從現(xiàn)實(shí)世界學(xué)習(xí)，那么會(huì)發(fā)生什么呢？」

實(shí)際上，LLM 在學(xué)習(xí)文檔時(shí)就已經(jīng)在學(xué)習(xí)人類數(shù)千年所積累的知識(shí)了。因?yàn)槿祟悤?huì)通過(guò)語(yǔ)言描述我們對(duì)世界的認(rèn)識(shí)，那么數(shù)字智能就能直接通過(guò)文本學(xué)習(xí)來(lái)獲得人類積累的知識(shí)。盡管蒸餾的速度很慢，但它們也確實(shí)學(xué)到了非常抽象的知識(shí)。

如果數(shù)字智能可以通過(guò)圖像和視頻建模來(lái)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)呢？現(xiàn)在的互聯(lián)網(wǎng)上已有大量影像數(shù)據(jù)可供使用，未來(lái)我們也許能夠找到讓 AI 有效學(xué)習(xí)這些數(shù)據(jù)的方法。另外，如果 AI 有機(jī)器臂等可以操控現(xiàn)實(shí)的方法，也能進(jìn)一步幫助它們學(xué)習(xí)。

Hinton 相信，如果數(shù)字智能體能做到這些，那么它們的學(xué)習(xí)能力將遠(yuǎn)遠(yuǎn)勝過(guò)人類，學(xué)習(xí)速度也會(huì)很快。

現(xiàn)在就回到了 Hinton 在開(kāi)始時(shí)提出的問(wèn)題：如果 AI 的智能水平超過(guò)我們，我們還能控制住它們嗎？

Hinton 表示，他做這場(chǎng)演講主要是想表達(dá)出他的擔(dān)憂。他說(shuō)：「我認(rèn)為超級(jí)智能出現(xiàn)的時(shí)間可能會(huì)遠(yuǎn)遠(yuǎn)快于我之前所想?！顾o出了超級(jí)智能掌控人類的幾種可能方式。

比如不良行為者可能會(huì)利用超級(jí)智能來(lái)操控選舉或贏得戰(zhàn)爭(zhēng)（實(shí)際上現(xiàn)在已經(jīng)有人在用已有 AI 做這些事情了）。

在這種情況下，如果你想要超級(jí)智能更高效，你可能會(huì)允許它自行創(chuàng)建子目標(biāo)。而掌控更多權(quán)力是一個(gè)顯而易見(jiàn)的子目標(biāo)，畢竟權(quán)力越大，控制的資源越多，就更能幫助智能體實(shí)現(xiàn)其最終目標(biāo)。然后超級(jí)智能可能會(huì)發(fā)現(xiàn)，通過(guò)操控運(yùn)用權(quán)力的人就能輕松獲得更多權(quán)力。

我們很難想象比我們聰明的存在以及我們與它們互動(dòng)的方式。但 Hinton 認(rèn)為比我們聰明的超級(jí)智能肯定能學(xué)會(huì)欺騙人類，畢竟人類有那么多小說(shuō)和政治文獻(xiàn)可供學(xué)習(xí)。

一旦超級(jí)智能學(xué)會(huì)了欺騙人類，它就能讓人類去進(jìn)行它想要的行為。這和人騙人其實(shí)沒(méi)有本質(zhì)區(qū)別。Hinton 舉例說(shuō)，如果某人想要入侵華盛頓的某棟大樓，他其實(shí)無(wú)需親自前去，他只需要欺騙人們，讓他們相信入侵這棟大樓是為了拯救民主。

「我覺(jué)得這非常可怕?！笻inton 的悲觀溢于言表，「現(xiàn)在，我看不到該怎么防止這種情況發(fā)生，但我已經(jīng)老了?！顾Ｍ嗄瓴趴兡軌蛘业椒椒ㄗ尦?jí)智能幫助人類生活得更好，而不是讓人類落入它們的控制之中。

但他也表示我們有一個(gè)優(yōu)勢(shì)，盡管是相當(dāng)小的優(yōu)勢(shì)，即 AI 不是進(jìn)化而來(lái)的，而是人類創(chuàng)造的。這樣一來(lái)，AI 就不具備原始人類那樣的競(jìng)爭(zhēng)性和攻擊性目標(biāo)。也許我們能夠在創(chuàng)造 AI 的過(guò)程中為它們?cè)O(shè)定道德倫理原則。

不過(guò)，如果是智能水平遠(yuǎn)超人類的超級(jí)智能，這樣做也不見(jiàn)得有效。Hinton 說(shuō)他從沒(méi)見(jiàn)過(guò)更高智能水平的東西被遠(yuǎn)遠(yuǎn)更低智能水平的東西控制的案例。就假設(shè)說(shuō)如果是青蛙創(chuàng)造了人類，但現(xiàn)在的青蛙和人類又是誰(shuí)控制誰(shuí)呢？

最后，Hinton 悲觀地放出了這次演講的最后一頁(yè)幻燈片：

這既標(biāo)志著演講的結(jié)束，也是對(duì)全體人類的警示：超級(jí)智能可能導(dǎo)致人類文明的終結(jié)。