幾十年來，構(gòu)建類腦計算機(jī)硬件的努力一直在進(jìn)行，但該領(lǐng)域尚未出現(xiàn)突破時刻?，F(xiàn)在，領(lǐng)先的研究人員表示，開始構(gòu)建第一個可以解決實(shí)際問題的大規(guī)模神經(jīng)形態(tài)設(shè)備的時機(jī)已經(jīng)成熟。

為人工智能的最新進(jìn)展提供動力的神經(jīng)網(wǎng)絡(luò)大致受到大腦的啟發(fā)，展示了從生物學(xué)中汲取靈感的技術(shù)的潛力。但相似之處只是膚淺的，當(dāng)今 AI 背后的算法和硬件的運(yùn)行方式與生物神經(jīng)元完全不同。

神經(jīng)形態(tài)工程師希望，通過設(shè)計更忠實(shí)地復(fù)制大腦工作方式的技術(shù)，我們將能夠模仿其令人難以置信的計算能力和能源效率。這種方法的核心是使用脈沖神經(jīng)網(wǎng)絡(luò)，其中計算神經(jīng)元通過使用活動峰值進(jìn)行通信來模擬它們的生物表親，而不是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中使用的數(shù)值。但是，盡管經(jīng)過了幾十年的研究，私營部門的興趣日益濃厚，但大多數(shù)示范活動仍然是小規(guī)模的，而且這項技術(shù)還沒有取得商業(yè)突破。

在 1 月份發(fā)表在《自然》雜志上的一篇論文中，該領(lǐng)域的一些領(lǐng)先研究人員認(rèn)為，這種情況可能很快就會改變。他們認(rèn)為，神經(jīng)形態(tài)計算已經(jīng)從學(xué)術(shù)原型成熟為能夠應(yīng)對現(xiàn)實(shí)世界挑戰(zhàn)的生產(chǎn)就緒設(shè)備，現(xiàn)在已準(zhǔn)備好向大規(guī)模系統(tǒng)飛躍。 與該論文的作者之一 Steve Furber 進(jìn)行了交談，他是 ARM 微處理器（現(xiàn)在為大多數(shù)手機(jī)提供支持的技術(shù)）的首席設(shè)計師，也是 SpiNNaker 神經(jīng)形態(tài)計算機(jī)架構(gòu)的創(chuàng)建者。

史蒂夫·福伯 （Steve Furber） 談關(guān)于下列問題：

    為什么神經(jīng)形態(tài)計算正處于關(guān)鍵時刻
    軟件與硬件
    打破研究孤島
    規(guī)模與生物學(xué)合理性
    憶阻器的影響

在論文中，您說神經(jīng)形態(tài)計算正處于一個關(guān)鍵時刻。這是什么意思？

史蒂夫·福伯：我們已經(jīng)證明，該技術(shù)可以支持幾乎任意規(guī)模的脈沖神經(jīng)網(wǎng)絡(luò)，并且可以使用它們做一些有用的事情。當(dāng)前的關(guān)鍵是，我們確實(shí)需要一些殺手級應(yīng)用的演示。

SpiNNaker 項目始于 20 年前，專注于為腦科學(xué)做出貢獻(xiàn)，如果您想構(gòu)建腦細(xì)胞功能模型，神經(jīng)形態(tài)學(xué)是一項顯而易見的技術(shù)。但在過去的 20 年里，重點(diǎn)已經(jīng)轉(zhuǎn)移到工程應(yīng)用上。要在工程領(lǐng)域真正起飛，我們需要一些神經(jīng)形態(tài)優(yōu)勢的展示。

與此同時，在這 20 年里，基于一種完全不同的神經(jīng)網(wǎng)絡(luò)的主流 AI 出現(xiàn)了爆炸式增長。這非常令人印象深刻，顯然產(chǎn)生了巨大的影響，但它開始遇到一些嚴(yán)重的問題，尤其是在大型語言模型 （LLM） 的能源需求方面?，F(xiàn)在人們期望神經(jīng)形態(tài)方法可能會通過顯著減少那些不可持續(xù)的能源需求來做出貢獻(xiàn)。

我們即將擁有足以支持神經(jīng)形態(tài)形式的 LLM 的規(guī)模的神經(jīng)形態(tài)系統(tǒng)。我認(rèn)為在較小的一端也有很多重要的應(yīng)用程序開發(fā)。特別靠近傳感器，使用基于事件的圖像傳感器和神經(jīng)形態(tài)處理系統(tǒng)可以提供非常低能耗的視覺系統(tǒng)，可以應(yīng)用于安全和汽車等領(lǐng)域。

當(dāng)您談到實(shí)現(xiàn)大規(guī)模神經(jīng)形態(tài)計算機(jī)時，這與已經(jīng)存在的系統(tǒng)相比如何？

Furber：已經(jīng)有很多例子，比如大型 Intel Loihi 2 系統(tǒng) Hala Point。這是一個非常密集、大規(guī)模的系統(tǒng)。自 2016 年以來，我們一直在 [英國曼徹斯特大學(xué)] 上運(yùn)行服務(wù)的 SpiNNaker 1 機(jī)器在系統(tǒng)中有五十萬個 ARM 內(nèi)核，到 2018 年擴(kuò)展到 100 萬個。這是相當(dāng)大的規(guī)模。我們在 SpiNNaker 2 [SpiNNcloud Systems，總部位于德國德累斯頓] 上的合作者開始銷售 500 萬個核心級別的系統(tǒng)，他們將能夠運(yùn)行相當(dāng)多的 LLM。

現(xiàn)在，神經(jīng)形態(tài)平臺需要進(jìn)化多少是一個有待回答的問題。它們可以以相當(dāng)簡單的方式進(jìn)行轉(zhuǎn)換以使其運(yùn)行，但這種簡單的轉(zhuǎn)換不一定能獲得最佳的能源性能。

那么，硬件不是真正的問題嗎，而是在它上面有效地構(gòu)建一些東西嗎？

Furber：是的，我認(rèn)為過去 20 年已經(jīng)見證了概念驗(yàn)證硬件系統(tǒng)以所需的規(guī)模出現(xiàn)。而是弄清楚如何充分利用他們，這就是差距。其中一些只是復(fù)制為基于 GPU 的機(jī)器學(xué)習(xí)開發(fā)的高效且有用的軟件堆棧。

可以在 neuromorphic 硬件上構(gòu)建應(yīng)用程序，但仍然非常困難。最大的缺失組件是類似于 TensorFlow 和 PyTorch 的高級軟件設(shè)計工具，這些工具使構(gòu)建大型模型變得簡單明了，而不必深入到詳細(xì)描述每個神經(jīng)元的級別。

有相當(dāng)多樣化的神經(jīng)形態(tài)技術(shù)，這有時會使不同群體之間的研究結(jié)果難以轉(zhuǎn)化。您如何打破這些孤島？

Furber：盡管硬件實(shí)現(xiàn)通常大不相同，但更高級別有很多共同點(diǎn)。所有神經(jīng)形態(tài)平臺都使用尖峰神經(jīng)元，神經(jīng)元本身也相似。在較低級別上，您有各種各樣的細(xì)節(jié)，但可以通過實(shí)現(xiàn)一個軟件層來彌合這些較低級別的硬件差異與較高級別的共性。

我們在這方面取得了一些進(jìn)展，因?yàn)樵跉W盟的 Human Brain Project 中，我們有一個小組一直在開發(fā) PyNN 語言。它得到了 SpiNNaker（一個多核心神經(jīng)形態(tài)系統(tǒng)）和海德堡大學(xué)的 BrainScaleS 系統(tǒng)（一個模擬神經(jīng)模型）的支持。

但事實(shí)是，許多神經(jīng)形態(tài)系統(tǒng)都是在實(shí)驗(yàn)室中開發(fā)的，并且只由該實(shí)驗(yàn)室內(nèi)的其他人使用。因此，它們對追求共性沒有貢獻(xiàn)。英特爾一直在嘗試通過在 Loihi 系統(tǒng)上構(gòu)建 Lava 軟件基礎(chǔ)設(shè)施并鼓勵其他人參與來做出貢獻(xiàn)。因此，有朝這個方向前進(jìn)的步伐，但遠(yuǎn)未完成。

對于神經(jīng)形態(tài)技術(shù)的生物學(xué)合理性需要有多大，意見不一。該領(lǐng)域需要在這里達(dá)成一些共識嗎？

Furber：我認(rèn)為硬件平臺和使用的神經(jīng)元模型的多樣性是研究領(lǐng)域的一個優(yōu)勢。多樣性是一種探索空間的機(jī)制，讓您有最好的機(jī)會找到開發(fā)嚴(yán)肅的大規(guī)模應(yīng)用程序的最佳答案。但是，一旦你這樣做了，是的，我認(rèn)為你需要減少多樣性并更多地關(guān)注共性。因此，如果神經(jīng)形態(tài)即將從一個主要由研究驅(qū)動的領(lǐng)域過渡到一個主要由應(yīng)用驅(qū)動的領(lǐng)域，那么我們預(yù)計會看到這種變化。

如果該領(lǐng)域想要實(shí)現(xiàn)規(guī)?；欠癖仨殸奚稽c(diǎn)生物學(xué)上的合理性？

Furber：生物保真度和工程可控性之間存在權(quán)衡。復(fù)制 LLM 中使用的極其簡單的神經(jīng)模型不需要很高的生物保真度?，F(xiàn)在，可以說，如果您可以整合更多的生物細(xì)節(jié)和功能，則可以將這些模型所需的神經(jīng)元數(shù)量減少一個重要因素。如果這是真的，那么最終整合這些更復(fù)雜的模型可能是值得的。但要證明情況確實(shí)如此，仍然是一個很大的研究問題。

近年來，憶阻器（模擬神經(jīng)元某些功能的存儲設(shè)備）引起了人們的廣泛關(guān)注。這是否改變了人們接近神經(jīng)形態(tài)計算的方式？

Furber：我確實(shí)認(rèn)為，正在開發(fā)的技術(shù)有可能在非常低的水平上提高硬件效率方面產(chǎn)生變革性。但是，當(dāng)我觀察英國的神經(jīng)形態(tài)研究格局時，其中很大一部分集中在新型設(shè)備技術(shù)上。可以說，人們對此的關(guān)注有點(diǎn)過分了，因?yàn)橄到y(tǒng)問題總體上是相同的。

除非我們能夠在系統(tǒng)級問題上取得進(jìn)展，否則支撐技術(shù)是什么并不重要，我們已經(jīng)有平臺可以支持系統(tǒng)級問題的進(jìn)展。

該論文表明，大規(guī)模神經(jīng)形態(tài)計算的時機(jī)已經(jīng)成熟。近年來，有什么變化讓您對此持積極態(tài)度，還是更像是一種戰(zhàn)斗號召？

Furber：它有點(diǎn)介于兩者之間。有證據(jù)表明它正在發(fā)生，神經(jīng)形態(tài)領(lǐng)域有許多有趣的初創(chuàng)公司正在設(shè)法生存下來。因此，這證明擁有大量可用資金的人開始準(zhǔn)備在神經(jīng)形態(tài)技術(shù)上花錢。更廣泛的社區(qū)都相信 Neuromorphic 的時代即將到來。當(dāng)然，主流機(jī)器學(xué)習(xí)在能源方面面臨的巨大問題，這是一個迫切需要解決的問題。一旦有令人信服的證明神經(jīng)形態(tài)學(xué)可以改變方程式，那么我認(rèn)為我們將看到事情開始轉(zhuǎn)變。