Friedrich Miescher 生物醫(yī)學(xué)研究所和海德堡大學(xué)的研究人員，于 2022 年 1 月發(fā)表在《PNAS》上的一篇題為「Surrogate gradients for analog neuromorphic computing」的論文揭示了繞過這個問題的方法。 該團(tuán)隊(duì)表明，一種稱為尖峰神經(jīng)網(wǎng)絡(luò)的人工智能算法——它使用大腦的獨(dú)特通信信號，稱為尖峰——可以與芯片一起學(xué)習(xí)如何補(bǔ)償設(shè)備不匹配。這篇論文是朝著使用 AI 進(jìn)行模擬神經(jīng)形態(tài)計(jì)算邁出的重要一步。

論文鏈接：https://www.pnas.org/doi/10.1073/pnas.2109194119

「令人驚奇的是，它運(yùn)行得非常好！」國家數(shù)學(xué)和計(jì)算機(jī)科學(xué)研究所 CWI 的脈沖神經(jīng)網(wǎng)絡(luò)專家 Sander Bohte 說， 「這是一項(xiàng)相當(dāng)大的成就，可能是更多模擬神經(jīng)形態(tài)系統(tǒng)的藍(lán)圖。」

模擬計(jì)算對基于大腦的計(jì)算的重要性是微妙的。數(shù)字計(jì)算可以有效地表示大腦尖峰信號的一個二進(jìn)制，即一種像閃電一樣穿過神經(jīng)元的電脈沖。與二進(jìn)制數(shù)字信號一樣，要么發(fā)出尖峰信號，要么不發(fā)出尖峰信號。但是隨著時間的推移，尖峰是連續(xù)發(fā)送的——這是一個模擬信號——我們的神經(jīng)元首先決定發(fā)出尖峰的方式也是連續(xù)的，這取決于細(xì)胞內(nèi)隨時間變化的電壓。（與細(xì)胞外電壓相比，當(dāng)電壓達(dá)到特定閾值時，神經(jīng)元會發(fā)出尖峰信號。）

「在類比中，大腦核心計(jì)算的巧妙之處便在于此。模擬大腦的這一關(guān)鍵方面是神經(jīng)形態(tài)計(jì)算的主要驅(qū)動力之一?！固K黎世大學(xué)和蘇黎世聯(lián)邦理工學(xué)院的神經(jīng)形態(tài)工程研究員 Charlotte Frenkel 說。

2011 年，一組研究人員開始開發(fā)一種兼具模擬和數(shù)字功能的神經(jīng)形態(tài)芯片，以對大腦進(jìn)行密切建模以進(jìn)行神經(jīng)科學(xué)實(shí)驗(yàn)?，F(xiàn)在由 Schemmel 領(lǐng)導(dǎo)的團(tuán)隊(duì)推出了新版本的芯片，稱為 BrainScaleS-2。芯片上的每個模擬神經(jīng)元都可以模仿腦細(xì)胞的輸入和輸出電流和電壓變化。

「你真的擁有了一個不斷交換信息的動態(tài)系統(tǒng)?！筍chemmel 說，而且由于材料具有不同的電氣特性，芯片傳輸信息的速度比我們的大腦快 1000 倍。

但是由于模擬神經(jīng)元的特性變化如此之小——設(shè)備不匹配問題——電壓和電流水平也因神經(jīng)元而異。算法無法處理這個問題，因?yàn)樗鼈兪窃诰哂型耆嗤瑪?shù)字神經(jīng)元的計(jì)算機(jī)上訓(xùn)練的，突然它們在芯片上性能直線下降。

新研究展示了前進(jìn)的方向。通過將芯片包含在訓(xùn)練過程中，作者表明脈沖神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)如何校正 BrainScaleS-2 芯片上的不同電壓?！高@種訓(xùn)練設(shè)置是第 一個令人信服的證據(jù)，證明可變性不僅可以[補(bǔ)償]，而且可能被利用。」Frenkel 說。

為了解決設(shè)備不匹配問題，該團(tuán)隊(duì)將一種允許芯片與計(jì)算機(jī)對話的方法與一種稱為代理梯度的新學(xué)習(xí)方法相結(jié)合，該方法由 Zenke 共同開發(fā)，專門用于脈沖神經(jīng)網(wǎng)絡(luò)。它通過改變神經(jīng)元之間的連接，來小化神經(jīng)網(wǎng)絡(luò)在任務(wù)中產(chǎn)生的錯誤數(shù)量。（這類似于非尖峰神經(jīng)網(wǎng)絡(luò)使用的方法，稱為反向傳播。）

實(shí)際上，替代梯度方法能夠在計(jì)算機(jī)訓(xùn)練期間糾正芯片的缺陷。首先，脈沖神經(jīng)網(wǎng)絡(luò)使用芯片上模擬神經(jīng)元的變化電壓執(zhí)行一項(xiàng)簡單的任務(wù)，將電壓記錄發(fā)送回計(jì)算機(jī)。在那里，該算法自動學(xué)習(xí)如何好地改變其神經(jīng)元之間的連接，以仍然與模擬神經(jīng)元很好地配合，并在學(xué)習(xí)的同時不斷地在芯片上更新它們。然后，當(dāng)訓(xùn)練完成時，脈沖神經(jīng)網(wǎng)絡(luò)在芯片上執(zhí)行任務(wù)。

研究人員報(bào)告說，他們的網(wǎng)絡(luò)在語音和視覺任務(wù)上達(dá)到了與在計(jì)算機(jī)上執(zhí)行任務(wù)的頂 級尖峰神經(jīng)網(wǎng)絡(luò)相同的準(zhǔn)確度水平。換句話說，該算法準(zhǔn)確地了解了克服設(shè)備不匹配問題需要做出哪些改變。

計(jì)算神經(jīng)科學(xué)家 Thomas Nowotny 說：「他們用這個系統(tǒng)解決真正問題所取得的性能是一項(xiàng)巨大的成就?！?而且，正如預(yù)期的那樣，它們的能源效率令人印象深刻；作者表示，在芯片上運(yùn)行他們的算法所消耗的能量比標(biāo)準(zhǔn)處理器所需的能量少 1000 倍。

然而，F(xiàn)renkel 指出，雖然到目前為止能耗是個好消息，但神經(jīng)形態(tài)芯片仍需要通過針對類似語音和視覺識別任務(wù)進(jìn)行優(yōu)化的硬件來證明自己，而不是標(biāo)準(zhǔn)處理器。Nowotny 警告說，這種方法可能難以擴(kuò)展到大型實(shí)際任務(wù)，因?yàn)樗匀恍枰谟?jì)算機(jī)和芯片之間來回穿梭數(shù)據(jù)。

長期目標(biāo)是讓神經(jīng)網(wǎng)絡(luò)從頭到尾在神經(jīng)形態(tài)芯片上訓(xùn)練和運(yùn)行，根本不需要計(jì)算機(jī)。但這需要構(gòu)建新一代芯片，這需要數(shù)年時間，Nowotny 說。

目前，Zenke 和 Schemmel 的團(tuán)隊(duì)已經(jīng)證明，脈沖神經(jīng)網(wǎng)絡(luò)算法可以處理神經(jīng)形態(tài)硬件上模擬神經(jīng)元之間的微小變化?！改梢砸揽?60 或 70 年的數(shù)字計(jì)算經(jīng)驗(yàn)和軟件歷史。」Schemmel 說，「對于這種模擬計(jì)算，我們必須自己做所有事情?！?/p>