導讀：眾所周知，人類大腦活動是復雜而連續(xù)的動力學過程，其復雜程度遠超當前算力資源所能模擬的上限。大腦約有1000億個神經(jīng)元，100萬億個突觸，單個突觸長度約10-1000微米。假設每1微米突觸用1個 微分方程近似，初略估算人類大腦約具有1000萬億-10億億參數(shù)。
類腦計算的核心在于借鑒生物神經(jīng)系統(tǒng)的信息處理模式或結構，進而構建相應的計算理論、芯片體系結構以及應用模型與算法，類腦計算被認為是后摩爾時代最為重要的發(fā)展方向之一，或有可能成為未來智能計算的突破口。
在智源研究院青源Talk第16期活動中，中科院自動化所李國齊研究員做了題為“類腦計算的研究進展和展望”的報告分享。李國齊首先介紹了類腦計算的基本概念，而后從類腦計算系統(tǒng)的模型算法、軟件、芯片以及數(shù)據(jù)等多個方面介紹了當前類腦計算系統(tǒng)的最新研究進展，最后對類腦計算系統(tǒng)的發(fā)展趨勢進行總結與展望。
作者簡介 ：李國齊，中國科學院自動化所研究員，博士生導師，北京智源人工智能研究院青年科學家。李國齊在Nature、Nature Communications、Proceedings of the IEEE、IEEE TPAMI等期刊和ICLR、NeurIPS、AAAI、CVPR等會議上發(fā)表論文 150余篇；出版國內(nèi)類腦計算領域早期學術專著1部；論文在 Google 學術上被引用 4500余次。2017 年入選北京市自然科學基金優(yōu)秀青年人才，2018 年獲得中國指揮與控制學會科學技術一等獎，2019 年入選北京智源人工智能研究院“智源學者”，2021年獲得福建省科技進步二等獎，2021 年獲得北京市杰出青年基金資助，2022年入選中科院“百人計劃”；其參與的類腦芯片理論、架構和工具鏈的工作曾入選2019年中國科學十大進展和2020年世界人工智能十大進展。
整理：王光華
編輯：李夢佳
什么是類腦計算？
類腦計算是近些年來崛起的新興研究領域，與人工智能、機器學習等領域類似，很難對其進行準確定義，目前業(yè)內(nèi)尚沒有普遍認可的類腦計算概念定義。李國齊指出，類腦計算的描述性定義為“指受人腦信息處理方式啟發(fā)，以更通用的人工智能和高效智能邊緣端/云端為目標構建信息系統(tǒng)的技術總稱”。類腦計算希望融合腦科學、計算神經(jīng)科學、認知科學甚至統(tǒng)計物理等學科的知識來解決現(xiàn)有傳統(tǒng)計算技術的一些問題，進而構建更加通用、高效、智能的新穎信息系統(tǒng)。狹義類腦計算是指神經(jīng)形態(tài)計算，主要是研制神經(jīng)形態(tài)芯片以支持源自計算神經(jīng)科學的脈沖神經(jīng)網(wǎng)絡（Spiking Neural Networks， SNN）；廣義類腦計算也包括存內(nèi)計算、憶阻器芯片甚至研制AI 芯片以支持傳統(tǒng)的人工神經(jīng)網(wǎng)絡（Artificial Neural Networks ，ANN）。因此，類腦計算的研究與發(fā)展與人工智能一樣也需要從模型算法、軟件、芯片和數(shù)據(jù)等各個方向協(xié)同展開。類腦計算模型：突破神經(jīng)科學與AI的鴻溝
當前，神經(jīng)科學與人工智能之間存在著巨大鴻溝，神經(jīng)科學側(cè)重于重構大腦內(nèi)部的精細結構和生理細節(jié)，人工智能則側(cè)重于通過對神經(jīng)結構進行數(shù)學抽象以實現(xiàn)計算的高效性。因此，人工智能和神經(jīng)科學如何交叉融合成為一個艱巨挑戰(zhàn)。類腦計算中，脈沖神經(jīng)網(wǎng)絡兼具了生物合理性和計算高效性，或可以為人工智能提供新范式。簡單地，可以認為SNN = ANN + Neuronal Dynamics。如何尋找兼具生物合理性與計算高效性的脈沖神經(jīng)元模型，以及如何建立脈沖神經(jīng)元模型與AI任務之間的關系是類腦計算領域的核心問題。
當前，SNN普遍采用LIF神經(jīng)元作為構建神經(jīng)網(wǎng)絡的基礎單元。原因在于，LIF神經(jīng)元是一種典型的綜合模型，既具備IF模型的簡單易用性，又能像H-H神經(jīng)元模型那樣模擬生物神經(jīng)元豐富的生理學特性。眾所周知，ANN和SNN各具特點，互有所長。ANN能夠充分利用現(xiàn)有計算機的計算特性，以神經(jīng)元狀態(tài)表示信息，在空間域傳遞信息，主要操作為密集矩陣向量乘法，相比之下，SNN采用脈沖序列表示信息，在空間域和時間域兩個維度傳遞信息，主要操作為事件驅(qū)動的稀疏加法，兼具計算高效性和生物可信性。
類腦學習算法
與ANN訓練相比，SNN的高效訓練面臨著諸多問題與挑戰(zhàn)，例如脈沖神經(jīng)元中復雜的時空動力過程、脈沖神經(jīng)元之間傳遞的脈沖信息不可導、脈沖退化和訓練精度損失等。當前，SNN訓練方法主要包括無監(jiān)督學習、間接有監(jiān)督學習和直接有監(jiān)督學習三類。這些訓練方法嘗試從不同的角度解決上述問題和挑戰(zhàn)。1.基于STDP的無監(jiān)督學習
基于脈沖時間依賴的突觸可塑性 （Spike Timing Dependent Plasticity, STDP）能夠控制大腦神經(jīng)元之間權重連接更新，是一種典型的無監(jiān)督學習方法。通俗的說，兩個神經(jīng)元的發(fā)放時間越近，他們之間的綁定關系就越緊密。如上圖所示，當兩個神經(jīng)元先后激活時，具備緊密先后關系的雙方會加強聯(lián)系，而具備相反關系的雙方就會削弱聯(lián)系，因此神經(jīng)元之間往往建立單向加強聯(lián)系。如果兩個神經(jīng)元同時激活，則他們與共同的下游神經(jīng)元之間形成了更加緊密的聯(lián)系，這樣兩者為同級神經(jīng)元，且相互之間具備間接關系。例如，通過STDP規(guī)則結合Winner-Take-All（WTA）構成的學習模型是一種簡單有效的無監(jiān)督學習方式。具體地，在輸入層將圖片轉(zhuǎn)換為脈沖序列（脈沖發(fā)放率正比于像素值），神經(jīng)元以全連接形式前向連接，接受興奮性輸入，并采用STDP規(guī)則更新，并與抑制性神經(jīng)元后向一對一連接，對其產(chǎn)生側(cè)向抑制 （即soft WTA），并通過自適應閾值平衡脈沖發(fā)放率。STDP模型通過局部調(diào)整規(guī)則進行學習，在神經(jīng)形態(tài)芯片上容易進行分布式實現(xiàn)并具備在線學習能力。但是，局部突觸可塑性不足以解釋突觸個體的改變?nèi)绾螀f(xié)調(diào)神經(jīng)系統(tǒng)的整體目標的實現(xiàn)。同時，李國齊也指出，這種無監(jiān)督學習訓練方法存在著難以獲得高性能網(wǎng)絡，無法在大規(guī)模深度神經(jīng)網(wǎng)絡中使用等問題。2.基于ANN轉(zhuǎn)SNN的間接有監(jiān)督學習
ANN-converted SNN方法是指訓練一個ANN模型，而后將學習完成后的ANN權重遷移到具有相同結構的SNN中。其基本思想是，利用SNN平均脈沖發(fā)放率來近似表示ANN中的 ReLU激活值。因此，ANN-converted SNN方法存在著模型精度與模型仿真步長T之間的tradeoff問題。該方法利用有監(jiān)督信號在原始ANN模型中進行梯度反向傳播訓練，然后將其轉(zhuǎn)換成SNN模型，因此是一種間接有監(jiān)督學習。ANN-converted SNN方法可擴展性強，容易將新出現(xiàn)的或大規(guī)模的ANN網(wǎng)絡結構轉(zhuǎn)換為相應的SNN版本。一般地，仿真時間步數(shù)T越大，SNN平均脈沖發(fā)放率越接近ANN中的激活值，兩種模型之間的誤差也就越小，從而實現(xiàn)ANN-SNN幾乎“無損”轉(zhuǎn)換。但過長的時間步數(shù)T會導致訓練和推理效率下降，SNN的功耗優(yōu)勢也隨之降低。此外，李國齊指出，由于這種方法本質(zhì)上是利用SNN去逼近ANN，在轉(zhuǎn)換的過程中會丟失SNN中可利用的時間依賴信號，因此可能會導致其應用場景相對受限。3.SNN直接有監(jiān)督學習的發(fā)展
為避免上述兩種訓練方法的局限性，解決SNN無法有效訓練的難題，李國齊及其團隊較早的提出STBP（Spatio-Temporal Backpropagation）等SNN直接訓練方法。直接訓練算法難點在于SNN復雜的時空動力學特性及脈沖發(fā)放不可微分問題。李國齊團隊提出的解決思路是，將脈沖神經(jīng)元的微分方程形式轉(zhuǎn)換為便于計算機仿真的差分方程形式，將信息沿時間、空間空維度同時展開，并采用脈沖梯度逼近方法。由于近似替代函數(shù)保留了脈沖發(fā)放的“非線性特征”，其梯度逼近曲線具有一定的魯棒性。STBP雖然解決了SNN網(wǎng)絡中進行反向傳播訓練的梯度替代問題，但其仍然只能訓練不超過10層的小規(guī)模網(wǎng)絡。其中主要問題在于，一旦網(wǎng)絡加深，先比較于ANN，脈沖神經(jīng)元的二進制激活方式及其復雜的時空動態(tài)更容易帶來網(wǎng)絡的梯度消失或爆炸問題。通過進一步分析SNN中的時空動態(tài)特性可知，建立神經(jīng)元膜電勢和閾值之間的平衡，以獲得一個合適的網(wǎng)絡脈沖發(fā)放率對網(wǎng)絡的性能至關重要。過低的發(fā)放率可能會導致有效信息不足，而過高的發(fā)放率則會降低SNN網(wǎng)絡對輸入的區(qū)分度。因此，李國齊團隊進一步提出了結合脈沖神經(jīng)元閾值的BN算法，即Threshold-dependent BN方法(TDBN)，緩解了制約SNN的規(guī)模瓶頸問題，首次將SNN的網(wǎng)絡規(guī)模提升至50層，在ImageNet等大規(guī)模數(shù)據(jù)集上取得具有競爭性的性能，并證明了該方法可緩解深度SNN的梯度消失與爆炸問題。盡管TDBN提升了SNN的規(guī)模，但相對于傳統(tǒng)ANN中動輒數(shù)百層的深度網(wǎng)絡，性能仍然捉襟見肘，不足以在大規(guī)模數(shù)據(jù)集上與ANN進行競爭。為了進一步提升SNN的網(wǎng)絡表達能力，擴大網(wǎng)絡規(guī)模從而提升任務性能，借鑒經(jīng)典的ResNet結構是似乎一種可行的方法。但是，直接復制ResNet結構到SNN中（Vanilla Res-SNN）存在著脈沖退化問題，即網(wǎng)絡越深，精度越低。因此，李國齊團隊提出了一種將LIF神經(jīng)元放置在殘差塊中，并在不同層神經(jīng)元的膜電勢之間建立shortcut的新穎Ms-Rse-SNN結構。并利用dynamical isometry理論證明了所提出的結構不存在脈沖退化問題。在相對廣泛的范圍內(nèi)解決了大規(guī)模SNN直接訓練問題（482層 CIFAR-10,104層 ImageNet），后者取得Top-1 76%分類準確率的SOTA結果。此外，根據(jù)SNN處理數(shù)據(jù)的不同，采用data-dependent的處理方式，可以為直接訓練SNN在一些任務中帶來額外的性能增益。例如，在神經(jīng)形態(tài)視覺任務中，事件流數(shù)據(jù)往往具有稀疏、不均勻特性。根據(jù)這一觀察，李國齊團隊提出了一種時間注意力脈沖神經(jīng)網(wǎng)絡，根據(jù)事件流在不同時刻的輸入信噪比，結合時間注意力機制，使用SNN以數(shù)據(jù)驅(qū)動的方式來進行任務處理，可以在進一步降低網(wǎng)絡能耗的基礎上帶來性能提升。實驗結果表明，即使去掉一半的輸入，SNN的性能基本能夠維持不變或略有提升?？偠灾?，當前SNN已經(jīng)進入大規(guī)模深層模型和算法的發(fā)展階段，并將在傳統(tǒng)人工智能領域中多種下游任務得到進一步的應用。
類腦計算軟件
類腦計算軟件框架與工具通常包括神經(jīng)形態(tài)芯片工具鏈、神經(jīng)系統(tǒng)仿真模擬和SNN學習框架等三個方面的內(nèi)容，具體可參考清華大學張悠慧教授在IEEE Transactions on High Performance Computing的綜述論文觀點。
神經(jīng)形態(tài)芯片工具鏈目前尚處于早期階段，存在軟件與硬件緊密耦合，通用性、自動化程度不高，使用便捷性差等許多問題。神經(jīng)系統(tǒng)軟件仿真框架能夠詳細模擬生物神經(jīng)網(wǎng)絡，但要求用戶具有一定的計算神經(jīng)科學基礎。現(xiàn)有的仿真工具軟件框架通常用C語言開發(fā)，缺乏跨平臺能力，也缺乏對各種后端硬件的深度優(yōu)化的支持。并且，這些軟件通常為CPU和GPU等商業(yè)硬件而設計，并不支持不同類型的神經(jīng)形態(tài)芯片。SNN學習框架的目標是，將深度學習框架開發(fā)的便利性與SNN的特點相結合，充分利用深度學習領域的各種資源，對SNN網(wǎng)絡訓練進行加速，相關工作基本處于前期并且不夠穩(wěn)定，更無法適應不同的軟件和硬件接口，即使基于GPU架構開發(fā)也難以充分利用SNN本身的特性進行加速。
類腦計算芯片
主要支持人工神經(jīng)網(wǎng)絡（TPU、寒武紀、華為昇騰等）的深度學習加速器；主要支持脈沖神經(jīng)網(wǎng)絡（TrueNorth、Loihi、達爾文等芯片）的神經(jīng)形態(tài)芯片；支持人工/脈沖神經(jīng)網(wǎng)絡的異構融合芯片（Tianjinc芯片）；以及支持神經(jīng)元編程的腦仿真模擬芯片（SpiNNaker、 ROLLS、 Loihi等芯片 ）和具備低時延、高動態(tài)的神經(jīng)形態(tài)相機為代表的感知芯片。類腦芯片的體系架構包括主流深度學習加速器采用的存算分離架構，主流眾核去中心化架構芯片的近存計算架構，以及存內(nèi)計算芯片、憶阻器芯片等所采用的存算一體架構。從芯片設計的角度來看，采用路由器連接的多核架構的芯片的可擴展性更好，多個功能核獨立工作，核間周期性地同步和共享數(shù)據(jù)。因此可支持的網(wǎng)絡規(guī)模更大，應用范圍更廣的SNN。采用單純數(shù)字信號的小規(guī)模單核芯片可以采用存內(nèi)計算進行矩陣向量乘，具備同步、異步設計流程，往往具備較高的能效和較低的靜態(tài)功耗，且更便于技術遷移，但神經(jīng)元與突觸的規(guī)模受限。數(shù)模混合小規(guī)模單核芯片采用數(shù)字異步脈沖路由，利用存內(nèi)數(shù)字計算方法進行矩陣向量乘法，采用模擬膜電位進行激活與更新，因此能效最高，但也存在神經(jīng)元與突觸數(shù)量少和設計不方便等問題。類腦計算數(shù)據(jù)
眾所周知，深度學習發(fā)展四要素為算法、算力、開發(fā)工具以及大規(guī)模的數(shù)據(jù)。在深度學習領域，成百上千個開源數(shù)據(jù)集覆蓋分類、檢測、跟蹤、自然語言等，極大地促進了深度學習的繁榮。相比之下，類腦數(shù)據(jù)集十分匱乏，現(xiàn)有的數(shù)據(jù)集主要包括四類：第一類是通過轉(zhuǎn)換算法將ANN數(shù)據(jù)集轉(zhuǎn)變?yōu)槭录盘枖?shù)據(jù)集，典型數(shù)據(jù)集包括基于ImageNet轉(zhuǎn)換而來的ES-ImageNet，基于UCF101轉(zhuǎn)化的事件信號數(shù)據(jù)集ES-UCF101，基于BDD100K轉(zhuǎn)化的事件信號數(shù)據(jù)集BDD100K-DVS等；
第二類是利用神經(jīng)形態(tài)相機DVS將圖像或視頻數(shù)據(jù)庫轉(zhuǎn)化為事件數(shù)據(jù)集，比如N-MNIST、CIFA10-DVS等數(shù)據(jù)集；第三類是通過神經(jīng)形態(tài)相機DVS直接拍攝獲取的數(shù)據(jù)集，比如DVS-Gesture、PKU-DDD17-CAR、Gen1 Detection、1Mpx Detection、PKU-DAVIS-SOD等；最后一類是其它類型的類腦數(shù)據(jù)集，比如EEG數(shù)據(jù)集、腦機接口(BCI)相關的數(shù)據(jù)集、幀數(shù)據(jù)和事件的混合數(shù)據(jù)等。類腦系統(tǒng)發(fā)展趨勢
最后，李國齊結合自己的思考總結了類腦計算的未來發(fā)展趨勢，并對類腦系統(tǒng)框架進行了總結。在模型算法方面，不僅可以通過增加模型參數(shù)、網(wǎng)絡深度或?qū)挾仁沟肧NN模型變大變強，更重要的提供向內(nèi)增加神經(jīng)元復雜程度的能力支撐，縮減神經(jīng)科學與人工智能之間存在的鴻溝。因此，構造包含更豐富動力學的神經(jīng)元模型、神經(jīng)網(wǎng)絡及對應的算法是未來的重要方向。
在類腦軟件方面，如何提升SNN的研究生態(tài)是未來發(fā)展的必經(jīng)之路，重要的方向包括神經(jīng)形態(tài)工具鏈的軟硬件去耦合、SNN訓練加速框架、及高效的神經(jīng)系統(tǒng)仿真和模擬等。在類腦數(shù)據(jù)方面，如何構建具備稀疏事件特征、具備豐富的時間尺度/空間尺度特征的大規(guī)模多模態(tài)混合數(shù)據(jù)集十分重要。在類腦芯片方面，主要關注神經(jīng)形態(tài)芯片如何進行更高效的感知、存儲和計算，如何構建融合感存算一體化的計算系統(tǒng)。研究更高效的芯片架構、研制更具有類腦元素的芯片功能也是未來發(fā)展的重要方向。芯片架構上可以探索類腦芯片的分層存儲體系、高效在線學習架構及其與其它硬件平臺的高效兼容能力；芯片功能上可以探索如何融入更多的算子支持比如微分方程、線性方程求解，以及如何在算子層面上支持更類腦的神經(jīng)元模型和網(wǎng)絡結構等。李國齊認為，類腦系統(tǒng)的總體框架包括類腦的模型、算法、軟件以及芯片，并結合豐富類腦數(shù)據(jù)構造的計算系統(tǒng)，在人工智能領域可以朝著高效云端/邊緣端類腦計算系統(tǒng)的構造方向發(fā)展，在腦科學領域可利用現(xiàn)有的超算服務器集群進行神經(jīng)動力學的仿真和模擬，構建更為復雜的腦仿真和神經(jīng)模擬系統(tǒng)。
2022年5月31日-6月2日，第四屆北京智源大會將在中關村國家自主創(chuàng)新示范區(qū)展示中心召開，并將同步向全球線上直播。
本站僅提供存儲服務，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內(nèi)容，請
點擊舉報。
