8 月 16 日消息,據(jù)“中國科學院自動化研究所”消息,該所李國齊、徐波研究團隊聯(lián)合清華大學、北京大學等借鑒大腦神經(jīng)元復雜動力學特性,提出了“基于內(nèi)生復雜性”的類腦神經(jīng)元模型構(gòu)建方法,改善了傳統(tǒng)模型通過向外拓展規(guī)模帶來的計算資源消耗問題,為有效利用神經(jīng)科學發(fā)展人工智能提供了示例。相關研究論文今日在線發(fā)表于《自然?計算科學》(Nature Computational Science)。
附研究主要內(nèi)容:
據(jù)介紹,本研究首先展示了脈沖神經(jīng)網(wǎng)絡神經(jīng)元 LIF(Leaky Integrate and Fire)模型和 HH(Hodgkin-Huxley)模型在動力學特性上存在等效性,進一步從理論上證明了 HH 神經(jīng)元可以和四個具有特定連接結(jié)構(gòu)的時變參數(shù) LIF 神經(jīng)元(tv-LIF)動力學特性等效。基于這種等效性,團隊通過設計微架構(gòu)提升計算單元的內(nèi)生復雜性,使 HH 網(wǎng)絡模型能夠模擬更大規(guī)模 LIF 網(wǎng)絡模型的動力學特性,在更小的網(wǎng)絡架構(gòu)上實現(xiàn)與之相似的計算功能。

▲神經(jīng)元和神經(jīng)網(wǎng)絡的內(nèi)生復雜性與外部復雜性(圖源中國科學院自動化研究所,下同)
進一步,團隊將由四個 tv-LIF 神經(jīng)元構(gòu)建的“HH 模型”(tv-LIF2HH)簡化為 s-LIF2HH 模型,通過仿真實驗驗證了這種簡化模型在捕捉復雜動力學行為方面的有效性。
實驗結(jié)果表明 HH 網(wǎng)絡模型和 s-LIF2HH 網(wǎng)絡模型在表示能力和魯棒性上具有相似的性能,驗證了內(nèi)生復雜性模型在處理復雜任務時的有效性和可靠性。同時,研究發(fā)現(xiàn) HH 網(wǎng)絡模型在計算資源消耗上更為高效,顯著減少了內(nèi)存和計算時間的使用,從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結(jié)果進行了解釋。

▲模型框架
本研究為將神經(jīng)科學的復雜動力學特性融入人工智能,為構(gòu)筑人工智能與神經(jīng)科學的橋梁提供了新的方法和理論支持,為實際應用中的 AI 模型優(yōu)化和性能提升提供了可行的解決方案。目前,研究團隊已開展對更大規(guī)模 HH 網(wǎng)絡,以及具備更大內(nèi)生復雜性的多分支多房室神經(jīng)元的研究,有望進一步提升大模型的計算效率與任務處理能力,實現(xiàn)在實際應用場景中的快速落地。
相關論文:
Network model with internal complexity bridges artificial intelligence and neuroscience廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,所有文章均包含本聲明。





京公網(wǎng)安備 11011402013531號