中國科學院自動化研究所李國齊、徐波團隊近日宣布，與沐曦metaX聯(lián)合研發(fā)的類腦脈沖大模型“瞬悉1.0”（SpikingBrain-1.0）取得突破性進展。該模型基于原創(chuàng)內(nèi)生復雜性理論構建，在國產(chǎn)千卡GPU算力平臺上完成全流程訓練與推理，實現(xiàn)了超長序列處理效率的數(shù)量級提升，為非Transformer架構的大模型發(fā)展開辟了新路徑。

研究團隊指出，當前主流的Transformer架構大模型依賴Scaling law，通過擴大網(wǎng)絡規(guī)模、算力投入和數(shù)據(jù)量提升性能，但其計算單元采用簡化點神經(jīng)元模型，存在序列長度增加時訓練開銷平方級增長、推理顯存線性上升的缺陷，導致處理超長序列能力受限。針對這一問題，團隊提出“基于內(nèi)生復雜性”的架構設計，借鑒大腦神經(jīng)元內(nèi)部復雜機制，構建了脈沖神經(jīng)元動力學與線性注意力模型的數(shù)學關聯(lián)，發(fā)現(xiàn)現(xiàn)有線性注意力機制本質(zhì)上是樹突計算的簡化形式。

基于上述理論，團隊開發(fā)了具備線性復雜度（7B參數(shù)）和混合線性復雜度（76B參數(shù)，激活參數(shù)量12B）的類腦基礎模型。其中，SpikingBrain-1.0-7B已開源，76B版本提供測試網(wǎng)址，并同步發(fā)布中英文技術報告。模型適配國產(chǎn)沐曦metaX曦云C550 GPU集群，配套開發(fā)了高效訓練框架、Triton算子庫、模型并行策略及集群通信協(xié)議，形成完整的國產(chǎn)自主技術生態(tài)。

性能測試顯示，該模型在極低數(shù)據(jù)量下即可完成高效訓練，推理效率較傳統(tǒng)架構顯著提升，尤其在超長序列任務中表現(xiàn)突出。其動態(tài)閾值脈沖化稀疏機制可適應不同尺度計算需求，在法律/醫(yī)學文檔分析、多智能體模擬、高能物理實驗、DNA序列解析及分子動力學軌跡建模等場景中具有明顯效率優(yōu)勢。

據(jù)介紹，這是我國首次提出大規(guī)模類腦線性基礎模型架構，并首次在國產(chǎn)GPU集群上實現(xiàn)類腦脈沖大模型的訓練與推理框架。該成果不僅解決了脈沖驅(qū)動模型性能退化的關鍵問題，更為新一代人工智能提供了非Transformer架構的技術方案，同時為低功耗神經(jīng)形態(tài)計算理論及芯片設計提供了理論支撐。