中國科學(xué)院自動化研究所科研團隊近日宣布，成功研發(fā)并發(fā)布全球首個基于國產(chǎn)GPU算力集群的類腦脈沖大模型——“瞬悉”1.0（SpikingBrain-1.0）。該模型通過創(chuàng)新性的“內(nèi)生復(fù)雜性”理論架構(gòu)，實現(xiàn)了在超長序列處理、訓(xùn)練效率及生態(tài)構(gòu)建等領(lǐng)域的多項突破，為人工智能發(fā)展開辟了低功耗、高效率的新路徑。

與傳統(tǒng)基于Transformer架構(gòu)的大模型不同，“瞬悉”1.0以脈沖神經(jīng)元為核心計算單元，首次提出大規(guī)模類腦線性基礎(chǔ)模型架構(gòu)，并完全依托國產(chǎn)GPU平臺完成全流程訓(xùn)練與推理。這一創(chuàng)新解決了脈沖驅(qū)動下模型性能退化的難題，使其在法律文檔分析、醫(yī)學(xué)影像處理、高能粒子物理實驗等超長序列任務(wù)中展現(xiàn)出顯著效率優(yōu)勢。例如，在DNA序列分析和分子動力學(xué)軌跡模擬場景中，模型的處理速度較傳統(tǒng)方法提升了數(shù)個數(shù)量級。

研發(fā)團隊負(fù)責(zé)人李國齊研究員介紹，模型通過動態(tài)閾值脈沖化策略與混合專家模型結(jié)合，實現(xiàn)了超過69%的稀疏度，長序列脈沖占比僅1.85%，大幅降低了計算資源消耗。在訓(xùn)練階段，模型僅需主流大模型2%的預(yù)訓(xùn)練數(shù)據(jù)量，即可在多任務(wù)語言理解、常識推理等任務(wù)中達(dá)到同等性能水平；推理階段則利用脈沖神經(jīng)元的事件驅(qū)動特性，將復(fù)雜度降至常數(shù)級別，顯存占用不隨序列長度增加而顯著上升。

技術(shù)突破體現(xiàn)在四大核心領(lǐng)域：其一，模型訓(xùn)練復(fù)雜度為線性或近線性，顯著提升長序列訓(xùn)練效率；其二，推理效率實現(xiàn)數(shù)量級提升，尤其適用于超長序列場景；其三，構(gòu)建了適配國產(chǎn)GPU集群的完整生態(tài)，包括高效訓(xùn)練框架、算子庫及并行策略；其四，通過多尺度稀疏機制降低能耗，為下一代神經(jīng)形態(tài)芯片設(shè)計提供了理論支撐。

對比主流Transformer模型，“瞬悉”1.0的優(yōu)勢在于突破了序列長度對計算資源的制約。傳統(tǒng)模型訓(xùn)練成本隨序列長度平方級增長，推理顯存占用線性增加，而“瞬悉”1.0通過脈沖神經(jīng)元的內(nèi)生動力學(xué)特性，將計算復(fù)雜度控制在線性范圍內(nèi)。研究團隊已公開模型代碼、測試平臺及中英文技術(shù)報告，并強調(diào)該架構(gòu)為構(gòu)建自主可控的非Transformer生態(tài)提供了可行性范本。

據(jù)悉，該模型的理論基礎(chǔ)源于對大腦神經(jīng)元工作機制的深度模擬。研究人員揭示，現(xiàn)有線性注意力機制本質(zhì)上是樹突計算的簡化形式，而“瞬悉”1.0通過建立脈沖神經(jīng)元與線性注意力的數(shù)學(xué)聯(lián)系，為模型復(fù)雜度與性能的同步提升指明了方向。這一成果不僅推動了類腦計算的發(fā)展，也為低功耗人工智能設(shè)備的落地應(yīng)用奠定了技術(shù)基礎(chǔ)。