在人工智能技術(shù)飛速發(fā)展的當下，智源研究院再次成為行業(yè)焦點。近日，智源研究院在北京成功舉辦“悟界 ? Emu系列技術(shù)交流會”，會上，智源研究院院長王仲遠與多模態(tài)大模型負責人王鑫龍共同宣布，推出具有劃時代意義的Emu3.5多模態(tài)世界大模型，這一成果標志著人工智能從單一語言學習向多模態(tài)世界學習邁出了關(guān)鍵一步。

回溯至2024年10月，智源研究院便已發(fā)布全球首個原生多模態(tài)世界模型Emu3。該模型獨辟蹊徑，僅基于下一個token預測技術(shù)，無需依賴擴散模型或組合方法，便實現(xiàn)了圖像、文本、視頻的深度融合與統(tǒng)一處理。一經(jīng)問世，便在技術(shù)社區(qū)引發(fā)了廣泛關(guān)注和熱烈討論。

時隔一年，智源研究院再度發(fā)力，推出Emu3.5。此次升級，在“Next-Token Prediction”范式的基礎(chǔ)上，創(chuàng)新性地模擬人類自然學習方式，通過自回歸架構(gòu)實現(xiàn)了對多模態(tài)序列的“Next-State Prediction (NSP)”，從而賦予模型更強大的可泛化世界建模能力。王仲遠院長表示：“Emu3驗證了自回歸架構(gòu)在多模態(tài)理解與生成中的可行性，而Emu3.5則開啟了多模態(tài)Scaling的新篇章，為構(gòu)建更通用、能與物理世界交互的人工智能提供了堅實路徑?！?/p>

Emu3.5的訓練過程堪稱浩大，它基于超過10萬億token的大規(guī)模多模態(tài)數(shù)據(jù)，視頻數(shù)據(jù)訓練量時長實現(xiàn)了從15年到790年的驚人躍升，參數(shù)量也從8B提升至34B，充分展現(xiàn)了原生多模態(tài)Scaling范式的巨大潛力。在推理環(huán)節(jié)，Emu3.5更是創(chuàng)新性地提出了“離散擴散自適應”（Discrete Diffusion Adaptation，DiDA）技術(shù)，這一高效的混合推理預測方法，在不犧牲性能的前提下，將每張圖片的推理速度提升了近20倍，首次使自回歸模型的生成效率達到了頂尖閉源擴散模型的水平。

王鑫龍進一步介紹：“EMU3.5在原生多模態(tài)的大規(guī)模預訓練、大規(guī)模強化學習和高效推理方面均取得了突破，為多模態(tài)世界模型的發(fā)展指明了一條簡單易擴展的Scaling范式?！?/p>

值得一提的是，EMU3.5模型開始展現(xiàn)出學習現(xiàn)實世界物理動態(tài)與因果關(guān)系的強大能力，為探索通用世界模型奠定了堅實基礎(chǔ)。該模型具備三大顯著特點：一是從意圖到規(guī)劃，能夠理解高層級的人類意圖，如“如何制作一艘宇宙飛船”或“如何做咖啡拉花”，并自主生成詳細、連貫的多步驟行動路徑；二是動態(tài)世界模擬，能夠在統(tǒng)一框架內(nèi)無縫融合對世界的理解、規(guī)劃與模擬，預測物理動態(tài)、時空演化和長時程因果關(guān)系；三是可成為泛化交互基礎(chǔ)，其涌現(xiàn)出的因果推理和規(guī)劃能力，為AI與人類及物理環(huán)境進行泛化交互提供了關(guān)鍵的認知基礎(chǔ)。

在實際應用中，Emu3.5在多模態(tài)指導方面展現(xiàn)出卓越的時序一致性與步驟推理能力，使復雜任務(wù)的執(zhí)行過程更加清晰透明。同時，其多模態(tài)敘事能力也令人矚目，能夠圍繞任意主題生成沉浸式的故事體驗，激發(fā)無限想象力。該模型還具備跨場景的具身操作能力，能夠?qū)崿F(xiàn)泛化的動作規(guī)劃與復雜交互，并在世界探索中保持長距離一致性與可控交互，兼顧真實與虛擬的動態(tài)環(huán)境，實現(xiàn)自由探索與精準控制。

在圖文編輯領(lǐng)域，Emu3.5同樣表現(xiàn)出色。它既能通過自然語言實現(xiàn)任意指令的圖片編輯與時空變換，也能以精準、智能、可控且富有創(chuàng)意的方式完成文圖生成，使文字與視覺內(nèi)容的融合更加自然與高保真。在基準測試中，Emu3.5的表現(xiàn)更是超越了眾多知名的閉源模型，彰顯了其強大的技術(shù)實力。