亚洲精品,日韩av,亚洲国产一区二区三区亚瑟,玩弄寡妇丰满肉体,香蕉久久夜色精品升级完成,亚洲av无码成人精品区一区

  • 科技·商業(yè)·財經媒體
科技·商業(yè)·財經

奇富科技PrAd框架:大模型微調新方案,入選國際頂會EMNLP 2025

   時間:2025-08-28 01:34 作者:鐘景軒

在自然語言處理與人工智能技術的全球競技場上,一項源自中國企業(yè)的創(chuàng)新技術正引領著大模型高效微調的新風潮。奇富科技近期宣布,其在大模型微調領域的最新研究成果——針對解碼器架構語言模型的“提示自適應微調”(PrAd)技術,已被自然語言處理領域的頂級盛會EMNLP 2025 Findings接納發(fā)表。這一成就標志著中國科技企業(yè)在人工智能基礎科研領域的實力再次獲得國際權威認可。

EMNLP,即自然語言處理經驗方法會議,與ACL和NAACL并稱為NLP領域的三大旗艦會議,以其嚴格的評審流程和極低的接納率聞名于世,是全球NLP研究者展示最新成果、交流前沿思想的頂級舞臺。奇富科技此次的研究成果能夠入選,無疑是對公司長期以來在人工智能基礎研究與技術創(chuàng)新方面不懈努力的肯定。

隨著大語言模型在各行各業(yè)的應用日益廣泛,如何以高效且低成本的方式實現(xiàn)多任務適配成為了業(yè)界亟待解決的難題。傳統(tǒng)的全參數微調方法雖效果顯著,但所需計算和存儲資源龐大;而現(xiàn)有的參數高效微調方法,如提示微調和適配器微調等,又面臨著訓練不穩(wěn)定、推理延遲高以及序列膨脹等問題。

針對這些挑戰(zhàn),奇富科技的研究團隊開創(chuàng)性地提出了PrAd框架,專為解碼器架構的大模型設計。這一方法巧妙地將結構優(yōu)化與推理流程相結合,僅在預填充階段引入輕量級的適配器模塊對提示進行特征變換,而在解碼階段則保持模型原始結構不變,從而避免了額外的計算開銷。

PrAd框架在多個方面實現(xiàn)了突破性的進展:在訓練效率上,它無需增加輸入長度,初始化簡便,訓練穩(wěn)定性強,效果甚至超越了主流基線方法;在推理效率上,它僅在生成第一個標記時產生微小延遲,后續(xù)解碼過程無額外開銷,并支持多任務共享批推理,實測速度在多任務場景下較LoRA提升最高可達10倍以上;在運維成本上,它顯著降低了適配器管理規(guī)模和顯存占用,降幅可達50%,大大簡化了多任務模型的部署與批量推理流程。

實驗數據表明,PrAd在六項多樣化的NLP任務上均表現(xiàn)出色,與最優(yōu)方法相比毫不遜色甚至更勝一籌,同時在推理效率和資源利用率方面展現(xiàn)出顯著優(yōu)勢。這一技術尤其適用于金融領域,能夠滿足多任務、高并發(fā)、低延遲的復雜應用場景需求。

奇富科技首席算法科學家費浩峻對此表示:“PrAd不僅是我們團隊在技術研發(fā)上的一次重大突破,更是奇富‘以科技驅動金融服務創(chuàng)新’理念的生動實踐。我們致力于將大模型技術高效、可靠地應用于金融場景,推動金融行業(yè)的智能化升級。”

 
 
更多>同類內容
全站最新
熱門內容