華為技術(shù)有限公司近日在人工智能領(lǐng)域取得重要突破，其申請(qǐng)的"AI模型運(yùn)行方法、裝置及相關(guān)介質(zhì)"專利正式對(duì)外公布。這項(xiàng)創(chuàng)新技術(shù)聚焦于解決異構(gòu)計(jì)算環(huán)境下AI模型運(yùn)行效率的瓶頸問題，通過優(yōu)化數(shù)據(jù)傳輸機(jī)制顯著降低處理延遲。

專利技術(shù)核心在于構(gòu)建新型數(shù)據(jù)預(yù)取體系。在傳統(tǒng)架構(gòu)中，當(dāng)AI模型處理第二批次數(shù)據(jù)時(shí)，若檢測(cè)到新類型數(shù)據(jù)，系統(tǒng)需臨時(shí)從主機(jī)內(nèi)存調(diào)取相關(guān)嵌入向量，導(dǎo)致計(jì)算卡出現(xiàn)等待狀態(tài)。這種數(shù)據(jù)搬運(yùn)與計(jì)算過程的串行執(zhí)行模式，嚴(yán)重制約了異構(gòu)系統(tǒng)的整體效能。

華為提出的解決方案通過三步協(xié)同機(jī)制實(shí)現(xiàn)突破：首先由主機(jī)處理器對(duì)相鄰數(shù)據(jù)批次進(jìn)行差異分析，精準(zhǔn)識(shí)別新增數(shù)據(jù)類型；隨后系統(tǒng)將對(duì)應(yīng)嵌入向量預(yù)加載至本地高速緩存；最終在計(jì)算卡處理新數(shù)據(jù)時(shí)，通過預(yù)生成的向量索引實(shí)現(xiàn)嵌入式數(shù)據(jù)的并行傳輸。這種設(shè)計(jì)使數(shù)據(jù)準(zhǔn)備與計(jì)算操作得以同步進(jìn)行。

該技術(shù)特別適用于處理器與計(jì)算卡協(xié)同工作的主機(jī)系統(tǒng)。在機(jī)器學(xué)習(xí)場(chǎng)景下，輸入數(shù)據(jù)通常采用分批次處理模式。通過建立前瞻性的數(shù)據(jù)預(yù)取機(jī)制，系統(tǒng)能夠提前預(yù)判計(jì)算需求，將數(shù)據(jù)搬運(yùn)對(duì)計(jì)算資源的占用時(shí)間壓縮至接近零的水平。實(shí)驗(yàn)數(shù)據(jù)顯示，該方案可使整體處理延遲降低30%以上。

據(jù)專利文件披露，這項(xiàng)創(chuàng)新屬于機(jī)器學(xué)習(xí)基礎(chǔ)架構(gòu)領(lǐng)域，其價(jià)值不僅體現(xiàn)在效率提升，更在于為大規(guī)模AI模型訓(xùn)練提供了更優(yōu)的硬件利用方案。通過消除計(jì)算卡等待時(shí)間，系統(tǒng)資源利用率得到顯著改善，為實(shí)時(shí)性要求高的AI應(yīng)用開辟了新的技術(shù)路徑。