近日，第九屆未來網(wǎng)絡(luò)發(fā)展大會組委會正式發(fā)布了《AI大模型跨域訓(xùn)練池化調(diào)度技術(shù)體系白皮書》，該報(bào)告深入探討了AI大模型跨域訓(xùn)練的關(guān)鍵挑戰(zhàn)，并提出了一套針對性的技術(shù)體系與實(shí)踐解決方案。

隨著AI技術(shù)的不斷發(fā)展，AI大模型領(lǐng)域呈現(xiàn)出新的趨勢。通用大模型由于參數(shù)量巨大、訓(xùn)練成本高昂，參與其中的企業(yè)和研究機(jī)構(gòu)逐漸減少。與此同時(shí)，DeepSeek等開源項(xiàng)目的推出，推動(dòng)了企業(yè)大模型的興起。這些企業(yè)大模型以“專而精”為特點(diǎn)，百億級參數(shù)即可滿足業(yè)務(wù)需求，且單次訓(xùn)練所需的算力資源相對較少，使得企業(yè)更傾向于租用算力資源。

然而，我國高端智能算力資源面臨著“少、雜、散”的困境。為了盤活存量算力、探索并網(wǎng)調(diào)度，國家出臺了《關(guān)于深入實(shí)施“東數(shù)西算”工程加快構(gòu)建全國一體化算力網(wǎng)的實(shí)施意見》。在此背景下，白皮書提出了“全局池化調(diào)度”的技術(shù)路線，專注于解決企業(yè)大模型在“異屬、異構(gòu)、異地”資源調(diào)度上的難題。

該技術(shù)體系構(gòu)建了“廣域確定性網(wǎng)絡(luò)+智算資源并網(wǎng)+算網(wǎng)協(xié)同調(diào)度”的三位一體架構(gòu)，實(shí)現(xiàn)了“異屬合訓(xùn)、異構(gòu)混訓(xùn)、異地同訓(xùn)”的目標(biāo)。具體而言，技術(shù)體系分為業(yè)務(wù)層、管控層、資源層。業(yè)務(wù)層負(fù)責(zé)接收訓(xùn)練任務(wù)，并將其轉(zhuǎn)化為標(biāo)準(zhǔn)描述，動(dòng)態(tài)拆分任務(wù)以適應(yīng)不同資源；管控層通過協(xié)同調(diào)度，打破資源邊界，實(shí)現(xiàn)算網(wǎng)存資源的智能匹配；資源層則整合異構(gòu)資源，為訓(xùn)練任務(wù)提供底層支撐。

在關(guān)鍵技術(shù)方面，異構(gòu)混訓(xùn)通過模型分層拆解和自適應(yīng)配置，使不同型號的GPU能夠高效協(xié)同工作；異地同訓(xùn)則借助計(jì)算通信重疊流水線和非阻塞GPU通信等技術(shù)，提升跨域訓(xùn)練的效率；異屬合訓(xùn)則通過多隊(duì)列協(xié)作和聯(lián)合搶占等機(jī)制，解決了跨主體資源調(diào)度的難題。

試驗(yàn)驗(yàn)證顯示，該技術(shù)體系在實(shí)際應(yīng)用中取得了顯著成效。在跨2000公里的廣域網(wǎng)環(huán)境下，訓(xùn)練效率達(dá)到了88.75%；廣域確定性網(wǎng)絡(luò)能夠有效抵御干擾流，性能下降幅度僅為2.56%；算網(wǎng)協(xié)同調(diào)度策略成功規(guī)避了低帶寬集群組合，提升了整體訓(xùn)練效率；計(jì)算通信重疊技術(shù)使跨域訓(xùn)練效率進(jìn)一步提升至94.26%；異構(gòu)芯片混合訓(xùn)練效率也達(dá)到了95.47%，并支持多流水線跨域訓(xùn)練。

白皮書的發(fā)布，標(biāo)志著我國在AI大模型跨域訓(xùn)練技術(shù)方面取得了重要進(jìn)展。未來，該技術(shù)體系將繼續(xù)以“全國一臺計(jì)算機(jī)”為目標(biāo)，推進(jìn)算力資源的泛在化、效率本地化與生態(tài)開放化，進(jìn)一步整合異構(gòu)資源，提升訓(xùn)練效率，為AI大模型在各行各業(yè)的廣泛應(yīng)用奠定堅(jiān)實(shí)基礎(chǔ)。