阿里云與北京大學(xué)聯(lián)合研發(fā)的GPU池化系統(tǒng)Aegaeon，在計(jì)算機(jī)系統(tǒng)領(lǐng)域頂會(huì)SOSP上引發(fā)行業(yè)震動(dòng)。該系統(tǒng)通過創(chuàng)新性的資源調(diào)度技術(shù)，成功將英偉達(dá)GPU需求量降低82%，這項(xiàng)突破性成果背后，是對(duì)云計(jì)算資源利用效率的深度重構(gòu)。
研究團(tuán)隊(duì)在阿里云Model Studio平臺(tái)的運(yùn)營中發(fā)現(xiàn)，17.7%的GPU資源被分配給僅處理1.35%請(qǐng)求的冷門模型，而這類長尾模型在779個(gè)統(tǒng)計(jì)樣本中占比高達(dá)94.1%，平均每秒請(qǐng)求量不足0.2次。傳統(tǒng)"一對(duì)一"的GPU分配模式導(dǎo)致兩種極端現(xiàn)象：冷門模型GPU長期閑置，熱門模型在突發(fā)流量時(shí)又因資源預(yù)留不足出現(xiàn)過載。
Aegaeon系統(tǒng)突破性地引入token級(jí)動(dòng)態(tài)調(diào)度機(jī)制，在生成每個(gè)token時(shí)實(shí)時(shí)判斷是否需要切換模型。這種"見縫插針"式的資源分配方式，使單個(gè)GPU可同時(shí)服務(wù)7個(gè)不同模型。通過組件復(fù)用技術(shù)減少80%的初始化開銷，顯式內(nèi)存管理消除碎片化問題，配合細(xì)粒度KV緩存同步機(jī)制，將模型切換時(shí)間從數(shù)十秒壓縮至1秒以內(nèi)。
在16塊H800 GPU組成的測試集群中，系統(tǒng)成功支撐了從60億到720億參數(shù)規(guī)模的模型服務(wù)。與ServerlessLLM、MuxServe等現(xiàn)有系統(tǒng)相比，Aegaeon的請(qǐng)求到達(dá)率提升2-2.5倍，有效吞吐量實(shí)現(xiàn)1.5至9倍增長。更關(guān)鍵的是，這套系統(tǒng)已在阿里云百煉平臺(tái)完成三個(gè)月生產(chǎn)環(huán)境驗(yàn)證。
實(shí)際部署數(shù)據(jù)顯示，系統(tǒng)服務(wù)47個(gè)不同規(guī)模模型（含28個(gè)18億-70億參數(shù)小模型和19個(gè)320億-720億參數(shù)大模型）期間，GPU利用率從13.3%-33.9%提升至48.1%，且未出現(xiàn)任何服務(wù)等級(jí)目標(biāo)（SLO）違規(guī)或中斷情況。這種資源利用效率的躍升，相當(dāng)于在相同計(jì)算能力下可處理9倍于前的業(yè)務(wù)量。
