OpenAI終于有了新動(dòng)作,盡管萬眾期待的GPT-5并未如期而至,但公司帶來了一份別樣的驚喜——兩個(gè)全新的開源語言模型。
這一消息對(duì)于AI社區(qū)而言,無疑是一劑強(qiáng)心針。自GPT-2之后,OpenAI已經(jīng)很久沒有開源新的模型了。據(jù)內(nèi)部人士透露,關(guān)于模型開源的討論在OpenAI內(nèi)部已經(jīng)持續(xù)了一段時(shí)間,甚至數(shù)次接近實(shí)現(xiàn),但直到近日才正式對(duì)外公布。
此次OpenAI一次性開源了兩個(gè)推理模型,它們均具備強(qiáng)大的實(shí)際應(yīng)用性能,并且具有顯著的低成本優(yōu)勢(shì)。據(jù)OpenAI首席執(zhí)行官Sam Altman介紹,這兩個(gè)模型的性能與o4-mini相當(dāng),更令人驚訝的是,其中較大的模型甚至可以在高端筆記本電腦上運(yùn)行,而較小的模型則能在手機(jī)上流暢使用。
這兩個(gè)開源模型一經(jīng)發(fā)布,就引起了海外AI社區(qū)的廣泛關(guān)注。眾多開發(fā)者紛紛下載嘗試,以至于Hugging Face的服務(wù)器一度面臨崩潰的風(fēng)險(xiǎn)。這兩個(gè)模型也已經(jīng)上線亞馬遜云科技Amazon Bedrock和Amazon SageMaker AI,用戶可以直接使用。
在技術(shù)細(xì)節(jié)上,這兩個(gè)開源模型采用了Transformer架構(gòu),并結(jié)合了專家混合(MoE)技術(shù),以減少處理輸入所需的活躍參數(shù)數(shù)量。同時(shí),它們還采用了交替密集和局部帶狀稀疏注意力模式,以及分組多查詢注意力等技術(shù),以提高推理和內(nèi)存效率。在訓(xùn)練過程中,OpenAI結(jié)合了強(qiáng)化學(xué)習(xí)和內(nèi)部最先進(jìn)模型的訓(xùn)練技術(shù),使得這兩個(gè)模型在核心推理基準(zhǔn)測(cè)試上表現(xiàn)出色。
在安全性方面,OpenAI對(duì)這兩個(gè)開源模型進(jìn)行了全面的安全訓(xùn)練和評(píng)估測(cè)試,并基于自身的準(zhǔn)備框架測(cè)試了對(duì)抗性微調(diào)版本,引入了額外的評(píng)估層。從結(jié)果來看,這兩個(gè)模型在內(nèi)部安全基準(zhǔn)測(cè)試中的表現(xiàn)與OpenAI的前沿模型相當(dāng)。
OpenAI還與AI Sweden、Orange和Snowflake等早期合作伙伴合作,了解這兩個(gè)開源模型在現(xiàn)實(shí)應(yīng)用中的情況,包括將它們托管在本地以確保數(shù)據(jù)安全,以及在專業(yè)數(shù)據(jù)集上進(jìn)行微調(diào)。這些合作伙伴的反饋將進(jìn)一步推動(dòng)這兩個(gè)模型在實(shí)際應(yīng)用中的優(yōu)化和改進(jìn)。
在性能評(píng)估方面,OpenAI在標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)上對(duì)比測(cè)試了這兩個(gè)開源模型與OpenAI推理模型的表現(xiàn)。結(jié)果顯示,這兩個(gè)開源模型在編程、競(jìng)賽數(shù)學(xué)、醫(yī)療和智能體工具使用等方面均表現(xiàn)出色,甚至在某些領(lǐng)域超越了o4-mini等專有模型。
這兩個(gè)開源模型還支持“低、中、高”三檔推理強(qiáng)度調(diào)節(jié),開發(fā)者可以根據(jù)具體用例和延遲需求輕松設(shè)置,實(shí)現(xiàn)延遲與性能的平衡。它們還具備完整的思維鏈(CoT)能力,即模型可以展示其推理過程,從而更便于開發(fā)者進(jìn)行調(diào)試并增強(qiáng)對(duì)輸出的信任。
對(duì)于國內(nèi)開源模型而言,這兩個(gè)OpenAI開源模型的發(fā)布無疑帶來了新的挑戰(zhàn)和機(jī)遇。它們的高性能和低成本優(yōu)勢(shì)將推動(dòng)國內(nèi)開源模型在技術(shù)和應(yīng)用上的進(jìn)一步發(fā)展。同時(shí),國內(nèi)開發(fā)者也可以從這些開源模型中汲取靈感和經(jīng)驗(yàn),不斷提升自身的技術(shù)水平和創(chuàng)新能力。