在云計算日益成為互聯(lián)網(wǎng)企業(yè)業(yè)務運行重要支柱的當下，如何高效管理和優(yōu)化云資源成本，成為了行業(yè)內(nèi)普遍面臨的挑戰(zhàn)。近日，在QCon全球軟件開發(fā)大會（北京站）上，小紅書混合云資源管理負責人梁啟成，分享了小紅書在云成本優(yōu)化領域的實踐經(jīng)驗，詳細闡述了他們?nèi)绾瓮ㄟ^技術創(chuàng)新，實現(xiàn)資源使用效率的大幅提升，進而節(jié)省數(shù)億成本。

小紅書自2013年成立以來，便與云計算結下了不解之緣，從最初的站點部署，到后來大規(guī)模使用EMR產(chǎn)品，再到跨云環(huán)境下的異地多活容災建設，小紅書的云計算之旅可謂豐富多彩。目前，小紅書在公有云上的資源規(guī)模已達到千萬核CPU和萬張GPU卡的級別，每天處理的云產(chǎn)品賬單金額巨大。

面對如此龐大的云資源體量，小紅書在成本優(yōu)化方面遇到了諸多難題，如成本增速過快、成本歸屬不清晰、缺乏有效的成本控制手段等。為了破解這些難題，小紅書借鑒了FinOps框架的解題思路，從成本洞察、成本優(yōu)化和成本運營三個方面入手，進行了一系列探索和實踐。

在成本洞察方面，小紅書遇到了資源使用現(xiàn)狀不清、成本構成不明等問題。為了解決這些問題，小紅書啟動了技術商品化項目，通過對自研中臺產(chǎn)品進行產(chǎn)商品上架管理，實現(xiàn)了內(nèi)外賬的分離。這一舉措不僅讓公司能夠看清成本并實現(xiàn)精細化運營，還明確了采購、中臺技術和業(yè)務技術各方的權責，提高了協(xié)作效率。

在成本優(yōu)化方面，小紅書針對CPU和GPU兩類算力資源進行了重點優(yōu)化。對于CPU資源，小紅書通過在線業(yè)務混部、大VM小Pod策略等方式，提升了資源使用效率。他們發(fā)現(xiàn)，內(nèi)存訪問延遲的差異是導致CPU利用率分層的關鍵因素，因此通過優(yōu)化虛擬機資源分配、避免跨NUMA節(jié)點和跨Socket分配等方式，解決了CPU利用率分層和抖動問題。同時，通過混部策略，讓VM上運行的業(yè)務更加豐富多樣，多業(yè)務混跑，減少了資源共振導致的抖動。

對于GPU資源，小紅書則在內(nèi)容大模型方向進行了降本增效實踐。他們通過替換數(shù)據(jù)存儲格式、增加數(shù)據(jù)加速層、自動調(diào)參、模型量化和知識蒸餾等方式，降低了GPU資源的使用成本。例如，在模型量化方面，他們利用FP8低精度格式進行后訓練加速，實現(xiàn)了訓練效率的大幅提升。在知識蒸餾方面，他們通過將大模型的知識傳授給小模型，降低了模型的復雜性和計算資源需求。

梁啟成表示，小紅書在云成本優(yōu)化方面的實踐探索取得了顯著成效。通過多部門協(xié)同踐行FinOps理念，從成本洞察、成本優(yōu)化和成本運營三個方面入手，小紅書實現(xiàn)了資源使用效率的大幅提升和成本的有效控制。未來，小紅書將繼續(xù)深化AI for FinOps的實踐探索，利用AI技術更好地進行成本優(yōu)化和成本洞察。