3月16日，PenguinSolutions宣布推出業(yè)界首款采用CXL技術(shù)的量產(chǎn)型KVCache服務(wù)器。這款服務(wù)器綜合了3TB的DDR5系統(tǒng)主內(nèi)存和8個1TB的CXL內(nèi)存AIC模塊，為AI推理負(fù)載提供合計11TB的海量內(nèi)存空間。PenguinSolutions指出，AI推理工作負(fù)載中，30%依賴于算力，而70%依賴于內(nèi)存，這一比例與模型訓(xùn)練/調(diào)優(yōu)有顯著不同。此外，延遲表現(xiàn)對推理場景的用戶使用體驗影響重大。

MemoryAIKVCache服務(wù)器旨在為AI推理系統(tǒng)提供更低的延遲、更短的首Token響應(yīng)時間、更高的吞吐量以及更高的XPU集群利用效率。這些特性使得服務(wù)器能夠持續(xù)滿足嚴(yán)苛的服務(wù)水平一致性要求，特別適合實時金融分析、海量數(shù)據(jù)集RAG、監(jiān)管合規(guī)性分析等需求大窗口和低延遲的企業(yè)級任務(wù)。