DRAM供貨壓力和合約價格持續上漲,反映出生成式AI對高性能儲存的巨大需求。超大規模資料中心的擴張進一步加劇了這一壓力,目前資料中心已消耗全球DRAM產量的相當大一部分。
在本研究中,我們提出了一種新架構:光纖儲存器(Fiber Memory),它重新構想了光纖在超大規模資料中心中的作用,將其部署為一種主動式、循環延遲線儲存器,用於儲存不可變資料,例如大語言模型(LLM)權重。
我們提出了一種考慮光纖物理現實的資料平行光廣播延遲線儲存架構。通過結合空分復用多芯光纖(MCF:multiplexed multi-core fibers)、無源光分路放大介面、共封裝光學(CPO)和區域全光再生,我們的案例評估表明,與傳統的HBM3e配置相比,光纖儲存器可以消除10,000個AI加速器上的冗餘權重儲存,並將權重傳輸能耗降低超過70%。
引言與研究動機