各類記憶體在AI發展中的短缺邏輯

AI速讀
AI 算力競賽已將儲存需求推向新高度。目前最緊缺的是 HBM,其高級封裝產能已成算力生死瓶頸。隨後,AI 智能體與長文本需求將帶動高容量企業級 SSD 需求井噴,以解決 HBM 成本過高且容量不足的問題。長期而言,建置 AI 數據湖則依賴大容量 HDD。總結而言,儲存缺貨鏈由 HBM $\rightarrow$ SSD $\rightarrow$ HDD 依次遞減,決定了 AI 從「算得快」到「記得多」再到「有料可練」的演進邏輯。

用一句話直接回答:AI 當前最缺、產能拉得最緊、也最容易卡死算力的,是「HBM(高頻寬記憶體)」;但隨著 AI 發展到長文字與 Agent(智能體)階段,下一個迎來爆發式短缺的,是「高容量企業級 NAND(SSD)」。

如果要從 AI 發展的「階段」來看,缺記憶體的邏輯是動態演變的:

1. 第一階段(現階段最缺):HBM——算力的「生死瓶頸」

為什麼最缺? 在 AI 訓練和推理中,GPU 的算力提升得太快了,但普通 DRAM 的資料傳輸速度(頻寬)跟不上,導致 GPU 大部分時間都在「坐著等數據送過來」,這就是著名的「記憶體牆(Memory Wall)」。

  • 現狀:

SK 海力士、美光、三星等三大廠的 HBM 產能早已被輝達(Nvidia)等巨頭打包預訂光。

  • 瓶頸點:

缺的不是普通晶圓,而是高級封裝產能(如 TSMC 的 CoWoS 與 3D 堆疊技術)。造 HBM 非常耗費 DRAM 晶圓產能(生產 1 GB 的 HBM 消耗的晶圓是普通 DRAM 的 3 倍以上),因此 HBM 暴增直接拉動了整個半導體的產能告急。

💡 通俗比喻: 你的算力廚師(GPU)一秒鐘能炒 100 盤菜,但普通辦公桌(DRAM)一次只能放 2 盤菜,廚師只能乾等;只有 HBM 這張「超級大桌面」能一次塞 100 盤菜,所以全天下所有的 AI 廠商都在搶這張桌面。

2. 第二階段(正在爆發):高容量企業級 NAND(SSD)——上下文與 Agent 的「記憶庫」

隨著 AI 大模型從「短對話」走向「超長文字(Long Context)」以及「Agent 智能體(自動執行多步驟任務)」,NAND(SSD)缺貨的浪潮正迅速襲來

為什麼突然大缺?

  • KV Cache(注意力機制快取)塞爆 HBM:

大模型在處理 1,000 萬字長文字或進行長思考時,會產生龐大的中間運算記憶(KV Cache)。如果這些記憶全放在極度昂貴的 HBM 裡,成本會高到無法承受。

  • SSD 成為「硬碟級 HBM」:

業界(例如 Nvidia)開始推行把 HBM 裡不常用的上下文記憶,實時卸載(Offload)到極高速的企業級 SSD 裡。這導致數據中心對 32TB、64TB 甚至 128TB/256TB 的超大容量企業級 SSD 需求呈井噴式增長。

💡 通俗比喻: 超級大桌面(HBM)太貴了,放剛看完的幾百本書(超長 context)太奢侈,成本太高;廠商只好在桌面旁邊緊貼著擺放一排「超級快抽屜(超高速 Enterprise SSD)」,隨手把暫時用不到的記憶塞進抽屜裡。

3. 第三階段(未來儲備):大容量 HDD——AI 數據湖的「地基」

AI 大模型訓練需要吃掉全人類所有的文字、圖片和影片,而影片和高畫質素材的體積是幾百個 TB 起跳的。

  • 現狀:

雖然 HDD 讀寫慢,但單位 TB 的成本無人能敵

  • 短缺邏輯:

全球各大雲端巨頭(AWS、Azure、Google Cloud)為了建置存放原始訓練集的「AI 數據湖(Data Lake)」,在巨量冷數據的歸檔記憶體上,依然極度依賴 20TB–30TB+ 的企業級 HDD。一旦雲端巨頭大幅擴建數據中心,高階大容量 HDD 亦會面臨長期供不應求。

📌 總結:AI 記憶體缺貨鏈

如果按缺貨緊迫度獲利含金量排序:

HBM(最極致缺貨 / 算力剛需)} > 大容量企業級 SSD(AI 推理與長文字爆發) > 高階 HDD(冷數據基建)

缺 HBM 會讓 AI 算不出來;缺高容量 SSD 會讓 AI 記不住長對話且用不起;缺 HDD 則會讓 AI 沒米下鍋(缺少訓練素材)。 (吃胍交易員)