#HBM4 | 熱門關鍵字 | 鉅亨號 | Anue鉅亨

#HBM4

AI記憶體帳本：訓練、推理與Agent分別需要多少HBM和DRAM

一台AI伺服器很可能先用完記憶體，再用完算力。訓練把權重、啟動值和最佳化器同時堆進HBM；推理讓KV快取隨上下文和並行膨脹；Agent又把狀態佔用拉長到幾分鐘甚至更久。一、昂貴的GPU為什麼還會停下來等資料一台裝著高端GPU的伺服器開始工作後，資料會沿著一條很清楚的路徑移動。最熱的權重、啟動值和KV快取留在HBM，CPU正在處理的索引和工具狀態放在系統DRAM，更冷的會話與檢查點繼續下沉到CXL記憶體和SSD。任何一層供數太慢，GPU都只能等待。記憶體需求因此有四本帳。模型帳記錄權重和執行階段緩衝，訓練帳記錄梯度、最佳化器和啟動值，推理帳記錄每條會話的KV快取，系統帳則裝著資料集、索引、檢查點和工具狀態。四本帳會在同一台機器裡重疊，卻由完全不同的變數驅動。

SemiAnalysis--韓國為什麼要砸下近兆元做主權 AI

韓國正在把人工智慧基礎設施提升到國家級工程的高度。今年 7 月，韓國公佈了一項規模約 9190 億美元的投資計畫：到 2029 年建設 8.4GW 資料中心，到 2035 年進一步擴張至 18.4GW。第一階段由 SK 集團、GS 集團和 Naver 分別建設 5GW、2.4GW 和 1GW，SK 集團還將負責第二階段剩餘的 10GW。這個數字不只是資料中心行業的擴產計畫。它意味著，韓國正在為一件更大的事情準備基礎設施：在本國訓練、部署和控制自己的大模型。先用一場“國家聯賽”篩選模型

HBM技術路線之爭—HBM4、HBM4E到HBM5的軍備競賽

HBM的競爭，正在從"誰堆得更高、誰跑得更快"，升級為一場更深層次的"軍備競賽"——三星要把2nm GAA工藝塞進記憶體，SK海力士把基底晶片交給台積電3nm代工，美光則把HBM4E定義為"定製HBM時代的開端"。一個更深刻的轉變正在發生：記憶體廠商與邏輯晶片廠商的邊界，正在模糊。開篇：當記憶體開始"定製" 過去，HBM是一個"標準品"——三大廠按照JEDEC標準生產，誰參數高、良率好，誰就贏。但從HBM4開始，遊戲規則變了：基礎晶片（邏輯裸片）開始採用代工廠級邏輯工藝，可以承載客戶定製的邏輯電路。這意味著，輝達的HBM4和AMD的HBM4，在物理結構上將是不同的產品。記憶體晶片，這個曾經最"標準化"的半導體品類，正在走向"半定製"。

美光科技解讀AI記憶體牆：HBM4把瓶頸推向封裝、散熱與良率

美光科技這份面向AI的記憶體器架構演講，揭示了HBM的真實價值，也揭示了頻寬升級之後更難解決的製造約束。一、AI記憶體牆的含義：GPU越來越快，資料到達速度跟不上大模型擴展有一個樸素前提：模型規模、訓練資料和計算投入要同步增長。現實中，計算晶片的擴張速度最快，資料搬運系統的進步更慢。美光科技把這種差距畫成兩條曲線：計算性能約每2年增長3倍，HBM頻寬增速低於每2年2倍。差距持續累積後，系統性能開始由記憶體器決定。記憶體牆並不等於容量不夠。它包含頻寬、延遲、功耗、可靠性和物理封裝多重限制。訓練階段要不斷讀取權重、啟動值和最佳化器狀態；推理階段要載入模型參數、讀取KV Cache，並服務更多並行請求。GPU若在一個時鐘周期內可以執行更多運算，卻拿不到足夠資料，理論峰值與實際吞吐就會分離。

美光「記憶體牆」是需求到頂，還是 AI 速度太快？震為雷的三段承接法美光出現「記憶體牆」的市場說法，市場很容易把它直接翻譯成「AI 需求到頂」。但從產業結構來看，記憶體牆也可能代表另一件事：AI 運算速度提升後，資料供應在容量、頻寬、延遲、功耗、封裝與交付上，開始需要同步升級。需求增加與股價下跌並不矛盾。當市場原本已經把高成長預期反映在估值裡，任何供給擴張、產品轉換、交付瓶頸或獲利預期調整，都可能先造成價格修正。因此，今天不把美光單日跌幅直接等同於 AI 趨勢結束，也不把產業需求存在直接等同於股價必然上漲。 8 月 25 日的市場輸入顯示，加權指數下跌 461 點並跌破季線；美光下跌約 6%；外資賣超約 157.4 億元，投信逆勢買超約 30.5 億元；成交量縮至近四個月低位，VIX 約 15.85。這些數字是當日觀察值，不能延伸成後市預測，也不能只用單日法人方向替市場下結論。

AI記憶體需求的三段驗證法：看懂美光「記憶體牆」背後的承接力 Podcast Platforms - Flink by Firstory

震為雷的市場觀察：需求變速度，速度再變成交付，才算真正落地美光股價下跌、記憶體市場出現「記憶體牆」的說法，很多人第一時間會問：AI 需求是不是要降溫了？這一集，我們用震為雷的六個圖像，拆解市場聲量與真正承接之間的距離：岩上人提醒高期待需要基本面支撐；開花樹提醒單一好消息不等於長期成果；一文書對應消息、規格與交付條件；推車與車上文字，則提醒需求要經過技術、產能與執行，最後才會變成出貨與現金流。節目中也整理一套可以反覆使用的「需求、速度、交付」三段驗證法：先確認 AI 工作負載是否持續帶動需求，再看 HBM、頻寬、封裝與新技術是否跟得上，最後回到訂單、營收、毛利與現金流，確認需求是否真的完成交付。這套方法也能用在工作與家庭：遇到突發消息時，先確認事情本身，再辨識急迫程度與負責人，最後留下可驗收的結果與安全 buffer。想把每日市場資訊整理成自己的觀察紀律，可從這裡了解 MK 陪跑學苑： https://school.happy2brich.com/join-v2?utm_source=podcast&utm_medium=shownotes&utm_campaign=daily_podcast_20260825&utm_content=join_v2_cta [https://school.happy2brich.com/join-v2?utm_source=podcast&utm_medium=shownotes&utm_campaign=daily_podcast_20260825&utm_content=join_v2_cta] Podcast powered by Firstory.

三星&Rambus DRAM技術路線圖：3D DRAM、HBM4、MRDIMM、CXL、PIM五大方向全面突破！

過去我們討論DRAM，更多關注的是製程縮小、容量提升和成本下降，但到了AI時代，小編越來越明顯地感受到，DRAM真正的競爭已經不再只是“單顆晶片能做多大”，而是整個Memory System能不能跟上GPU算力增長的速度。當算力持續飆升，Memory Bandwidth、Latency、Power、Capacity以及Reliability正在同時成為系統瓶頸，傳統依靠1T1C Cell持續微縮的Scaling路線，也開始面臨越來越大的壓力。這篇文章，小編就結合Rambus與三星的這份系統級教學，帶大家看看未來DRAM將如何從單純的Device Scaling，走向3D DRAM、HBM4/4E、MRDIMM、CAMM/SOCAMM、CXL Memory以及PIM/PNM多路線平行演進，以及AI時代的記憶體競爭，為什麼正在從“DRAM晶片升級”全面邁向“Memory System重構”。一、這份材料真正想說明什麼？

三星HBM4良率飆至80%提前達標，Q3收入要翻兩倍，輝達Vera Rubin加速在望

三星HBM4的良率已從2月量產初期的不到60%攀升至80%，這一進展在HBM供應持續緊張的背景下尤為突出。良率提升的速度超出了三星最初的預期——公司原計畫在2026年底達成80%的目標，但工藝最佳化處理程序顯著提前。在技術層面，三星在熱壓非導電薄膜（TC-NCF）工藝上取得了關鍵突破。該工藝此前一直是三星HBM生產中的短板，如今已不再是瓶頸。另一個重要因素是HBM4所依賴的基礎1c DRAM——三星早在今年年初就將1c DRAM的良率推至80%以上，為HBM4的量產鋪平了道路。隨著良率改善，三星計畫在第三季度將HBM4收入提升兩倍以上，預計2026年下半年HBM4將佔其HBM總銷售額的60%以上。公司的目標是到年底將HBM市場份額提升至約38%，大致與其在整體DRAM市場中的份額持平。

三星HBM4良率破80%，這場HBM翻身仗剛剛打響

三星電子HBM4量產良率於8月初突破80%“黃金良率”門檻，較原定年末目標提前約四個月完成。六個月前，該產品量產初期良率尚不足60%。一、六個月跨越“黃金門檻”：從不足60%到80% 據韓媒8月9日報導，三星電子HBM4近期良率已達到80%。在半導體行業，80%良率也被稱作“黃金良率”，是一道關鍵拐點——達到該水平意味著缺陷率可控、產出穩定，具備盈利基礎。三星HBM4於2026年2月啟動量產，彼時，量產初期良率一度低於60%。僅用六個月，三星即將良率提升至80%。一位業內人士表示，三星電子最初設定的年終良率目標即為80%，但下半年量產規模提升後，工藝改善進度超出預期。