過去我們討論DRAM，更多關注的是製程縮小、容量提升和成本下降，但到了AI時代，小編越來越明顯地感受到，DRAM真正的競爭已經不再只是“單顆晶片能做多大”，而是整個Memory System能不能跟上GPU算力增長的速度。

當算力持續飆升，Memory Bandwidth、Latency、Power、Capacity以及Reliability正在同時成為系統瓶頸，傳統依靠1T1C Cell持續微縮的Scaling路線，也開始面臨越來越大的壓力。

這篇文章，小編就結合Rambus與三星的這份系統級教學，帶大家看看未來DRAM將如何從單純的Device Scaling，走向3D DRAM、HBM4/4E、MRDIMM、CAMM/SOCAMM、CXL Memory以及PIM/PNM多路線平行演進，以及AI時代的記憶體競爭，為什麼正在從“DRAM晶片升級”全面邁向“Memory System重構”。

一、這份材料真正想說明什麼？

這是一份非常系統的DRAM技術教學，它並不是單純討論“DRAM製程還能縮小多少”，而是從DRAM Cell、Architecture、Interface、Memory Controller、PHY、Buffer、Module、HBM、CXL、PIM/PNM到RAS，重新審視AI時代整個Memory System面臨的Scaling問題。

二、AI時代真正的瓶頸，正在從Compute轉向Memory

報告首先給出了整個教學最重要的背景，Compute性能增長速度遠快於Memory和Network。

隨著CPU/GPU FLOPS不斷提升，Memory Bandwidth與Memory Latency的改善速度明顯跟不上，導致Memory Wall越來越嚴重。

報告明確指出Memory和Network正在成為越來越大的系統性能瓶頸。

也就是說，未來AI/HPC系統的問題已經不只是GPU夠不夠快？而是資料能不能足夠快、足夠低功耗地送到GPU？

這也是為什麼DRAM在AI時代的重要性被重新放大。

三、DRAM真正的性能不能只看“晶片本身”

報告提出了一個非常重要的觀點，Memory System遠遠不只是DRAM。

CPU訪問DRAM的資料路徑實際上是 CPU Core →Memory Controller→PHY→PCB / Interconnect→Buffer Chip→DRAM Interface→DRAM Core

所以使用者最終看到的Memory Latency，並不等於DRAM Cell本身的Latency。

報告指出，DRAM自身產生資料大約需要18–38ns，但實際系統中的Memory Access Latency可能遠遠高於這個數字。原因就在於Memory Controller Scheduling、Queueing、PHY、Buffer、Signal Flight Time、Rank Switching等大量額外延遲。

尤其當Memory Bandwidth Utilization接近極限之後，Queueing Delay會迅速增加。

所以未來DRAM性能競爭，本質上正在從“Memory Device競爭”升級為“Memory System競爭”。

四、DRAM Scaling正在遭遇“容量、性能、成本”三重矛盾

DRAM最基本的記憶體單元仍然是1T1C即1 Transistor + 1 Capacitor。

幾十年來，DRAM提高容量最重要的方法就是不斷縮小Cell。

但Cell越小，Storage Capacitor越難做。因為DRAM讀取本質上依賴Cell Capacitor與Bit Line之間的Charge Sharing。Cell縮小之後：

Capacitance下降→Sensing Margin下降→Leakage影響變大→Retention與Reliability惡化

與此同時，如果為了提高Density而擴大MAT/Subarray，又會增加Bit Line寄生電容，從而進一步降低Sensing Margin。

因此DRAM正在遇到一個非常典型的Scaling矛盾，Cell越小越有利於成本和容量，卻越來越不利於Signal Margin和Reliability。

五、DRAM Core Latency已經越來越難Scaling

報告還有一個非常值得關注的判斷，DRAM Core Timing長期以來改善並不明顯。

原因在於DRAM訪問必須經歷Activate→Charge Sharing→Sense Amplification→Read/Write→Precharge這些物理過程。

而Bit Line越長Parasitic Capacitance越大 → Delay越高。

因此包括tRCD、tRAS、tRP、tRC等核心Timing參數，很難像CPU Clock Frequency那樣持續快速提升。

這意味著一個非常重要的趨勢，DRAM外部介面越來越快，但DRAM內部Core並沒有同步變快。

於是為了匹配越來越高的IO Data Rate，只能不斷增加Burst Length、Bank Parallelism、Prefetch、Channel數量。這也是現代DRAM架構越來越複雜的底層原因。

六、“One Size Fits All”的DRAM時代正在結束

報告非常強調，不同市場需要完全不同的Memory。

雖然DDR、LPDDR、GDDR、HBM本質上都使用1T1C DRAM Cell，但它們在Interface + Packaging + Power + Bandwidth + Capacity + RAS方面已經走向完全不同的路線。

比如：

DDR：追求Capacity、RAS、可維護性，主要服務Server。

LPDDR：追求Low Power、低Idle Power和快速Sleep/Wake，主要服務Mobile。

GDDR：追求極高Per-pin Data Rate。

HBM：追求極高Aggregate Bandwidth和Energy Efficiency。

所以未來Memory Scaling已經不能簡單理解為DDR6取代DDR5。更準確的趨勢應該是Memory Architecture越來越碎片化、專用化。

七、HBM正在成為AI/HPC最重要的高頻寬Memory

AI/HPC對Memory Bandwidth的需求，使HBM成為整份報告重點討論的技術路線。

報告給出的HBM4e架構達到2048 DQ，最高資料率16Gbps，理論頻寬最高4.1TB/s。而HBM能夠實現如此高頻寬，並不是單純提高Pin Speed，而是走“更多IO + 更短距離”的路線。這點非常重要。

報告明確指出，HBM4/4e相比HBM3e繼續把DQ從1024 → 2048同時通過TSV + Base Die + Silicon Interposer建立超寬平行介面。

所以HBM的底層哲學不是Few Pins × Extremely High Speed而是Massive I/O × Moderate Speed × Short Reach

八、HBM真正解決的是“Data Movement Energy”

為什麼AI如此需要HBM？因為未來計算系統最大的功耗之一，就是Moving Data

報告給出的HBM2案例中，62.6%的Memory System Power與Data Movement相關。

其中包括SoC PHY Power：33.3%以及DRAM Interface + Channel IO：29.3%。

而且報告指出，高速Memory Interface甚至可能消耗SoC 40%以上Power Budget。

所以HBM真正重要的地方不只是“頻寬更高”，而是通過把Memory搬到Processor附近，用Short Reach + Wide I/O降低每Bit資料搬運的Energy。

這實際上也是HBM → 2.5D → 3D Stacking → PIM/PNM整條技術路線共同的底層邏輯。

九、但HBM也開始遭遇新的Scaling瓶頸

HBM並不是無限Scaling。隨著HBM3E → HBM4 → HBM4E繼續發展，會同時遇到Thermal、Power、Capacity、Bandwidth Scaling、Packaging Complexity、Cost等問題。

尤其HBM需要TSV、μ-bump、Base Die、Silicon Interposer、2.5D Packaging以及複雜的Power Integrity和Thermal Management。

所以未來HBM繼續Scaling，本質上已經不僅是DRAM問題，而是DRAM + Logic + TSV + Advanced Packaging + Thermal + Power協同最佳化問題。

這也是HBM越來越“半導體系統化”的原因。

十、3D DRAM可能成為DRAM Cell Scaling之後的下一條路線

這份報告後半部分非常值得關注的一點，是開始討論3D DRAM

傳統DRAM本質上仍然是平面Cell Array。

當2D Cell Scaling越來越困難之後，未來一個非常自然的方向就是從XY方向繼續縮小，轉向Z方向堆疊。

這和NAND從2D NAND走向3D NAND的邏輯非常類似。

報告甚至把未來3D DRAM與傳統DRAM、STT-MRAM、ReRAM、3D NAND等技術進行了比較，並估計3D DRAM未來可能實現>100 Cell Layers，相對傳統DRAM >4× Capacity，同時相對Cost/bit可能降至<0.25。

更關鍵的是，報告最後給出的判斷非常直接“For now, the future of DRAM is still DRAM.”也就是說，雖然MRAM、ReRAM等Emerging Memory一直被認為可能挑戰DRAM，但從報告的判斷來看下一代DRAM最大的競爭者，很可能還是“3D化之後的DRAM自己”。

十一、Server DRAM正在從RDIMM走向MRDIMM

除了HBM，報告重點討論的另一條路線是MRDIMM（Multiplexed Rank DIMM）

它解決的問題非常明確，如何在不改變Commodity DRAM速度的情況下，提高CPU側Memory Bandwidth？答案就是Memory Buffer / MDB。

MRDIMM在Host Side以2× DRAM Data Rate與CPU通訊，而DRAM Side仍然保持1× Data Rate。

例如報告給出的路線：

Gen 1：8.8GT/s

Gen 2：12.8GT/s

並且Gen 3已經在推進。

這代表未來Server Memory一個非常重要的趨勢，DRAM Die本身不一定需要同步提速，可以通過Buffer Chip和Module Architecture繼續Scaling系統頻寬。

十二、CAMM / SOCAMM：用LPDDR進入伺服器

報告還討論了另一個很有意思的方向 LPDDR-Based CAMM / SOCAMM

傳統Server主要使用DDR RDIMM。但AI伺服器越來越關注Power Efficiency + Capacity + Bandwidth Density。

因此LPDDR開始進入Server。報告認為LPDDR CAMM的優勢包括Lower Power、Higher Capacity、無需TSV的Multi-die Package、以及更容易適配Liquid Cooling Server。

但代價則是RAS能力較弱以及Heavy-load下Per-pin Speed可能下降。

這再次說明未來Memory沒有絕對最優解，只有針對Workload的Trade-off。

十三、CXL正在把Memory從“CPU私有資源”變成“系統級資源”

AI時代另一個非常重要的問題是Memory Capacity不足。尤其LLM Inference中Model Weight相對固定，但KV Cache ∝ Batch Size × Context Length

因此隨著Batch Size和Context Window增加，KV Cache很容易超過GPU HBM Capacity。

所以未來AI伺服器不能只依賴GPU + HBM。還需要DDR / LPDDR、CXL Memory、Fabric Attached Memory組成更大的Memory Pool。

報告因此提出CXL Memory Module（CMM-D）用於Capacity Expansion、Bandwidth Expansion、Memory Pooling、Memory Sharing。

於是Memory開始從CPU/GPU旁邊固定安裝的硬體走向可組合、可池化、可共享的Data Center Resource。

十四、Memory Hierarchy正在從“三層”走向“多層”

過去的Memory Hierarchy非常簡單 SRAM Cache→DRAM→SSD/HDD

但報告認為未來會變成 SRAM / Custom SRAM→On-Package HBM / LPDDR→Off-Package DDR / LPDDR / GDDR→CXL / NVLink / UALink Attached Memory→SSD

也就是說Memory Hierarchy正在變得越來越複雜。未來不同層級會分別針對Latency、Bandwidth、Capacity、Power、Cost進行最佳化。

所以DRAM未來不是被某一種Memory取代，而是被重新分佈到不同Memory Tier中。

十五、PIM / PNM：下一步不只是“把Memory搬近Compute”，而是“把Compute搬近Memory”

如果說HBM解決的是Bring Memory Closer to Compute，那麼PIM/PNM解決的就是Bring Compute Closer to Memory，原因還是Data Movement。

報告指出，LLM性能的一個重要上限來自System Memory Bandwidth

而Von Neumann Architecture的問題就在於Processor和Memory分離→大量資料不斷來回搬運→Bandwidth Bottleneck + Energy Consumption。

因此PIM（Processing-In-Memory）把計算單元放進Memory Chip，而PNM（Processing-Near-Memory）把計算單元放在Memory附近，目標都是Minimize Data Movement。

十六、PIM/PNM真正難的不是“做出來”，而是商業化

報告對此也非常謹慎。

PIM/PNM雖然理論優勢明顯，但真正產業化仍然面臨PPA、JEDEC/OCP/CXL標準化、Cache Coherency、Memory Request Ordering、RAS、Software Stack、Application Ecosystem等問題。

所以未來Near-Memory Computing並不是單純Memory廠商自己就能推動的。

報告明確提出需要System + Processor + Memory + Software四方協同。

這實際上也是AI時代Memory產業越來越系統化的重要體現。

十七、Reliability正在成為AI Memory的新核心指標

AI時代還有一個過去經常被忽略的問題RAS——Reliability、Availability、Serviceability

報告引用Llama 3 405B訓練資料，在54天、16K GPU運行過程中出現419次非計畫中斷，其中約78%被確認與Hardware Issue有關而GPU Memory是第二大中斷來源。

因此隨著AI Cluster從幾百GPU → 幾千GPU → 幾萬GPU發展單顆DRAM極低機率的錯誤，在系統級會變成高機率事件。

所以On-die ECC、System ECC、Chipkill、Error Detection、Silent Data Corruption Detection會越來越重要。

十八、RowHammer / RowPress仍然是DRAM Scaling的重要隱患

隨著DRAM Cell越來越小，Cell之間的Electrical Interaction也越來越嚴重。

其中最典型的就是RowHammer / RowPress。更麻煩的是ECC並不能解決所有問題。

報告指出，一個RowHammer Attack可能同時在多個DRAM中造成多個Bit Flip，超過ECC能夠糾正的範圍。

最終可能導致Uncorrectable Error甚至Silent Data Corruption（SDC）。所以未來DRAM Scaling不能只考慮Density，還必須把Security + Reliability一起納入Cell Architecture設計。

十九、未來DRAM競爭，本質上是六個指標之間的Trade-off

整篇報告反覆強調的其實不是某一個技術，而是Trade-off。

未來Memory必須同時考慮Bandwidth、Capacity、Latency、Power、RAS、Cost而這些指標之間很多時候是互相矛盾的。

例如：

LPDDR降低Power → Latency和RAS可能犧牲

HBM提高Bandwidth → Packaging Cost與Thermal Complexity上升

提高Capacity → Signal Integrity和Latency變差

降低Voltage → Noise Margin下降

縮小Cell → Sensing Margin與Reliability惡化

報告明確指出，低功耗並不是“免費的”：降低電壓、縮短Reach、採用High-Vt器件、縮小Subarray等方案都會帶來Data Rate、Latency、Capacity Scaling或設計複雜度上的代價。因此未來不會存在一種DRAM同時把所有指標做到最好。

二十、未來Memory產業的技術路線已經非常清楚

把整份報告串起來，可以看到一條非常完整的演進路線：

傳統2D DRAM Cell Scaling越來越困難

↓

3D DRAM向Z方向擴展Density

↓

DDR → MRDIMM提升Server Bandwidth

↓

LPDDR → CAMM/SOCAMM進入AI Server

↓

HBM3E → HBM4/HBM4E提升AI頻寬

↓

Custom HBM / 3D Stacked HBM繼續提升Bandwidth Density

↓

CXL Memory擴大Capacity並實現Pooling/Sharing

↓

PIM / PNM降低Data Movement

↓

ECC / RAS / RowHammer Mitigation提升大規模AI系統可靠性

最終Memory System從過去簡單的CPU + DDR變成CPU/GPU + HBM + DDR/LPDDR + MRDIMM/CAMM + CXL Memory + PIM/PNM

這才是這份報告真正描繪的未來Memory Architecture。

🏁 小編總結

我認為這份報告最值得關注的，其實是它給出了一個非常重要的產業判斷：

未來DRAM不是一條路線，而是“三個Scaling”同時發生：

第一：Device Scaling
2D DRAM → Vertical/3D DRAM，解決Density與Cost/bit。

第二：Interface & Packaging Scaling
DDR → MRDIMM、HBM4/4E、CAMM/SOCAMM，解決Bandwidth與Power。

第三：System Architecture Scaling
CXL Memory + Memory Pooling + PIM/PNM，解決Capacity、Data Movement和AI系統效率。

而且即便STT-MRAM、ReRAM、3D NAND等新型記憶體不斷發展，報告最終仍然給出了非常直接的判斷：“For now, the future of DRAM is still DRAM.”

這句話基本就是整份報告的點睛之筆：DRAM真正的下一代，不一定是“替代DRAM的新記憶體器”，而很可能是被3D化、HBM化、模組化、池化以及計算化之後的DRAM本身。 (芯聯匯)