記憶體直接疊在邏輯晶片上
最近在舉行Hot Chips 2026 大會，這是IEEE電氣與電子工程師協會每年舉辦的半導體行業頂級學術會議之一，與 ISSCC 並列為微處理器晶片設計領域最重要的會議。
今年的大會首日聚焦記憶體、HBM 與先進封裝技術，後兩日則覆蓋 CPU、GPU 及各類 AI 加速器的最新進展。包括輝達、AMD、英特爾、IBM、Google、微軟及 OpenAI 在內的行業巨頭均將登場進行技術分享。
本文主角AI 晶片初創公司 d-Matrix 公佈了一項名為“Raptor”的 3D DRAM 技術方案。該方案通過將計算邏輯晶片直接堆疊在 DRAM 之上，實現了接近 SRAM 的超高頻寬，同時功耗僅為傳統 HBM 的十分之一左右。
d-Matrix 是一家成立於 2019 年的矽谷 AI 晶片初創公司，總部位於加利福尼亞州聖克拉拉，距離輝達總部僅三英里。d-Matrix 由 Sid Sheth 和 Sudeep Bhoja 共同創立。兩位創始人均有深厚的半導體行業背景，曾在高速互聯晶片公司 Inphi 擔任高管，而 Inphi 於 2020 年被 Marvell 以 100 億美元收購。Sheth 此前還曾在英特爾參與奔騰處理器的研發工作，而 Bhoja 則曾在博通的基礎設施與網路部門擔任領導職務。
2019 年，當整個 AI 晶片行業還在圍繞訓練 GPU 進行競爭時，Sheth 和 Bhoja 判斷推理將成為 AI 計算領域最大的機會。他們的核心觀點是：推理的瓶頸不在算力，而在“記憶體牆”上，也就是計算單元與記憶體之間的資料傳輸延遲和功耗。
為此，d-Matrix 開發了名為“數字存內計算”（DIMC）的架構，將矩陣乘法運算直接放在記憶體單元內執行。其首款推理加速器 Corsair 採用 SRAM 作為片上記憶體，宣稱在與輝達 Blackwell GPU 配合使用時，可將推理速度提升 10 倍、功耗降低至五分之一。在 Corsair 的基礎上，d-Matrix 開始向更高頻寬的 3D DRAM 方案演進——這便是此次在 Hot Chips 2026 上展示的 Raptor 項目。
目前，人工智慧大語言模型參數規模持續膨脹，以及 KV Cache 隨上下文長度和批次大小激增，AI 推理正面臨嚴峻的“記憶體牆”瓶頸。當前業界主要依賴兩種記憶體技術：SRAM 和 HBM。
SRAM 速度極快、延遲極低，但容量難以擴展，且成本是 HBM 的百倍以上；HBM 雖能提供大容量，但在頻寬和功耗上已逼近物理極限。d-Matrix 指出，要實現 100 TB/s 的頻寬，HBM 方案僅記憶體本身的功耗就將高達約 1.92 kW。
鑑於現在人對於PC知識非常匱乏，SRAM的概念基本沒有，簡單介紹一下SRAM。SRAM就是“快取記憶體”，比DRAM記憶體更快，更金貴。它正常來說都是直接內建在CPU、GPU晶片內，而我們熟知的3D V-Cache，也是SRAM。
Raptor 3D DRAM 的核心思路，是通過改變晶片的物理堆疊方式來打破這一困局。不同於 HBM 將 DRAM 堆疊放在處理器旁邊、通過較長的物理層（PHY）和矽中介層互聯，Raptor 是將邏輯晶片直接面對面堆疊在定製的 DRAM 之上。d-Matrix 稱，這種“去 PHY 化”的毫米級垂直互聯路徑，將 I/O 能效大幅最佳化至 0.3 至 0.37 pJ/bit，僅為 HBM4 的約十分之一。
Raptor 最終的設計目標，是每個加速器配備 32GB 的 3D DRAM 容量，並提供 超過 100 TB/s 的記憶體頻寬。雖然容量不及動輒上百 GB 的 HBM 系統，但 Raptor 瞄準的是生成式 AI 推理中頻寬需求最迫切的自回歸解碼階段，即每次生成新 Token 都需要高速訪問模型權重和 KV Cache。
在面積效率上，Raptor 的優勢更為突出。據 d-Matrix 對比，其方案可實現每平方毫米 32.6 GB/s 的頻寬密度，而對比的 HBM 方案僅為 1.5 GB/s 左右。功耗方面，Raptor 的能效約為 每 GB/s 2.96 mW，遠低於 HBM 的 40 mW。
當然，將數百瓦功耗的計算晶片直接堆疊在溫度敏感的 DRAM 之上，散熱是 Raptor 需要解決的核心難題。d-Matrix 表示，通過將單次堆疊的功耗密度控制在 0.5W/mm² 以下，可採用液冷方案將 DRAM 溫度維持在 100°C 以下。
Raptor 3D DRAM在頻寬和能效之間找到了一個新平衡點。不過，作為一個初創公司展示的新方案，距離商用落地，應該還有相當長的時間要走。(AMP實驗室)