隨著記憶體技術的不斷進步，3D DRAM堆疊、高kDRAM電容和SRAM輔助技術等創新，不斷拓展這兩種記憶體類型的邊界，新興的替代方案如MRAM、ReRAM和eDRAM也取得了一些進展，但SRAM和DRAM依然是當今高性能計算系統的基石。SRAM（靜態隨機存取儲存器）依賴六電晶體（6T）雙穩態鎖存器，只要供電，資料即可不更新保存。其主要優勢包括極低的延遲、高讀寫穩定性和可預測的性能，但代價是密度。每個位單元有多個電晶體，SRAM佔用的面積顯著增加，因此適合更小、高性能的記憶體塊。DRAM（動態隨機存取儲存器）採用1電晶體+1電容（1T1C）結構，實現更高的位元密度和更低的位元成本。這使得DRAM成為大容量系統記憶體的首選技術。其侷限在於電容器本身的電荷洩漏，需要持續刷新。刷新周期會帶來延遲、增加功耗，並使系統級時序管理更加複雜。從上面的對比圖可以看出，SRAM位於金字塔上層（暫存器、L1-L3 快取），特點是延遲低、性能高，但容量小、單位成本高；DRAM位於金字塔中層（主存），容量更大、單位成本更低，但延遲高於 SRAM。 (銳芯聞)

用於 AI 訓練和推理的叢集架構正在推動資料中心基礎設施支出空前的增長，但它們也對 HPC（高性能計算）架構產生了反射性的有益影響。這得益於為 AI 項目獲取資金相對容易，以及升級現有 HPC 系統以進行傳統模擬和建模的需求。本周，SC25 超級計算大會的第一天以 Hyperion Research 公司的傳統早餐會拉開序幕。Hyperion Research 剛剛完成了 2024 年 HPC 市場的考察，目前正在整理 2025 年的資料，並更新其對未來直到本十年末的預測。Earl Joseph 和 Mark Nossokoff 介紹了傳統的 HPC 市場及其人工智慧增強（AI augmentation），以及它的本地部署（on-premises）和雲部署模型；Bob Sorensen 則對量子計算市場進行了深入分析。我們稍後將單獨跟進量子計算分析，現在先聚焦於結合了 AI 增強的 HPC 市場和傳統 HPC 市場。從最高層面來看，根據 Hyperion 的資料，全球在過去三年中最廣泛的 HPC 支出情況以及未來五年內的預測如下：順便提一下，當 Hyperion 談論混合 HPC-AI 市場時，它並非簡單地將傳統 HPC 與整個 AI 市場相加。相反，它仔細梳理了 HPC 領域的所有交易，找出其中用於 HPC 功能的部分，以及用於加入到 HPC 應用中的 AI 功能的部分。這指的是 AI 增強的科學和技術計算，而不是由超大規模廠商、雲服務商和模型建構者建立的更一般的生成式 AI（GenAI） 內容。考慮到這一點，Hyperion 認為，2024 年，本地部署的 HPC-AI 系統推動了 503.9 億美元的收入，比 2023 年增長了 22.9%；而云端 HPC-AI 系統容量推動了 95.4 億美元的銷售額，增長了 4.9%。兩者相加，整個 HPC-AI 市場的總銷售額達到 599.3 億美元，增長了 23.5%——這遠遠高於過去十年左右該市場 7% 到 8% 的歷史平均增長率。展望 2025 年，Hyperion 認為，整體 HPC-AI 市場（包括所有類型的消費模式）將帶來 589.63億美元的收入，比 2024 年增長 17%，其中雲消費為 123.8 億美元，本地部署系統為 577.5 億美元。這些數字包括 HPC-AI 系統的硬體、軟體和服務，而不僅僅是伺服器。（我們稍後會討論這一點。）正如您從上圖所見，HPC-AI 支出的增長預計會略微放緩，但在本十年結束前，仍將保持在每年 7% 到 8% 歷史平均增長率的兩倍左右。讓我們對此進行一些細分。首先，我們來看看 HPC-AI 系統支出是如何按產品類別劃分的。Hyperion Research 在今年的早餐演示中沒有提供此類資料的隨時間變化細分，但提供了一個 2024 年細分情況的餅圖快照：上面的這個餅圖結合了分析師 Earl Joseph 和 Mark Nossokoff 提供的兩張圖表。其中一個值得注意的地方是，雲端運算消費模式終於在 HPC 領域獲得了一些關注，在 2024 年 HPC-AI 產品的 599.3 億美元支出中佔比 15.9%。（圖表顯示是 15%，但更接近 16%。）但同樣值得關注的是，雲端支出中有 30% 用於儲存，相比之下，本地 HPC-AI 中心支出中只有 21.7% 用於儲存。雲端儲存支出為 28.6 億美元，而計算（內含網路）支出為 66.8 億美元，計算與儲存的比例為 2.33:1。對於本地 HPC-AI 支出，計算（253.3 億美元）與儲存（上述 66.8 億美元）的比例為 3.77:1。本地 HPC-AI 中心比其雲端對應物更側重計算。目前尚不清楚這意味著什麼。雲端計算的成本通常比本地計算（分攤到四到五年）要昂貴得多。也許雲端使用者已經找出在更短的時間內運行更多核心以降低其計算成本的方法，從而縮小了計算和儲存支出之間的差距？服務仍然是 HPC-AI 預算中相當大的一部分——主要用於系統的安裝、維護以及系統軟體的技術支援——而軟體仍只佔 5%，是一個相對較小的份額。再深入瞭解一下 HPC-AI 市場的計算部分，Hyperion 是如何劃分主要用於 HPC 和主要用於 AI 的裝置銷售額的——在這兩種情況下，傳統 HPC 模擬和建模必須是總體工作負載堆疊中具有代表性的一部分，才能計入支出總額。請看：如您所見，傳統 HPC 收入在 2023 年出現了一點衰退，部分原因是 HPC 系統製造商的產品生命周期時機，部分原因是 GenAI 繁榮來襲以及每個人試圖弄清楚其含義時的短暫觀望。但根據 Hyperion 的資料，傳統 HPC 裝置的銷售在 2024 年反彈，並且在未來直到 2029 年的預測中都呈略微上升趨勢。然而，在 2027 年年中左右的某個時候，以 AI 為中心的硬體（超過 50% 的工作負載是 AI 任務）的銷售額將超過 以 HPC 為中心的硬體（超過 50% 的工作負載是 HPC 任務）。隨著時間的推移，由於 AI 功能被注入到 HPC 應用程式中，這種區分將變得越來越難以界定，更不用說量化了。與此同時，根據 Joseph 的說法，HPC-AI 系統的銷售額在去年相當不錯，並且在 2025 年上半年實現了非常好的增長。以下是按供應商劃分的 HPC-AI 伺服器銷售收入細分（第二列的單位是美元）：這些資料是針對本地部署的 HPC-AI 伺服器的，您會注意到兩件事。首先，是“非傳統供應商”的收入，Hyperion 所指的正是我們所稱的原始設計製造商（ODMs），以區別於原始裝置製造商（OEMs）。這些 ODM 公司根據規格設計 HPC-AI 硬體，最初是作為超大規模廠商和雲服務商的供應商起步的，因為這些公司不想為他們的機器支付 OEM 溢價。他們根本負擔不起這樣做並保持盈利。我們不清楚這個名單中具體有那些 ODM，但我們認為其中很多公司在台灣和中國大陸開展業務，有趣的是，它們合計獲得的 HPC-AI 伺服器收入幾乎與慧與（Hewlett Packard Enterprise，HPE）一樣多。慧與在經過多年對 Compaq、SGI 和 Cray 的收購後，顯然是這個市場的領導者。正如您所預料，戴爾（Dell） 在 HPC-AI 領域排名第二，這可能會令人驚訝，因為在通用伺服器市場中，就伺服器收入流而言，戴爾的規模遠大於 HPE。在 HPC-AI 系統方面，價格區間的分佈尚算合理，但中端市場是最弱的，這在過去幾十年中通常如此：對我們來說，這是很奇怪（指奇特，而非好笑）的——當我們看到人工智慧巨頭正在安裝的那些巨型系統時，從系統價格區間來看，什麼構成了“領導力”HPC-AI 機器。Hyperion 表示，一台領導力 HPC-AI 機器——我們仍然認為它是一台超級電腦——的成本在 1.5 億美元或更多，一台超級電腦的成本技術上介於 [空缺] 之間（譯註：原文資料空缺），但超大規模廠商、雲服務商和模型建構者正在以千兆瓦（GW）的倍數來衡量自身，在這些場景中，1 GW 的處理能力大約花費 500 億美元，而輝達從中獲得約 350 億美元。超大規模廠商和雲服務商（以及他們的模型建構客戶）帳面上約有 6000 億美元的資料中心資本支出，這大致相當於 12 千兆瓦的電力。最近 Top500 排行榜上的四台百億億次級（exascale-class）超級電腦——成本約為 5 億至 6 億美元——在運行高性能 LINPACK 基準測試時，功耗在 15.8 兆瓦到 38.7 兆瓦之間。（該基準測試用於給出它們在最新榜單上的 Top500 排名。）此外，2024 年整個 HPC-AI 伺服器收入流大約只能覆蓋 500 兆瓦的“AI 工廠”容量。話雖如此，正如美國能源部（US Department of Energy, DOE）在去年十月宣佈的九台新超級電腦所證明的那樣，對 HPC-AI 系統的投資正在加速。關於這些機器的細節有點稀缺，但看起來它們將更像是 DOE 實驗室租用的 Oracle 雲基礎設施（Oracle Cloud Infrastructure, OCI）的 HPC-AI 前哨站，而不是像幾十年來那樣直接購買的系統。轉向雲模式意味著 HPC-AI 收入將隨著時間推移趨於穩定，但也意味著它們將平均化，而不是波動性很大。我們目前所知道的是，Hyperion 表示，2025 年上半年整體 HPC-AI 市場增長了 22%，這與 2024 年看到的 23.5% 增長率非常接近。 (半導體行業觀察)

這份報告來自三星封裝業務團隊，發佈於2024年，共26頁。報告探討了半導體行業面臨的成本增加、性能瓶頸和記憶體頻寬限制等問題，並提出通過異構整合（如高頻寬記憶體HBM、3D邏輯堆疊和扇出封裝）來驅動創新，比如三星的Advanced Package (AVP) 平台解決方案，覆蓋HPC、AI、移動應用等多個領域，旨在實現更高的I/O密度、能效和系統性能。報告主要結構後摩爾時代的挑戰和解決方向三星AVP平台解決方案異構整合生態系統關鍵資訊摘選三星AVP平台解決方案和路線圖此部分是文件主體，細分多個子章節，針對不同應用或技術，包括HBM-TCB技術，3D邏輯堆疊技術，I-Cube，移動AI和AP，低功耗寬I/O記憶體等。報告提到了三星的獨特技術，如HBM領域的超薄混合NCF材料和CoW鍵合機，#D邏輯堆疊方面的溫度曲線控制和材料相容性工藝等。異構整合生態系統報告討論了生態系統合作，強調三星AVP平台與合作夥伴的協同，解決技術挑戰。三星全球研發中心擁有新加坡LAB（未來技術開發）、日本LAB（材料和裝置）、美國LAB（設計和行銷），提供多門戶研發合作。（銳芯聞）