有預測稱，計畫於明年實現商業化的下一代 NAND 快閃記憶體產品——高頻寬快閃記憶體 (HBF)，將在大約 10 年內超越高頻寬儲存器 (HBM) 市場，而 HBM 是人工智慧半導體的核心元件。2月3日，韓國科學技術院（KAIST）電氣電子工程系金正浩教授在首爾中區新聞中心舉行了“HBF研究內容和技術開發戰略簡報會”，並強調“隨著人工智慧的思考和推理能力變得重要，以及從文字介面向語音介面的過渡，所需的資料量必將呈爆炸式增長”。他解釋說：“如果說中央處理器（CPU）是個人電腦時代的核心，低功耗是智慧型手機時代的關鍵，那麼記憶體就是人工智慧時代的核心。”他還補充道：“HBM決定速度，HBF決定容量。”HBF是一種通過垂直堆疊NAND快閃記憶體來顯著提升容量的記憶體，主要用於長期儲存，與HBM類似。因此，近年來NAND快閃記憶體在半導體行業的重要性日益凸顯。隨著人工智慧代理服務的擴展，作為長期記憶的“鍵值”（KV）快取的作用也日益增強。過去，HBM承擔著這一角色，但越來越多的觀點認為，NAND快閃記憶體更適合承擔這一角色。在本次簡報會上，由被譽為“HBM之父”的金教授領導的KAIST TeraLab介紹了當前人工智慧技術的發展趨勢和記憶體路線圖。金教授是HBM基本概念和結構的構思者和設計者，HBM是韓國率先在全球範圍內成功實現商業化的核心人工智慧半導體技術。當天，金教授公佈了採用HBF的下一代記憶體架構。他展示了多種架構，其中包括一種在GPU兩側分別安裝4個HBM和4個HBF，總容量為96GB HBM和2TB HBF的架構；以及另一種架構，其中兩排分別安裝8個HBM和8個HBF，以處理更大的容量。金教授強調說：“HBM 將作為書架，HBF 將作為圖書館。”他補充道：“在書架上，您可以立即取出並查看您需要的書籍；而在圖書館裡，即使速度慢一些，您也可以一次查看更多的書籍。”金教授預測，由於HBM單靠自身無法滿足爆炸式增長的需求，業界勢必會採用HBF。目前的架構是將最多兩個圖形處理器（GPU）垂直連接，並在GPU旁邊安裝HBM來處理運算；而未來，通過將HBM和HBF結合使用，可以消除容量限制。金教授預測，“當CPU、GPU和記憶體有機地結合在單個基本晶片上的MCC（記憶體中心計算）架構完成時，所需的HBF容量將進一步增加”，並且從2038年起，HBF的需求將超過HBM。金教授表示：“我們正在與三星電子、SK海力士、閃迪等公司就HBF進行技術交流，並與AMD、Google、輝達等潛在客戶公司保持聯絡。”目前，三星電子、SK海力士和閃迪等全球企業正在加速HBM的研發。金教授認為，韓國國內企業佔據了更有利的地位。閃迪目前只專注於NAND快閃記憶體，而三星電子和SK海力士則同時具備HBM和封裝能力。他表示：“未來10到20年，隨著結構性變革的推進，韓國有望在人工智慧電腦領域佔據領先地位。”他補充道：“而HBM正是實現這一目標的基石。”具體來說，SK 海力士正在開發 HBF，目標是明年實現量產；而 SanDisk 於去年 7 月成立了 HBF 技術諮詢委員會。在今年的CES 2025上，NVIDIA也提出了一種解決NAND快閃記憶體瓶頸的方案，即直接連線據處理單元（DPU）和固態硬碟（SSD），將KV快取（即推理過程中積累的先前對話上下文）儲存在大容量SSD中，而不是HBM中。金教授強調，需要通過與NVIDIA、Google和AMD等大型科技公司合作來搶佔市場。金教授表示：“由於HBF工藝與現有的HBM工藝幾乎相同，最終將演變成一場技術速度的競賽。”他補充道：“對於全面商業化而言，那些服務會採用這項技術至關重要。”金教授認為，“繼 HBM 之後，韓國記憶體製造商也必須在 HBF 領域主動出擊，以免在人工智慧市場失去影響力”，並補充道，“以記憶體為中心的人工智慧時代即將到來”。兩大巨頭，挺進HBF隨著人工智慧市場轉向推理，三星電子和SK海力士正在開發高頻寬快閃記憶體（即所謂的高頻寬記憶體的擴展），儘管它們在人工智慧記憶體競賽的下一階段的策略有所不同。由於 HBM 現在是 AI 晶片的關鍵元件，這兩家韓國儲存器製造商正尋求在下一代儲存器周期中搶佔先機。一位要求匿名的業內人士表示：“由於需求疲軟和價格下跌，NAND 市場一直處於低迷狀態，但 HBF 一旦實現商業化，可能會在人工智慧資料中心開闢新的需求基礎。”據業內人士周三透露，三星電子和SK海力士在HBF（高頻寬快閃記憶體）領域採取了不同的策略。SK海力士堅持以HBM為核心的戰略，同時將基於NAND的HBF定位為一種補充解決方案。相比之下，三星則被視為正在重新定義這項技術在更廣泛的AI記憶體和儲存架構重組中的角色。HBM專為超高速計算而設計。而HBF則作為大規模資料儲存和高效傳輸的支撐層。它的速度約為HBM的80%到90%，容量卻是HBM的8到16倍，功耗卻降低了約40%。對於大型AI訓練和推理伺服器而言，HBF被廣泛認為是能夠緩解HBM瓶頸的“中層記憶體”。其主要優勢在於處理能力。HBM優先考慮處理速度，而HBF可以在更低的成本下實現高達10倍的處理量擴展，使其成為解決HBM價格和處理能力雙重限制的理想選擇。從結構上看，HBF 是通過堆疊多層 NAND 快閃記憶體製成的，類似於 HBM 由堆疊式 DRAM 構成。第一代產品預計將堆疊 16 層 32GB 的 NAND 快閃記憶體，總容量約為 512GB。SK海力士在上周的財報電話會議上表示，正在開發HBF作為HBM的延伸技術。這家晶片製造商計畫明年開始量產HBF，並正與SanDisk合作開發下一代基於NAND快閃記憶體的儲存器以及相關的國際標準化工作。SK海力士的核心研發方向是AIN B，這是一種採用堆疊式NAND快閃記憶體的頻寬增強型設計。該公司正在探索將HBF與HBM結合使用的方案，以幫助彌補人工智慧推理系統中的容量限制。此外，SK海力士還通過與全球科技公司合作以及參與開放計算項目（OCP）的活動來拓展其生態系統。與此同時，三星電子正著力推進人工智慧記憶體和儲存架構的全面革新。在近期舉辦的全球儲存盛會上，該公司概述了人工智慧基礎設施的需求——包括性能、容量、散熱和安全性——並推出了一種整合記憶體和儲存的統一架構。三星正利用其晶圓代工部門的邏輯設計和工藝專業知識，研究如何提高下一代基於 NAND 的解決方案的控制性能和電源效率。業內觀察人士認為，三星此舉旨在圍繞人工智慧推理環境重塑下一代記憶體和儲存格局（包括 HBF）。另一位要求匿名的業內人士表示：“隨著人工智慧需求的持續增長，記憶體市場的重心正迅速從傳統的DRAM和NAND轉向高頻寬產品。”“未來兩到三年內，領導地位的競爭可能會加劇，尤其是在 HBF 和第六代 HBM4 等技術方面，這些技術將成為未來資料中心基礎設施的關鍵組成部分。”據證券公司預測，HBF市場規模將從2027年的10億美元增長到2030年的120億美元。HBF能夠在提升頻寬的同時擴展容量，因此被視為滿足人工智慧資料中心日益增長的需求的關鍵技術。不過，考慮到HBM（於2015年開發）用了七到八年時間才獲得市場認可，HBF也可能面臨漫長的發展階段。即便如此，分析師指出，NAND快閃記憶體行業似乎正處於更廣泛變革的早期階段。韓國科學技術院電氣工程學院教授金鐘浩（Kim Joung-ho）是 HBM 基本結構和概念的先驅，他周三在首爾舉行的新聞發佈會上表示，從 2038 年開始，對 HBF 的需求將超過對 HBM 的需求。“當以記憶體為中心的計算架構（其中 CPU、GPU 和記憶體有機地整合在單個基本晶片上）完全實現時，對 HBF 的需求量將顯著增加，”Kim 說。業內人士預計，輝達的新平台將採用HBF技術。這位教授強調，繼HBM之後，三星和SK海力士等韓國記憶體製造商也必須在HBF領域佔據領先地位，才能保持在全球人工智慧市場的影響力。 (半導體芯聞)
