「我認為十年以後,NAND Flash和HBF的市場需求,可能會比HBM還要大。」
「冷卻技術會成為三星和SK海力士之間的性能差異來源。」
“HBM、HBF,甚至其他高帶寬記憶體器,未來都會變成一棟棟『百層大樓』。最上面再放上GPU,進行冷卻。這樣的3D半導體結構,幾乎必然會成為未來AI計算機的架構。這是我現在的判斷。
其中最難的技術之一,就是供電。因為你要供應幾千安培的電流。未來最難的,可能就是電源供應網絡的設計。這會成為真正的技術壁壘。”
記憶體是2026年資本市場最喧囂的敘事。
7月10日,$SK海力士 (000660.KR)$以265億美元登陸納斯達克,創下外國公司在美上市的最大規模紀錄。僅僅三天後,它在韓國市場創下單日暴跌15%的歷史紀錄,三星同日跌超10%,拋售蔓延至美股,$美光科技 (MU.US)$、$閃迪 (SNDK.US)$、$西部數據 (WDC.US)$無一倖免。
訂單端卻是另一番景象,美光的HBM產能已賣空到2027年,$鎧俠 (285A.JP)$2026年全年NAND產出在1月就被訂完。
股價的劇烈分歧面前,回到技術源頭,不妨聽聽一個在技術設計上做了30多年的人怎麼講。
金正浩,韓國科學技術院(KAIST)教授,業界稱他為「HBM之父」,領導的TERA Lab主導HBM設計技術二十餘年,2010年起直接參與商用化設計,2025年發佈了從HBM4到HBM8、覆蓋至2040年的路線圖。
1993年金正浩在密歇根大學拿到博士學位,用雷射在飛秒尺度測量世界上最快的電信號,導師是2018年諾貝爾物理學獎得主傑哈·穆胡。30年後,AI時代的數字電路提速到皮秒甚至飛秒級別,「我30年前做的東西,現在反而全都派上了用場。」
在7月初《東亞日報》這場訪談裡,金正浩有幾個判斷值得投資人細讀。
1、10年後NAND Flash和HBF的市場需求可能會比HBM大;
2、AI能力最終是由記憶體器能力決定的。他把AI數據中心直接叫作「記憶體器工廠」,並主張把CPU、GPU放進HBM裡面;
3、定製化HBM會打破記憶體器周期。其以客戶的長期採購協議為開發前提,市場變成賣方市場;
4、HBM、HBF、HBS層層堆疊,到那時,電源供應網絡和冷卻技術會變得極其重要。
需要注意下他的立場,畢竟身為韓國人和記憶體技術專家,金正浩對於三星和海力士的樂觀聽下來確實有點滿滿當當。當然,他也講到風險,包括中國記憶體企業的競爭力,以及美國本身技術的追趕和客戶訂單的其他考量,都會對兩家企業產生很大影響。
至於記憶體股價,他把自己留在能力圈內,直言「股價預測不是我的領域」。
但技術的底層邏輯和發展路線,講得非常清晰。值得認真一聽!
聰明投資者整理了這場對話的全文,分享給大家。
01、HBM的真正爆發是在ChatGPT出現之後
主持人我們可能得先從HBM講起。其實HBM真正開始量產、被大規模採用,也就是最近兩年左右的事情?
金正浩準確地說,HBM3是這樣。
但HBM1其實從2010年代初就開始了。當時SK海力士已經參與進來,GPU這一邊則有$輝達 (NVDA.US)$和AMD。
所以,HBM1大概是在2010年代初開始的。只不過那時候主要還是用在顯卡上。
主持人你拿到博士學位是在1990年代,對吧?
金正浩沒錯。
主持人但你很早就開始研究後來被稱為HBM的東西了。
金正浩是的。我是在1993年拿到博士學位的。當時我的研究方向其實更接近物理學。
我做的是一種測量儀器,用來測量世界上最快的電信號,是用雷射來測的。
我的導師幾年前還拿了諾貝爾物理學獎。
那個時候,我做的設備可以在飛秒級別觀察現象。所謂飛秒,就是連光都幾乎像靜止了一樣的極端時間尺度。我們用雷射去觀察那個尺度下發生的事情。
而今天進入AI時代以後,因為需要處理的數據實在太多,數字電路的運行速度已經快到皮秒,甚至飛秒級別。
所以我三十年前讀博士時做的東西,現在反而全都派上了用場。
不過,當時博士階段研究的領域太窄、太深了。我這個人性格上又希望和現實世界多一點連接,不想只活在一個特別狹窄的學術領域裡。
也不知道當時怎麼想的,我覺得未來記憶體器會變得非常重要。
所以1994年,我加入了$三星電子 (005930.KR)$的記憶體器事業部。從那時起,我就一直在學習和研究記憶體器。
後來1996年,我來到KAIST任教。大概到了2010年前後,在此之前十多年裡,其實一直有很多HBM前期的基礎研究在進行。後來這些研究以商品的形式,落到了HBM這個產品上。
另外,HBM需要很多不同技術,比如量子力學、半導體物理、數學等等。
回頭看,這些其實都是我大學二年級、三年級時學過的課程。尤其是數學,線性代數用得特別多。我是1981年學的線性代數。
所以從1981年算起,到今天HBM不斷發展,再到我們實驗室提出HBM8、往後三十年的路線圖,整個時間跨度差不多有五十年。
主持人你當年研究、思考HBM這個概念的時候,有沒有預想到未來會進入人工智慧時代?有沒有想到它會成為AI時代的核心?
金正浩沒有。當時AMD和輝達想的是把它用在顯卡里。但顯卡需要的數學,和人工智慧需要的數學,其實是一樣的。
所以後來HBM成了人工智慧的核心零部件。
但一開始,站在輝達的角度,他們知道這個東西可以用在顯卡上。
而我當時想的是,韓國電視產業很發達,我想把這個晶片放進電視機裡。我覺得它會讓電視畫面更華麗、更生動、更有真實感。所以我當時設想的用途是電視。
大概到了2015年,我在學校裡和一些年輕教授開會,他們開始提到「深度學習」這個詞。那是人工智慧比較早期的時候。他們半開玩笑地說:「原來還有這種技術。」
但在場的人裡,好像只有我沒聽明白。
也正是從那時候開始,我意識到自己必須認真學習AI。所以從2015年前後起,我事實上把自己的研究重心轉向了AI。
研究了幾年以後,我發現AI演算法和HBM正好吻合,並意識到,這個東西會在AI裡爆發式使用。
當時主要還是CNN,也就是把攝像頭接上去識別物體;再往後一點,是強化學習,比如讓AI下圍棋之類。即便在那些應用裡,也大量用到矩陣,所以需要HBM。
但真正像今天這樣爆發,是在ChatGPT出現之後。
接下來,AI還會繼續發展到Agentic AI,也就是智能體AI;一部分也會走向Physical AI,也就是物理AI。
從演算法上看,Agentic AI和Physical AI對記憶體器的使用量,可能會比現在高出一千倍。
那時候需要的可能就不是HBM,而是Ultra HBM了。
所以我們現在也提出了一些新的想法。
但無論如何,一開始我並不知道會這樣。這也可以說是一種運氣。
我大學二年級的時候非常喜歡矩陣和線性代數,沒想到後來顯卡和AI用的都是同一套數學。這就是運氣。
02、HBM的核心是堆疊擴容和並行加速
主持人我理解的HBM,就是把多個DRAM堆疊起來。這個理解對嗎?
金正浩對,是這樣的。
不過剛才也說了,無論是顯卡還是AI,它們本質上都要做計算,而計算時必須從記憶體器裡快速讀取數據。
HBM之所以必要,有兩個原因。
第一個,是容量必須足夠大。
尤其是AI正在走向上下文工程、多模態和物理AI,記憶體器裡需要存放的數據量越來越大。
我感覺這個容量大概每年都會翻一倍。如果每年翻一倍,十年就是一千倍。
如果要增加記憶體器容量,傳統做法是把半導體裡的晶體管和記憶體單元繼續縮小。但現在已經到了非常困難的邊界。因為晶體管和記憶體單元之間會產生干擾,也會有漏電現象。
基本上已經接近量子力學邊界了,很難再繼續縮小。也就是說,容量很難再靠縮小尺寸來增加。
所以我從2000年代初就開始講,未來的記憶體器一定會堆疊,也必須堆疊。
當大多數人還在設計單層半導體的時候,我們就開始想:我們要把它堆起來。
當然,我們主要做的是設計,真正把它實現出來的是三星和海力士。但我們很早就有「必須堆疊」的想法。
後來以產品形式出現的,就是HBM。
第二個,是即使容量夠大,數據也必須快速供應給GPU。
只有這樣,ChatGPT才能快速把文章、文字回覆給我們,現在甚至還要生成視頻、電影。
要提升速度,就必須讓數據並行、同時傳輸。
如果傳統記憶體器像一條八車道高速公路,那麼HBM就是1024車道。現在已經到了2048車道,幾年以後可能會變成一百萬車道。
所以HBM的兩個核心特點是:
一是通過堆疊來增加容量;
二是安裝「電梯」和「高速公路」,用接近光速的方式,把數據以比傳統記憶體器快一千倍、甚至一百萬倍的速度傳出去。
這就是所謂的並行結構。這兩點也是HBM的核心。
03、10年後NAND Flash和HBF的市場需求可能會比HBM大
主持人現在大家都在談HBM,不過也開始出現HBF這個概念。HBF是什麼?它和HBM有什麼不同?
金正浩一般來說,記憶體器主要分兩類:DRAM和NAND Flash(一種非易失性記憶體器)。
DRAM速度快,但不能長時間保存數據。
NAND Flash容量大,速度相對慢一些,但容量非常大,大概是DRAM的十倍左右,而且可以長時間保存數據。所以它通常用於相機等設備。
剛才說了,HBM是把DRAM堆起來,放在GPU旁邊。但現在的問題是,容量還是不夠。
為什麼?因為AI開始講Context Engineering,也就是上下文工程。輸入AI的時候,不再只是輸入文字,還會附上參考檔案,甚至附上YouTube視頻。
這樣一來,視頻檔案、圖像檔案都會急劇增加。於是記憶體器容量還要繼續擴大。
在計算過程中,中間階段的數據也都要保存下來。我們一般叫KV Cache,也就是鍵值緩存。
再進一步,如果進入Agentic AI,我可能會僱用10個、100個AI來替我工作。
那AI替我做的工作量,會比我自己多一百倍,而且Agentic AI是24小時工作的。人中間還會休息,還要睡覺。AI不會。所以工作量會大幅增加,記憶體器容量也會隨之大幅增加。
即使我們已經把DRAM堆起來了,容量還是不夠。
那還有沒有別的方法?於是就有人提出,把NAND Flash也堆起來。
把NAND Flash堆疊起來,就是HBF。
現在正在開發HBF的公司包括SK海力士、閃迪、三星電子。日本的鎧俠應該也在開發。
最近鎧俠的股價甚至超過$豐田汽車 (TM.US)$,成為日本股市第一。
美國這邊,做NAND Flash或者HBF的美光、閃迪,股價一直在上漲。
韓國這邊,三星和海力士在做,所以它們的市值排在前面。
現在GPU旁邊會連接兩類記憶體器:一種是HBM,一種是HBF。
還有一種說法是,緊挨著GPU、幫助GPU計算的記憶體器,叫Hot Memory,也就是熱記憶體器。
而我們過去留下的各種記錄,也需要放在旁邊長期保存。AI要記住關於我的資訊,這類裝置可以叫Cold Memory,也就是冷記憶體器。
現在這兩邊的需求都在增長。
從長期看,我認為十年以後,NAND Flash和HBF的市場需求,可能會比HBM還要大。
所以現在是HBM的時代,但三星電子和SK海力士必須好好準備,迎接HBF時代。
這是我的主張。
主持人你之前經常提到,2038年可能會出現HBM8。到那個時候,HBM和HBF可能都會實現商業化。它們兩者是互補關係嗎?
金正浩是的。今年已經出現HBM4了,幾年後會出現HBM5。
接下來每兩三年就會更換一代。十年左右以後,可能會發展到HBM8。
到了HBM8這個階段,我認為HBM和HBF會一起使用。
HBM容量相對小一些,但速度更快;HBF速度慢一些,而且在物理上也有一些限制,但它的容量大。
所以最理想的是HBM,但如果容量不夠,旁邊可能就會接上HBF。
也就是說,到HBM8左右,不會只有一種記憶體器,而是兩者共存。
這有點像一片公寓社區。最中心可能有百貨商場,周邊是各種住宅區。有商住混合的辦公住宅,也有普通住宅。
未來也會有各種形態的HBM和HBF,組成一個複合體,相互連接,然後一起向GPU供應數據。
從總容量看,到HBM8這個階段,HBF的容量可能會比HBM更大。
主持人歸根結底,就是一個堆DRAM,一個堆NAND。只靠一種不夠,所以兩種都必不可少。
金正浩沒錯。而且在全世界範圍內,能同時做這兩件事的公司,只有三星電子和SK海力士。
現在閃迪和鎧俠的股價雖然漲得很厲害,但它們只能做HBF。
eSSD也是一種堆疊NAND的技術,但它們做不了HBM。
所以我認為,三星電子和SK海力士手裡擁有引領未來最強大的工具。
至於三星電子的會長、上一代會長、現任會長,以及SK海力士的會長,他們是不是已經把這些藍圖都畫好了,我不太清楚,我沒有和他們直接聊過,但我想他們應該也在努力學習。
而我自己,是基於對未來的洞察,以及最基本的物理和數學,做出這樣的預測。
我認為未來大機率會這樣發展。
04、AI能力最終是由記憶體器能力決定的
主持人哇,那是不是可以說,三星電子和海力士擁有非常強的絕對優勢?
金正浩今天早上三星電子股價是不是又漲上去了?當然,股價預測不是我的領域。
但股價背後的底層邏輯是,世界正在進入AI霸權時代。而在我看來,AI能力最終是由記憶體器能力決定的。
直到去年,我還同時研究記憶體器、HBM和AI。那時我以為AI的能力來自數學。
AI裡有一個叫Attention的機制,也就是注意力機制。但要實現它,就必須有記憶體器。結果到最後,記憶體器的性能就變成了AI的性能。
所以我現在把AI定義為:AI等於記憶體器。
也就是說,做AI的企業、做AI的國家,或者用半導體建設數據中心的人,都不得不去排隊找記憶體器公司。
一個甲乙關係正在反轉的時代正在到來。
更驚人的是,現在HBM和HBF是建設AI數據中心所必需的。
現在也有人把它叫AI Factory,也就是AI工廠。它本質上是製造AI的工廠。而我最近會把它叫作Memory Factory,也就是記憶體器工廠。因為AI工廠的核心就是記憶體器。
一個國家或一家企業擁有多少這樣的設施,會決定AI國家霸權,也會決定AI企業的競爭力。
GoogleGemini、OpenAI、Anthropic Claude,到底誰更強?
我的主張是:這由記憶體器決定。
而且最近還有一個趨勢,就是為了保護個人資訊,未來我的AI可能會直接在我的電腦上計算。這種個人電腦叫AI PC。
輝達現在也想做這個方向。它和$台積電 (TSM.US)$一起做這種PC,裡面會放128GB的LPDDR之類的記憶體器。
記憶體器用量非常大。如果要真正做好,可能需要TB級別的記憶體器。
那一臺PC的價格可能就會變成1000萬韓元。也就是說,記憶體器價格會直接決定PC價格。
還有一點,我認為未來的智能手機也不會是今天這樣的智能手機,而會變成AI手機。
螢幕上可能只剩一個窗口,問你:「有什麼可以幫你?」
其他東西都消失,AI會替我們完成一切。
未來可能還會出現AI眼鏡。
但我認為,一部智能手機價格的一半以上,都會是記憶體器價格。
所以我想強調的是:AI基礎設施,以及AI模型繼續發展,都會讓記憶體器需求不斷擴大,而另一個重要軸心,就是AI PC和AI手機。
05、在推理階段更重要的半導體是記憶體器
主持人現在全球大型科技公司裡,輝達的表現當然是壓倒性的。那你認為,輝達能夠保持最強地位,最大的秘訣是什麼?
金正浩到去年為止,人工智慧最重要的是訓練。訓練能力就是AI能力。
在訓練裡,從計算角度看,Transformer模型有編碼器和解碼器。訓練主要做的是編碼器相關工作,還涉及反向傳播,也就是數學裡的微分。
最擅長做這件事的半導體,就是GPU。所以在訓練時代,就是GPU時代,因為做AI必須有GPU。
於是大家排隊,用很高的價格去買。
但從去年夏天開始,推理變得更重要,也就是Inference變得更重要。
這時候,更重要的反而是把大量數據輸入進去。
只靠訓練,無法克服幻覺問題。幻覺是AI非常致命的問題。它會給出毫無根據的錯誤答案。這樣就沒法真正使用。
所以如果要做個性化AI,推理就變得重要。
而我認為,在推理階段更重要的半導體是記憶體器。如果進入推理時代,記憶體器可能會比GPU更貴,需求量也會更大。
另外還有一個原因。
GPU要提高性能,就必須擴大GPU面積,也就是放進去更多計算單元。
其中有一家公司叫Cerebras,它的做法是把整個12英吋晶圓做成一個GPU。
但這種方式很難形成大規模需求。因為如果晶圓上某個位置出現一個缺陷,可能整片晶圓都要報廢。所以它的經濟性不好,只能用於一些特殊目的。
當然,不管怎樣,這也是一種方法。
但問題是,Cerebras也沒有HBM、HBF。也就是說,它的記憶體器跟不上。所以到了推理時代,它會變弱。
那輝達能不能像記憶體器一樣,把GPU也堆起來?堆不了。
因為GPU太熱,必須在背後加冷卻裝置,所以沒辦法堆疊。
從這個角度看,GPU現在有點被逼到死角了。
所以黃仁勳最近也有點坐立不安。他來韓國,上電視、投棒球、吃炸雞、喝啤酒,見很多人……一個人如果心裡很踏實,通常不會這麼忙。
其中一個原因就是,GPU的技術成長幾乎正在走向停滯。
相反,人工智慧計算機未來的成長和演化,會取決於記憶體器。
這是我的判斷。
當然,現在還是輝達的世界。
06、主張把CPU、GPU放進HBM裡面
主持人你說實際運行中的GPU可能只有10%在工作,這是什麼意思?
金正浩意思是,即使安裝了100萬台GPU,它們真正工作的時間可能也只有20%,甚至只有10%。
為什麼?因為GPU要等記憶體器把數據送過來,才能計算,再把結果送回去。
但現在的問題是,數據不能很好地從記憶體器傳過來。
我們看到ChatGPT一個詞一個詞往外輸出。每一個瞬間,它都要從HBM、HBF裡讀取數據,計算之後再寫回去。
但時間幾乎都花在讀寫上了。在這期間,GPU其實是在等著,基本上是在閒著。
所以關鍵在於:能不能更快讀取數據,以及一次能讀多少數據。
這就是為什麼需要HBM和HBF。
但不管怎樣,從計算角度看,不管演算法怎麼改善,用Turbo Control也好,用各種方法也好,我感覺GPU實際也就工作20%、30%的時間,其餘時間大多在閒著。
主持人所以你才說,未來會進入一個「GPU進入HBM或HBF內部」的時代。
金正浩對。現在是HBM、HBF把數據送給GPU,GPU在那邊眼巴巴等著。
那我們乾脆自己算不就好了?如果HBM是一棟公寓樓,那就在公寓一樓裝一個GPU,讓數據坐電梯下來,在同一棟樓裡完成計算。這樣中午吃飯也不用跑到別的樓,在自己樓裡就解決了。
所以我的主張是,把CPU、GPU放進HBM裡面。
也就是說,讓GPU被徹底邊緣化。
不過如果太過分地把它排擠掉,可能會引發反彈,所以要適當分工,安撫一下它:
「貴一點、難一點的活兒我們來做,你在旁邊等著。」
核心就是讓GPU永遠有點「口渴」,永遠需要依賴我們。
我把這種架構叫作Memory-Centric Computing,也就是以記憶體器為中心的計算。
其實從HBM4開始,已經在朝這個方向走了。
主持人如果把GPU放進HBM和HBF裡,它也不是把很多GPU一層層堆起來,所以冷卻問題應該不會那麼嚴重吧?
金正浩還是會有一些冷卻問題。
從HBM4開始,SK海力士和三星都在做,但性能可能會有一些差異。
這個差異就和冷卻有關。也就是誰能把熱量更好地排出去。
比如剛才用公寓樓來比喻,如果一樓商鋪裡放進了一部分GPU功能,一樓就會非常熱。
那上面的記憶體器就像住在地暖房上面一樣。這樣一來,性能就會下降,必須把「地暖房」的溫度降下來。
冷卻技術會成為三星和SK海力士之間的性能差異來源。
尤其從HBM4開始,出人意料的是,誰能更好地控制溫度、冷卻溫度,會決定HBM的性能。
GPU也是一樣。
所以現在冷卻技術非常重要。
我們實驗室現在的想法是,既然一樓太熱,那就把HBM裡的部分GPU功能放到「屋頂」上去,然後在屋頂上裝冷卻塔,從上面直接冷卻。
這是我們提出的核心關鍵架構之一。
我們的學生現在正在圍繞HBM5做碩士、博士研究。我覺得這裡面可能會出現一個很大的成果,可以再等等看。
我們做這類研究,通常會發表很多論文,輝達、AMD、三星、海力士應該都會看到。
一開始他們心理上可能會抗拒,但如果最後發現「只能這麼做」,那事情就會自然往這個方向滾動起來。
主持人如果像你說的那樣,未來GPU會進入HBM和HBF內部……
金正浩我後來還主張,連CPU也應該放進去。
主持人如果真是這樣,那三星電子和海力士是不是會變得更強?
金正浩現在機會正在到來。
所謂更強,就是它們會擁有更大的主導權。那樣一來,它們就有可能成為超越輝達的企業。
但要做到這一點,必須開發技術,必須投資,也必須培養人才。
還要有政策判斷和經營判斷。
不能一聽就說:「為什麼要做這種沒用的東西?」管理層要有開放心態。
我覺得經營者的判斷是最重要的。
07、NPU這樣的利基市場也會有機會
主持人你認為,未來會從GPU時代走向記憶體器時代,這個趨勢似乎已經開始了。不過現在GPU勢頭這麼猛,又出現了NPU。NPU到底是什麼?
金正浩它們本質上都是處理器,都是做數學裡的矩陣計算,都是AI所需要的東西。
GPU原本的完整說法是GPGPU。
TPU裡也要放HBM。
所以無論如何,它離不開HBM,離不開記憶體器。
比如Gemini既可以寫文章,也可以做LLM,還可以畫圖,功能非常多。
而如果不是做這麼多功能,而是隻為了把寫文章這類特定功能做好,把功能縮小、簡化,就會出現一種晶片,叫NPU。也有人把它叫LPU。
它們都是人工智慧所需要的計算器,只是更適合特定目的,規模更小,耗電更低,成本也更低。
這種處理器,我們稱之為NPU。
韓國國內現在有Rebellions、Furiosa AI、HyperAccel這些公司。
全世界大概有十來家公司在做NPU。
Furiosa和Rebellions雖然都是做NPU,但它們也會用到HBM。
因為想要性能好,記憶體器就必須好。
所以最後還是隻能往這個方向走。
主持人最近Furiosa和Rebellions都獲得了韓國「國民成長基金」的大額投資。
金正浩是的。
主持人這是不是意味著,要它們好好和輝達較量一下?這兩家公司真的具備世界級競爭力嗎?
金正浩我當時就是評審委員。
主持人你是評審委員?
金正浩對。這裡面有一層意思:輝達不可能掌控世界上的所有東西。NPU、TPU也是如此。
所以一定會存在利基市場,也就是縫隙市場。
比如,如果我在沙烏地阿拉伯建設數據中心,假設全部用美國方案,依賴度就太高了。
那我可能會想,至少其中10%用其他解決方案。
在這種情況下,韓國的NPU企業就可能成為候選。
還有一個角度是韓國國內。
如果我們國內也要建設AI數據中心,剛才說到將來可能要建到100萬台規模,那麼其中10%如果全部用輝達晶片,我們的依賴度就太高了。
所以韓國有必要培養本土企業。
因此,當時我們決定投資,核心就是想扶持韓國自己的本土公司。
總結起來,就是這樣。
當然,從技術角度看,它們也有自己的優勢。
08、中國記憶體器企業可能會拿到5%或10%的市場份額
主持人現在不得不談中國。大家也知道,中國已經開始開發HBM。下個月要上市的長鑫記憶體(CXMT),據說從今年開始量產HBM3。
金正浩這個我還沒有確認過。
不過現在記憶體器需求爆發得太厲害,光靠三星、海力士和現有企業已經不夠,所以市場可能會開始使用中國產品。
因此,中國記憶體器企業可能會拿到5%或者10%的市場份額。
中國國內市場也會扶持它們。比如華為、$阿里巴巴 (BABA.US)$這些公司,如果開始做NPU或GPU,就會需要記憶體器。
所以中國進入記憶體器產業,某種程度上是不可避免的。
他們現在似乎也想做HBM。從我收到的一些聯繫來看,是這樣的。
幾年後,中國也許能做出HBM3。
但到那時,它的良率和性能,和三星、海力士相比,應該還會有相當大的差距。
而且到那個時候,三星和海力士可能已經把HBM5推向市場了。
所以我們能做的,就是始終保持高市場份額,始終保持最強技術力,用這種方式繼續領先。
總有一天,美國企業、中國企業都會追趕HBM和HBF。所以這是一場關係到生存的遊戲。我們必須活到最後。
主持人現在長鑫記憶體和三星電子、海力士之間的技術差距,據說大概是三年左右,也有人說是三到五年。這個差距未來被縮小的可能性大嗎?
金正浩有幾種風險。
比如我們自己經營判斷失誤,投資沒有及時跟上,人才沒有充分儲備;還有戰爭風險;又或者美中關係突然和解,美國解除技術封鎖,這些都是最大的風險因素,比如輝達說「我要使用中國記憶體器」,那對韓國來說幾乎是致命的。所以國際政治也必須做好。
主持人雖然這是極端情況,但也不能完全排除這種可能性吧?
金正浩沒法知道。
如果從三十年、十年的尺度來看,那裡有永遠的敵人,那裡有永遠的朋友?
主持人所以不能忽視中國的追趕。
金正浩美國的追趕也存在。
因為輝達和Google不可能永遠只看三星、海力士的臉色生活。它們很可能會不斷給美光訂單,也會給閃迪訂單,還會給鎧俠訂單。
09、未來電源供應網絡和冷卻技術會變得極其重要
主持人我最近看到你的一些研究,提到了一個概念:高帶寬SRAM,也就是HBS。這個概念是你最早提出的嗎?
金正浩就像我剛才說的,我可以提出概念,但如果要真正實現,還需要三星、SK海力士工程師們大量努力。
有些概念,十年、二十年後可能會引發很大的變化。
剛才我提到過$Cerebras Systems (CBRS.US)$。它有一個非常大的GPU。
在NPU裡,美國還有一種叫LPU的晶片。它們覺得用HBM有點沒面子,而且會過度依賴別人,所以它們把記憶體器放進GPU裡面。放進GPU內部的這種記憶體器,就叫SRAM。
SRAM比DRAM快大約一千倍,但容量小很多。
我後來仔細看了看,無論是Cerebras還是LPU,它們都用了SRAM,但容量不夠。
據我所知,Cerebras那顆覆蓋整片12英吋晶圓的晶片,SRAM容量也只有44GB。
而我的判斷是,至少要有440GB,才能真正做點事情。
所以我的想法是,乾脆把整片12英吋晶圓全部鋪滿SRAM,做成一個晶片。然後把這種晶片再堆10層、12層,甚至16層。
這樣一來,容量就可以從100GB級別做到1600GB。
這就非常驚人了。
也就是說,把SRAM做成晶圓級規模,再堆疊起來,然後在上面放GPU。
SRAM速度快一千倍,容量又足夠,那這件事就說得通了。
這種SRAM,我們稱為HBS,也就是High Bandwidth SRAM。
我未來的夢想是:HBM、HBF、HBS都變成一棟棟百層大樓,最上面放著GPU,再進行冷卻。
這種3D半導體結構,幾乎必然會成為未來AI計算機的架構。
這可能需要十年、二十年,甚至三十年。
但其中最難的技術之一,就是供電。
如果反過來把GPU堆在HBS、HBM上面,就要供應幾千安培的電流。
電源供應網絡設計會成為最困難的問題。
這會成為真正的技術力。
無論是SK海力士、三星、美光,還是台積電,都是一樣。
接下來還有一個難題,就是如何冷卻。這會成為實現這種結構的障礙。
所以,電源供應網絡和冷卻技術會變得極其重要。
現在我們討論的是,台積電做得好還是三星做得好,幾奈米製程做得怎麼樣,良率怎麼樣。但未來真正決定企業生存的,可能會變成:誰能給包含HBS在內的3D AI計算機供電,誰能把它冷卻下來。
10、定製化HBM會打破記憶體器周期
主持人HBS簡直就是記憶體器半導體的終極形態。
金正浩可以說是終極形態。
我也想過這個問題。
大概十年前,我聽說Cerebras要用12英吋晶圓做GPU。我當時想:這是什麼?要用在那裡?
後來發現,可能主要是用於國防AI。
當時我心裡還有點傲慢,覺得這東西有什麼用。
但大概兩周前,它在納斯達克提交IPO了。
這件事讓我的想法有點變化,原來這種東西還是有地方能用。
那如果Cerebras晶片最大的弱點是記憶體器不夠,為什麼不把記憶體器也堆起來?
有一天早上,我突然想出這個概念,就給學生髮郵件說:「幫我把這個畫出來。」
最近我開始講HBS,就是從這裡開始的。
等今年新的碩士生進來,我想讓他們從HBS開始做碩士、博士論文。
主持人那首先得做SRAM,對吧?
金正浩對。
主持人現在誰能做SRAM?
金正浩主要是代工廠。台積電和三星電子都能做。
主持人今年三星電子和海力士加起來的營業利潤,有人預測會達到500兆到600兆韓元之間。這現實嗎?還是過於樂觀?
金正浩我覺得現實。
主持人你認為這是非常合理的預測?
金正浩我經常和三星電子、海力士的高管開技術會議,我感覺他們的眼神越來越亮。
他們不會跟我講銷售額這種事情。
但現在HBM、HBF還有一個非常重要的特點,就是Custom HBM,也就是定製化HBM。
過去的模式是,先做出標準化產品,然後大量生產。
買家買多買少,會導致價格上下波動。我們把這叫作周期。
也就是說,主導權不在記憶體器廠商手裡,而在CPU廠商、$微軟 (MSFT.US)$,或者電腦廠商手裡。他們決定買多少。
記憶體器廠商只能提前多做一些,看客戶臉色,猜著多做。有時候客戶讓你多做,結果最後又不買,庫存壓力就落到我們自己身上。
這就是所謂的記憶體器周期。
但從HBM4開始,因為裡面會加入GPU功能,還有一個重要功能是:HBM之間開始互相通訊。
過去HBM只做GPU吩咐的事情。而我的主張是,未來HBM之間要自己溝通,未來的HBM甚至可以讓GPU之間互相競爭,誰對我更好,我就把更多記憶體器資源給誰。
這有點像我們記憶體器之間成立一個「組合」或者「聯盟」。
我們自己決定,如果那個GPU不討我們喜歡,就不給它資源。
大概是這個意思。
這種變化意味著,隨著演算法、通訊功能、GPU功能都進入HBM,不同公司的HBM設計會變得不一樣。
Google、AMD、輝達,各自需要的HBM設計都會不同。
而一旦進入定製化HBM,開發初期就會先拿到客戶的採購承諾。這叫Long-Term Agreement,長期協議。如果客戶不先承諾採購,開發可能根本不會啓動。
但現在AI企業太需要高性能HBM了,所以它們只能排隊。
於是市場變成了賣方市場,供應商開始決定價格。
這和過去的範式完全不同。 (聰明投資者)
