輝達的AI帝國如何破解台積電CoWoS封裝產能不足的裂痕?

輝達Nvidia今天發布的最新財報成為全球科技業最重要大事件,黃仁勳手上的“AI風向球”決定整個產業鏈的走向。AI是長線確定的趨勢,沒有“榮”或“枯”的問題,但短期AI服務器產業有兩大瓶頸:台積電CoWoS後端封裝產能,以及高帶寬內存HBM供給不足,讓輝達非常頭痛。

8月初,輝達AI服務器合作夥伴美超微Supermicro在財報會議上指出,“公司積壓訂單金額創歷史新高,但因為受限輝達GPU供應不足,讓AI服務器無法出貨。”此話一出,美超微AMD的股價在十天內崩跌30% 。

美超微財報很好,只是講了大實話,一語道出當前AI服務器供應鏈難解的瓶頸與困境。AI需求很好,但芯片做不出來,服務器當然交不了貨。而且,這個瓶頸是2023年無法解決的,至少要等到2024年中才會慢慢紓解。

AI服務器交不了貨的兇手是誰?是台積電CoWoS後端封裝產能,以及高帶寬內存HBM全球供給不足的問題。



7月Computex期間,黃仁勳直奔台積電與董事長劉德音會面,商量增加CoWoS產能供應。台積電在之後的投資人會議上也明確指出,目前AI最大問題是CoWoS產能不足,無法滿足客戶,已在加緊增產中,預計2024年下旬產能才能紓解。

問題是,老黃的印鈔機卡住了,怎麼可能等到2024年下半。熱騰騰的爐子可不能就這樣等冷了。

綜合調研機構和外資分析師預估,至2023年底,台積電CoWoS月產能可以達到12萬片,預計2024年中可擴增至15萬~18萬片,年底可上看30萬片,預計到2024年中擴增的產能可以追上市場上的算力需求。另有一說,台積電的CoWoS產能中,輝達大概吃了將近50%的量。

由於輝達的H100/A100等芯片需要高帶寬內存HBM ,各自搭載HBM2和HBM3芯片,AMD最新的MI300也搭配HBM3 ,再用上CoWoS封裝技術,使得整個AI商機讓HBM需求大爆發。

日前有韓媒指出,三星挾持先進封裝技術和第三代HBM3產能,積極爭取輝達H100訂單。既然當前最熱門的先進封裝技術和HBM兩大AI法寶,三星剛好都有,此時不跟台積電搶單要更等何時。

輝達的AI訂單需求再好,後端產能沒跟上也無法100%充足供應給客戶。但老黃可不是吃素的,怎麼可能讓AI印鈔機商機因為CoWoS產能不足就這樣憑空消失。更何況,輝達可是從過去礦機生意中,已經學到滿滿的經驗值。

輝達的解法是,既然AI服務器的供應卡在CoWoS產能和HBM芯片,那就推出一款AI服務器是可以滿足客戶的算力需求,但又不需要用CoWoS技術和HBM芯片!沒錯,就是輝達最新推出的L40S GPU 。

就像是2022年9月美國商務部無預警宣布輝達的H100/A100芯片不能銷售到中國,輝達立刻推出一款降算力的版本A800/H800 ,特規供應給中國市場。因為降算力,所以特供版A800/H800也不需要CoWoS和HBM芯片。

不得不佩服老黃,反應迅速,刀法犀利。

老黃一面催台積電擴產CoWoS產能,一面跟三星談條件,另一手更迅速推出不需要CoWoS和HBM的L40S新GPU ,鼓勵客戶將需求轉向L40S 。

L40S和A100/H100最大不同是沒有服務器基板Baseboard ,電源散熱PCB都和傳統服務器一樣,目前所有的PCIe服務器都可以直接上L40S GPU ,不需要重新設計,只需要通過相容性測試,這也間接打破AI服務器和非AI服務器的界線。意思是,客戶採用L40S GPU沒有缺貨問題,服務器也不用重新設計。

其實輝達的下一代GPU有兩大架構Hopper和Ada Lovelace ,Hopper主要面向數據中心、AI 、雲計算等,採用台積電的CoWos封裝技術。另一個Ada Lovelace架構主要是面向圖像、遊戲顯卡等GPU ,對應RTX 40系列。

理論上,L40S GPU應該是L40 GPU的下一代,主要用在圖像上,不應該拿來和A100/H100做比較,不過輝達將L40S加入Transformer Engine ,就可以和A100相提並論,應該是為了間接鼓勵客戶暫時以L40S作為A100的替代品。再者,A100未來可能會逐漸退役。

自從ChatGPT橫空出世引領全球進入一場AI狂潮,AI教父黃仁勳在全世界聲勢如日中天,已經很久沒看到眾人為一種技術創新而出現集體瘋狂的舉動。

把時間拉回到十年前2012年,當年智能手機的出現,沒人想到會自此改變人類生活,把一台小小的PC帶在身上滿街跑。當年的供應鏈也同樣出現28nm產能嚴重不足問題,導致智能手機生產出現重大瓶頸。當時黃仁勳也是氣得跳腳,指出瓶頸就是在台積電。

歷史總是不斷重複。眼前的AI狂潮遇到的劇情是不是似曾相似?供應鏈瓶頸也是卡在台積電身上,只是這次產能不足的是CoWoS後端封裝產能。

CoWoS技術台積電很早就推出,但當年根本沒人要用,因為曲高和寡,大概只有高單價的FPGA量少少的在用,怎麼知道CoWoS技術後來會變成卡住AI印鈔機的罪魁禍首。

經過時間淬煉,黃仁勳的功力更上一層樓,商業頭腦也更為靈敏。除了催促台積電擴產,耐心等待的同時,更著手更改產品規格,把當前問題解決,讓他手上的AI印鈔機不至於會因此而停止轉速。

不得不說,老黃刀法越來越快、狠、精準。(問芯Voice)