輝達Nvidia今天發布的最新財報成為全球科技業最重要大事件，黃仁勳手上的“AI風向球”決定整個產業鏈的走向。AI是長線確定的趨勢，沒有“榮”或“枯”的問題，但短期AI服務器產業有兩大瓶頸：台積電CoWoS後端封裝產能，以及高帶寬內存HBM供給不足，讓輝達非常頭痛。

8月初，輝達AI服務器合作夥伴美超微Supermicro在財報會議上指出，“公司積壓訂單金額創歷史新高，但因為受限輝達GPU供應不足，讓AI服務器無法出貨。”此話一出，美超微AMD的股價在十天內崩跌30% 。

美超微財報很好，只是講了大實話，一語道出當前AI服務器供應鏈難解的瓶頸與困境。AI需求很好，但芯片做不出來，服務器當然交不了貨。而且，這個瓶頸是2023年無法解決的，至少要等到2024年中才會慢慢紓解。

AI服務器交不了貨的兇手是誰？是台積電CoWoS後端封裝產能，以及高帶寬內存HBM全球供給不足的問題。

7月Computex期間，黃仁勳直奔台積電與董事長劉德音會面，商量增加CoWoS產能供應。台積電在之後的投資人會議上也明確指出，目前AI最大問題是CoWoS產能不足，無法滿足客戶，已在加緊增產中，預計2024年下旬產能才能紓解。

問題是，老黃的印鈔機卡住了，怎麼可能等到2024年下半。熱騰騰的爐子可不能就這樣等冷了。

綜合調研機構和外資分析師預估，至2023年底，台積電CoWoS月產能可以達到12萬片，預計2024年中可擴增至15萬~18萬片，年底可上看30萬片，預計到2024年中擴增的產能可以追上市場上的算力需求。另有一說，台積電的CoWoS產能中，輝達大概吃了將近50%的量。

由於輝達的H100/A100等芯片需要高帶寬內存HBM ，各自搭載HBM2和HBM3芯片，AMD最新的MI300也搭配HBM3 ，再用上CoWoS封裝技術，使得整個AI商機讓HBM需求大爆發。

日前有韓媒指出，三星挾持先進封裝技術和第三代HBM3產能，積極爭取輝達H100訂單。既然當前最熱門的先進封裝技術和HBM兩大AI法寶，三星剛好都有，此時不跟台積電搶單要更等何時。

輝達的AI訂單需求再好，後端產能沒跟上也無法100%充足供應給客戶。但老黃可不是吃素的，怎麼可能讓AI印鈔機商機因為CoWoS產能不足就這樣憑空消失。更何況，輝達可是從過去礦機生意中，已經學到滿滿的經驗值。

輝達的解法是，既然AI服務器的供應卡在CoWoS產能和HBM芯片，那就推出一款AI服務器是可以滿足客戶的算力需求，但又不需要用CoWoS技術和HBM芯片！沒錯，就是輝達最新推出的L40S GPU 。

就像是2022年9月美國商務部無預警宣布輝達的H100/A100芯片不能銷售到中國，輝達立刻推出一款降算力的版本A800/H800 ，特規供應給中國市場。因為降算力，所以特供版A800/H800也不需要CoWoS和HBM芯片。

不得不佩服老黃，反應迅速，刀法犀利。

老黃一面催台積電擴產CoWoS產能，一面跟三星談條件，另一手更迅速推出不需要CoWoS和HBM的L40S新GPU ，鼓勵客戶將需求轉向L40S 。

L40S和A100/H100最大不同是沒有服務器基板Baseboard ，電源散熱PCB都和傳統服務器一樣，目前所有的PCIe服務器都可以直接上L40S GPU ，不需要重新設計，只需要通過相容性測試，這也間接打破AI服務器和非AI服務器的界線。意思是，客戶採用L40S GPU沒有缺貨問題，服務器也不用重新設計。

其實輝達的下一代GPU有兩大架構Hopper和Ada Lovelace ，Hopper主要面向數據中心、AI 、雲計算等，採用台積電的CoWos封裝技術。另一個Ada Lovelace架構主要是面向圖像、遊戲顯卡等GPU ，對應RTX 40系列。

理論上，L40S GPU應該是L40 GPU的下一代，主要用在圖像上，不應該拿來和A100/H100做比較，不過輝達將L40S加入Transformer Engine ，就可以和A100相提並論，應該是為了間接鼓勵客戶暫時以L40S作為A100的替代品。再者，A100未來可能會逐漸退役。

自從ChatGPT橫空出世引領全球進入一場AI狂潮，AI教父黃仁勳在全世界聲勢如日中天，已經很久沒看到眾人為一種技術創新而出現集體瘋狂的舉動。

把時間拉回到十年前2012年，當年智能手機的出現，沒人想到會自此改變人類生活，把一台小小的PC帶在身上滿街跑。當年的供應鏈也同樣出現28nm產能嚴重不足問題，導致智能手機生產出現重大瓶頸。當時黃仁勳也是氣得跳腳，指出瓶頸就是在台積電。

歷史總是不斷重複。眼前的AI狂潮遇到的劇情是不是似曾相似？供應鏈瓶頸也是卡在台積電身上，只是這次產能不足的是CoWoS後端封裝產能。

CoWoS技術台積電很早就推出，但當年根本沒人要用，因為曲高和寡，大概只有高單價的FPGA量少少的在用，怎麼知道CoWoS技術後來會變成卡住AI印鈔機的罪魁禍首。

經過時間淬煉，黃仁勳的功力更上一層樓，商業頭腦也更為靈敏。除了催促台積電擴產，耐心等待的同時，更著手更改產品規格，把當前問題解決，讓他手上的AI印鈔機不至於會因此而停止轉速。

不得不說，老黃刀法越來越快、狠、精準。（問芯Voice）

“20年前我們推出了RTX顯卡，5年前我們將圖形計算與AI結合，推出了“星戰”Demo。”

“買得越多，省得越多，任何人都可以訓練AI模型。”

美國當地時間8月8日早上，英偉達（輝達，NVIDIA）創始人、CEO黃仁勳在世界計算機圖形會議SIGGRAPH2023上，開場回顧了英偉達在圖形計算上的高光時刻，並且展示了最新實時渲染的4K分辨率3D賽車追逐Demo。

不過，僅僅幾分鐘後，“皮衣教主”的演講，就從3D圖形完全過渡到AI上了。作為人工智能浪潮中最重要的人物，黃仁勳為“普及生成式AI”提供了更生猛的硬件和更智能的應用和平台。

當天，黃仁勳曝光了用於生成式AI的GH200 Grace Hopper超級芯片、NVIDIA AIWorkbench以及通過生成式AI和OpenUSD升級的NVIDIA Omniverse。

同時，黃仁勳還宣布英偉達與AI開源社區Hugging Face合作，將把生成式AI超級計算能力交付給數百萬開發者，為他們構建大型語言模型（LLM）和AI應用提供支持。

“還是那句話，買的越多，省的越多。”即使到了現在，黃仁勳依然不改金牌銷售的風格。

“生成式AI時代的來臨，就像iPhone時刻一樣。”黃仁勳感慨，英偉達加速計算的旅程與深度學習研究人員的旅程相遇，現代人工智能的大爆炸發生了。

五年前，英偉達通過在GPU上引入AI和實時光線追踪，重新定義了圖形技術。但是“當我們通過AI重新定義計算機圖形時，我們也正在為AI重新定義GPU。”

結果就是，出現了越來越強大的系統，例如NVIDIA HGX H100，利用八個GPU，總計1萬億個晶體管，比基於CPU的系統提供了更顯著的“加速計算”。

黃仁勳展示GH200芯片。來源：英偉達

五年後，為了繼續推動AI發展，英偉達推出了Grace Hopper超級芯片，即NVIDIA GH200，它將72核Grace CPU與Hopper GPU相結合，提供1 EFLOPS的AI算力和144TB的高速存儲，並於今年5月全面投產。

對於GH200，黃仁勳在演講又拿出了看家金句，“如果我可以請你記住我今天演講中的一件事，那就是，未來屬於加速計算，你買的越多，你省的越多。”

NVIDIA GH200最可怕的不是性能強悍，而是近乎瘋狂的“可擴展性”。

GH200 Grace Hopper超級芯片平台。該平台連接多個GPU，用於處理複雜的生成式工作負載，包括大型語言模型、推薦系統和矢量數據庫。據稱，與前一代相比，雙配置的內存容量是之前的3.5倍，帶寬是之前的3倍，服務器配備144個Arm Neoverse核心、8 petaflops的AI性能和282GB的最新HBM3e內存技術。預計2024年第二季度將有客戶基於該平台推出自己的系統。

GH200組成的AI超算實體大小圖。來源：英偉達

根據老黃的說法，在相同的成本（1億美元）下，2500塊GH200組成的計算中心，在AI計算的能效上，要比傳統的CPU計算中心高20倍。

如果說上千塊GH200適用的對像是“前沿大語言模型”，對於已經成為“主流”的模型，英偉達也提供了能被普通人和公司使用的、成本更低的產品。

基於專業圖形應用需求，如計算機輔助設計和數字內容創作，英偉達還發布了基於Ada Lovelace架構的RTX 4000 20GB、RTX 4500 24GB和RTX 5000 32GB，分別能提供26.7、39.6、65.3FP32TFLOPS的計算性能。

英偉達推出搭載L40SGPU的OVX服務器產品。來源：英偉達

此外，英偉達還推出了搭載L40S GPU的OVX服務器產品，每台服務器最多可以裝八個L40S GPU，每個GPU有48GB內存。對於具有數十億參數和多種數據模態的複雜AI工作負載，相較於A100 Tensor Core GPU，L40S能夠實現1.2倍的生成式AI推理性能和1.7倍的訓練性能。

“專為生成式AI時代打造的AI超算”，GH200的PPT頁面上如此寫道。

為了加速各類企業定制生成式AI，黃仁勳宣布，英偉達推出“AI Workbench”。

據稱，它為開發人員提供了一個統一、易於使用的工具包，可以在個人電腦或工作站上快速創建、測試和微調生成式AI模型，然後將其擴展到幾乎任何數據中心、公有云或NVIDIA DGX Cloud。

AIWorkbench主要降低企業啟動AI項目的門檻。通過在本地系統上運行的簡化訪問界面，它允許開發人員從流行庫（如Hugging Face、GitHub和NGC）中微調模型，使用自定義數據。然後，這些模型可以在多個平台之間共享。

黃仁勳介紹英偉達AI Workbench。來源：英偉達

全球各地企業都在競相尋找合適的基礎架構並構建生成式AI模型和應用，儘管現在已經有數以千計的預訓練模型可用，但是使用許多開源工具進行定制可能仍具挑戰性且耗時。

“為了使這種能力普惠，我們必須使其能夠在幾乎所有地方運行。”黃仁勳稱：“讓所有人都能參與生成式AI。”

借助AI Workbench，開發人員可以只需點擊幾下就可以定制和運行生成式AI。它允許他們將所有必要的企業級模型、框架、軟件開發工具包和庫匯集到一個統一的開發者工作區中。

據稱，包括戴爾、惠普、Lambda、聯想和Supermicro，都正採用AI Workbench，因為它可以將企業生成式AI能力帶到開發人員希望工作的任何地方，包括本地設備。

在演講中，黃仁勳展示了AI Workbench和ChatUSD如何將所有這些功能結合在一起：允許用戶從GeForce RTX 4090筆記本電腦啟動項目，並隨著項目變得更加複雜而無縫擴展到工作站或數據中心。

據黃仁勳展示，用戶可以提示模型生成一張玩具黃仁勳在太空中的圖片，但初始模型提供的結果不適用，因為它從未見過玩具黃仁勳，這時候用戶可以用八張玩具黃仁勳的圖片微調模型，然後再次輸入提示，獲得正確的結果。

使用提示詞創建出的黃仁勳人偶上太空。來源：英偉達

然後，使用AI Workbench，新模型就可以部署到企業應用程序中。

黃仁勳還宣布了英偉達與Hugging Face的合作夥伴關係，後者擁有200萬用戶，或將使英偉達的生成式AI計算能力成為數百萬開發人員構建大型語言模型和AI應用的工具。

作為合作的一部分，Hugging Face將提供一個新的服務——“練集群即服務”（Training Cluster as a Service），由NVIDIA DGX Cloud提供支持，該服務將在未來幾個月內推出。

英偉達將聯手最熱的AI開源社區Hugging Face。來源：英偉達

開發人員將能夠在Hugging Face平台內訪問NVIDIA DGX Cloud AI超級計算，以訓練和微調先進的AI模型。據悉，Hugging Face社區已分享超過25萬個模型和5萬個數據集。

“這將是一個全新的服務，將世界上最大的AI社區與世界上最好的訓練和基礎設施連接起來。”黃仁勳稱。

就在本週，英偉達、蘋果、Adobe和Autodesk等公司聯手成立OpenUSD聯盟，將這個誕生於皮克斯的3D標準，推向更廣闊的世界。

而將OpenUSD、AI以及Omniverse結合，設計和開發人員將能通過ChatUSD這樣的對話式界面，直接用自然語言修改和創建3D環境及物體，極大簡化3D製作流程。

黃仁勳介紹OpenUSD聯盟。來源：英偉達

該聯盟將標準化並擴展OpenUSD，這是開源的通用場景描述框架，是實現互操作性的3D應用程序和項目的基礎，涵蓋從視覺效果到工業數字孿生的各個領域，如連接電影和動畫流程，創建真實精確的實時數字工廠、倉庫、城市甚至地球數字副本等。

英偉達和Adobe還計劃將Adobe Firefly（Adobe的創意生成式AI模型系列）作為API提供在Omniverse中。

據悉，Cesium、Convai、Move AI、SideFX Houdini和Wonder Dynamics等AI工具現在已經通過OpenUSD連接到Omniverse。

使用OpenUSD，各個管線的工具可以同時使用一個素材和場景。來源：英偉達

例如，Wonder Dynamics通過新的OpenUSD導出支持，可以自動將計算機生成的角色動畫、燈光和合成到現實場景中。Move AI可以使用Move One應用程序進行單攝像機運動捕捉，可以生成3D角色動畫，然後可以導出到OpenUSD並在Omniverse中使用。

現在，Omniverse用戶可以構建與其他基於OpenUSD的空間計算平台（如ARKit和RealityKit）兼容的內容、體驗和應用程序。

另外，黃仁勳還宣布了由英偉達構建的四個新的Omniverse Cloud API，包括ChatUSD、RunUSD、DeepSearch和USD-GDNPublisher，供開發人員更無縫地實現和部署OpenUSD管道和應用程序。

使用ChatUSD，可以用自然語言修改右邊的3D模型。來源：英偉達

其中，ChatUSD可以回答USD知識問題或生成Python-USD代碼腳本；RunUSD可以將USD文件轉化為渲染圖像；DeepSearch可以實現語義3D搜索；USD-GDN Publisher可用於發布基於OpenUSD的高保真體驗，實時流式傳輸到Web瀏覽器和移動設備。

英偉達Omniverse和模擬技術副總裁稱，“工業企業正在競相將其工作流數字化，這增加了對啟用OpenUSD的、連接的、可互操作的3D軟件生態系統的需求。” “最新的Omniverse升級讓開發人員通過OpenUSD利用生成式人工智能來增強他們的工具，同時允許企業構建更大、更複雜的全球規模模擬，作為其工業應用的數字測試場。”

目前都有誰在用Omniverse？據黃仁勳介紹，科技公司正在用它測試和模擬協作機器人，亞馬遜用它模擬車隊將倉庫數字化，汽車廠商如梅賽德斯用它來模擬自動駕駛汽車，寶馬用它模擬新的電動汽車生產線，將全球工廠網絡數字化，Deutsche Mind用它創建鐵路網絡的數字孿生，甚至還有公司用它創建地球的數字孿生，即地球的氣候系統等等。

據悉，英偉達還正在開發一種新的SimReady 3D模型結構。這些模型將包括真實的材料和物理屬性，這對於準確訓練自主機器人和車輛至關重要。例如，一個負責分揀包裹的自主機器人需要在3D模擬中進行訓練，這些包裹在物理接觸時移動和反應，就像在現實世界中一樣。

在AI的推動下，協作式3D和工業數字化的時代正在到來。黃仁勳還認為，未來的工廠將是機器人工廠，“機器人協調一大堆機器人來製造本身就是機器人的汽車” “我們希望AI能夠進行自我編程。”

“未來，整個工廠將由軟件定義。”黃仁勳稱。

作為這一波“生成式AI”浪潮中最重要的“基建”公司，英偉達股票已經在最近暴漲200%，一度突破萬億美元大關。

而在售賣“核彈”硬件之外，在軟件、雲計算和平台以及生態方面，英偉達同樣不遺餘力，因為只有讓生成式AI真正進入到工業生產和辦公中，才算是真正實現“AI普惠”。而從這個角度來看，英偉達和現在的AI初創公司，以及正在向生成式AI轉型的傳統公司，其實在一條船上。

“買更多，省更多”，而只有“更多AI”，英偉達才能保證自己“越賺越多”。（極客公園）

彙整鉅亨號中所有使用「L40S」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

輝達的AI帝國如何破解台積電CoWoS封裝產能不足的裂痕？

黃仁勳：“核彈工廠”即將上線，要讓所有人用上生成式AI