前段時間，知名硬體網站Tomshardware引述知情人士的消息稱，輝達為了確保今年的GH200、H200的供應，開出13億美元的預算，向美光和SK海力士預定了部分HBM3e內存產能。

不過由於這組數據沒有合理的計算，13億的預算的可信度有待確認，但可以肯定的是，這筆預算不可能買空2024年全球HBM的產能。

它的價值在於，可以幫助輝達搶到2024年上半年「壟斷算力」的機會窗口——產品先市場化，就能先搶到市場份額。

2024年，SK海力士、美光和三星三家代工產能總計會擴大到75萬片晶圓，以目前業界的數據，HBM3e的良率大概90%左右，每片晶圓約可以切出750顆，全球2024年的HBM總產能大致為5,600萬顆（ 12層+ 8層），但大規模產能集中在下半年開出，上半年比例略小。

倘若基於2024年CoWoS封裝產能推算：

而在GPU-HBM垂直封裝的產能方面，截至2024年第4季度，全球CoWoS的封裝總產能推算約30萬片晶圓，其中包括台積電約27萬片，Amkor約4萬片，而由於這些晶圓流片的製程節點集中在5nm和3nm，當期良率約38%，保守設定單片晶圓可切30顆GPU晶片，即2024年全年，全球經由CoWoS封裝的GPU產品，產能約為900萬顆。以單顆GPU邏輯晶片搭配6顆HBM記憶體顆粒的標準計算（AMD MI300搭配8顆HBM），全球2024年的GPU，對HBM記憶體的需求就在5400萬顆以上（12層為主）。

小註：CoWoS俗稱2.5D封裝，全名為Chip on Wafer on Substrate，用於在相對理想的電氣規則下滿足多顆運算晶片的互連以及儲存晶片的堆疊實現。

CoWoS封裝示意圖，上部分紅圈為CoW，下部分紅圈為oS 來源：網絡

目前，12層HBM顆粒的通路單價約為每顆250美元+，倘若13億預算的說法屬實，輝達僅能預訂520萬顆，僅佔HBM全年總產能的1/10。

實際上，根據封裝資料的推算，輝達2024年預定了超過14萬片晶圓的CoWoS產能，其中台積電作為“主要供應商”分到12萬片，Amkor作為“次級供應商”分到2- 3萬片，對應GPU整體的產能接近450萬顆。

以每顆GPU邏輯晶片和儲存顆粒1：6的比例測算，即輝達全年需要約2700萬顆HBM，基於單顆250美元的成本測算，意味著輝達全年採購HBM晶片的費用可以預測到68億美元，遠超過先前媒體揭露的13億美元預算。

注意：諸如輝達RTX系列使用GDDR6顆粒的消費級顯示卡，自然不計入CoWoS產能；上述的輝達產能是特指Hopper系列和Blackwell架構的B200，由此估算2024年輝達的HBM顆粒訂單需求是2700萬顆。

輝達H100實體圖，中間為邏輯晶片，旁邊為6顆HBM晶片來源：網絡

截至2024年第4季度，各家GPU超算產品對應HBM顆粒封裝的預定產能約900萬顆，結合2025年海力士/三星/鎂光三家內存廠的擴產計劃總計近6000萬顆HBM（12層為主，8層略少），這兩份供應數據就是吻合的，同時也說明2024-2025年的CoWoS和HBM產能是充足的。

不過雖然產能不缺，但是上述數據畢竟是“年度計”，事實上很多產能直到第4季度才會開出，而各家預定的產能當然是越早越好，時效性是關鍵條件，上半年初的機會窗口更重要，倘若下半年才開始投產，那麼產品進入通路就要等到隔年。

另外關於CoWoS產能的擴充，目前主要依賴台積電和Amkor的產能，諸如台聯電、格芯等產線，雖然也能做前道65nm的中介層，但由於缺乏先進製程覆蓋的能力，即無法代工前道的先進製程邏輯晶片和中介層，也無法實現一條龍的CoWoS全棧，目前看最有機會的追趕者是三星。

三星計劃導入全端CoWoS封裝，產品化命名為I-CUBE/H-CUBE，與台積電爭奪訂單；但是三星在2024年尚且不能開出產能，2025年可能對三星更有利，作為同時供應HBM和CoWoS的IDM廠商，其製程特點和價格優勢是顯見的。 （未來，三星還會推出X-CUBE 3D封裝，統稱為SAINT，也就是三星先進封裝技術。）

另外，倘若2025年英特爾的晶圓代工業務順利實現獨立運營，其Intel Foveros封裝方案也值得觀望。

目前我們看到HBM全球庫存和通路周轉十分緊張，實際原因是當期HBM3e供應商僅有SK海力士一家，恰逢大模型高速發展的趨勢帶來的HBM需求高峰，進而出現供需失衡，但這種失衡會隨著產能擴大而減緩。

不過，有一點要關注，儲存顆粒是一種標準品SKU，無需針對顆粒本身做客戶化定制，於是這個品類就產生了所謂現貨市場。標準現貨是可以透過通路或分銷平台正常流通的，即倘若2024年SK海力士、美光和三星三家內存廠規劃的產能全部順利開出，則全球各區域的代理商庫存都會充足，無數的次級通路/次級代理商都可以無限轉售。

因此，只要現貨庫存充足、價格趨勢向好，現貨市場便永遠可以拿貨，演變成DRAM現貨通路的業態，這是記憶體顆粒的產業特性。

這就引發了一個很有意思的話題，倘若出於特殊原因，某個企業無法透過向上述三家訂貨怎麼辦？

現貨市場就是一個通路－特定企業可以從現貨市場購買HBM顆粒，進而再適配控制器、適配I/O和邏輯封裝。

倘若現貨市場仍買不到HBM內存，也可以從現貨市場採購2D-DRAM顆粒，再通過TSV垂直方向通孔、TCB熱壓鍵合（未來更多層堆疊則需要Hybrid Bonding鍵合）的封裝工藝可以堆疊出一個規格不算高的HBM裝置。

當然，終極目標就是自研內存顆粒，實現HBM自主產業化。

H100和MI300封裝方案圖解來源：網絡

參考當下的GPU晶片構型，倘若缺少CoWoS封裝結構，HBM甚至無處擺放。

目前全球可選的CoWoS產能供應商有幾個類別：

其二是由台積電完成晶圓和前道中介層的製造（即CoWoS的“CoW”部分，堆疊+互連），隨後交由自家封裝廠（例如空閒的InFO產能）或是合作第三方OSAT封裝廠，俗稱外包封裝廠，完成「on Substrate」部分，即封裝在基板上；

其三是，可委託由聯電、格芯生產中介層，隨後再送交Amkor或日月光等OSAT產線，委託完成「WoS」部分。但如前文提到，這兩家製程節點基本上在65nm左右，不能代工先進前道的先進製程邏輯晶片和中介層，也不能完成一條龍的CoWoS全端；

其四是Samsung I-Cube/H-Cube和Intel Foveros，兩家都可以完成全端CoWoS交付，但目前都還沒有開出產能

其五是國內也有一部分CoWoS的能力，但幾乎全部是CoW+WoS的工藝對接，也就是聯電、格芯+Amkor、日月光的模式。

相較於其它製造工序而言，CoWoS並沒有極度前緣的技術門檻，唯一的關鍵是它要確保在高微縮製程下的高良率。

因為在封裝層面，倘若出品有較高的不良/失效，那麼上面堆疊連接的HBM等裝置就變成無可挽回的損耗了，能夠兼顧較高工藝節點和良率的廠商，目前唯有台積電可以滿足。

單就CoW+WoS產能而言，全球可以開出許多產能（尤其是WoS廠商），但是能夠適用於先進運算晶片的製程/良率的產能則不多。

導致上述良率門檻的原因是工藝：

以WoS良率為例，困難主要在於其封裝的中介層尺寸應有嚴格限制，即矽中介層面積需要大於其上面2個甚至多個裸晶的尺寸總和。然而，隨著這個尺寸越來越大，第五代CoWoS甚至支持通過一種"2-way lithography stitching approach技術"使得中介層尺寸可以擴到2500mm²，隨之帶來的工藝風險就是－on wafer ，也就是矽晶圓上堆疊時出現邊緣扭曲、接角垂直凸等變問題，導致封測後不良，而台積電CoWoS工藝磨合了10幾年，積累大量knowhow，才獲得如今可靠的高良率。

台積電對外的技術ppt，矽中介層可達2500mm² 來源：網絡

對於OSAT專業封裝廠（包括Amkor/日月光等），製程良率拉升緩慢也與前段中介層的分開製造有關，雖然CoW+WoS是合理的產業鏈分工，但是拉升兩者共同出品的良率需要兩家製程同步發展。

目前，大陸的先進邏輯晶片和中介層基本上是由SMIC製造，再將其委託給OSAT專業封裝廠完成WoS封測；而倘若拿不到SMIC的產能，也可以委託聯電和格芯代工。

未來可能全球大部分2.5D封裝都會是前道+後道合作的模式；前道晶圓廠提供中介層做CoW，後道有載板的做WoS。另外，CoWoS也會更下沉適用到其它場景，涉及AI-HPC的未來大部分產品都會依賴CoWoS封裝，2.5D/3D封裝目前來看，晶圓廠還是相比OSAT更具優勢。

隨著AI-HPC產業對於HBM記憶體的高度需求，該元件的產品受眾、貨值和市場空間都是水漲船高，如今HBM單位售價是傳統DRAM的數倍，是DDR5的約5倍。

如前文所述，當期12層HBM顆粒的渠道單價已然250美元/顆，價格相比2023年略有上浮。

換一個計算角度：目前在AI-HPC計算晶片上，通常6顆容量16GB的HBM3顆粒的合計成本約1500美元，相當於15.6美元/GB；換算到H100 SXM5闆卡，6顆HBM3 80GB，相當於相當於18.75美元/GB，約佔整顆晶片物料成本的50%+。

有一組數據是來自Yole：未來5年先進封裝整體複合增速是40%，其中3D封裝是超過100%的增速；以及五年後接近40%的HBM都要基於混合鍵合封裝了。

因此，無論海外或是大陸廠商，上述談到的幾個產業方向「HBM、CoW、TSV/Hybrid Bonding」的潛在市場空間是廣闊的，期待國產廠商有成熟的良率和進軍海外市場的可能。同時隨著AI-HPC市場的繁榮，受此驅動，預計將大幅提高HBM在泛DRAM市場的份額，HBM在DRAM市場總容量中的份額預計將從2023年的2%上升到2024年的5% ，到2025年將超過10%。(騰訊科技)

8月8日，NVIDIA創始人黃仁勳在SIGGRAPH現場發表NVIDIA主題演講中談到，通用計算將要讓位給加速計算和AI計算。未來，大語言模型將幾乎被應用於所有前端，幾乎所有應用程序、數據庫，而當人與計算機交互時都要先通過大模型。

黃仁勳宣布推出下一代版本的GH200 Grace Hopper超級芯片，該芯片將成為世界上第一個配備HBM3e（High Bandwidth Memory 3e）內存的GPU芯片。

最新版本的GH200超級芯片內存容量增加了3.5倍，帶寬增加了3倍；相比最熱門的H100芯片，其內存增加1.7倍，傳輸頻寬增加1.5倍。

下一代版本的GH200 Grace Hopper超級芯片將成為世界上第一個配備HBM3e內存的GPU芯片。

圍繞生成式AI，NVIDIA的軟件部署

關於工作整合便捷高效方面，SIGGRAPH現場黃仁勳發布了一個全新的工作空間NVIDIA Workbench ，該平台可以簡化選擇基礎模型，構建項目環境，使用戶能夠在個人電腦或工作站上快速創建測試和微調生成式AI模型，然後將這些模型擴展到幾乎所有數據中心或云中，幫助使用者構建大型語言模型。

關於為每個人提供生成式AI方面。英偉達將與初創企業Hugging Face合作，幫助使用者構建大型語言模型等高級AI應用，意味著使用者將可以免費使用GPT34 0個參數的微調和推理，生成自己的大語言模型，或將其用於生成和合成圖像等其他用途。

關於AI在虛擬世界中的應用。黃仁勳宣布，NVIDIA Omniverse的重量更新，為開發者、企業和行業帶來新的基礎應用和服務,使他們能夠使用open u SD框架和生成式AI ，優化改進3 D流程。

關於世界產業的可視化。黃仁勳發布包括R unUSD 、ChatUSD 、D eep S earch和USB - GD N Publisher在內的四款全新Omniverse Cloud API ，使開發者能夠更加流暢，實施和部署open USD流程和應用，這意味著重工業的整個生產流程，可以實現可視化，減少能源損耗以及實際製造前的數字錯誤。

在黃仁勳發表的最新演講和發布的產品中，我們看到了英偉達在軟件部署上的野心。事實上在AI領域,英偉達GPU早已成為核心基礎設施，是各家企業大模型訓練的必要硬件工具。

自ChatGPT火爆出圈以來，國內外科技巨頭紛紛佈局大模型。

根據《中國人工智能大模型地圖研究報告》分析，中國自2020年進入大模型加速發展期，目前與美國保持同步增長態勢，湧現了盤古、悟道、文心一言、通義千問、星火認知等一批具有行業影響力的預訓練大模型。

對大模型來說，通常需要更多的計算資源進行訓練和推理，才能提供更高的性能和更好的準確性。這就意味著，隨著通用大模型的參數量和計算複雜度不斷增加，數億甚至數十億個參數的模型也變得更加常見。目前，中國10億參數規模以上的大模型已發布79個。

每一個大模型正常運轉的背後，都需要算力加持，算力需求的暴漲讓跟算力“劃等號”的高端GPU一芯難求，“算力”軍備競賽正在全球範圍內上演。

目前，高端GPU價格仍在上漲，在eBay網站上英偉達H100售價高達4.5萬美元，約合32萬人民幣，較官網售價漲幅23% （3.65萬美元，約合26萬人民幣），較4月4萬美元的價格漲幅超過10% 。

H100是英偉達2022年推出的加速卡，比上一代的A100性能高了4.5倍，考慮到訓練和推理性能，是當前最受歡迎的顯卡。

中國方面，受芯片出口管制影響，英偉達（輝達、NVIDIA）A100及H100兩款型號國內不能買到。所以NVIDIA推出了專供中國的A800和H800 ，實際性能只有前者的7成左右，在符合限售禁令的同時亦滿足中國市場GPU需求。

國外方面，主要是需求旺盛疊加產能不足，導致GPU短缺。根據GPU Utils關於英偉達H100顯卡供需現狀文章，分析認為全球市場對H100芯片的需求量達到43.2萬張，以每塊3.5萬美元計算，GPU的價值約為150億美元，這還未考慮國內H800的需求。

目前，H100由台積電獨家代工生產，英偉達黃仁勳在今年6月台北電腦展上表示，不會考慮新增第二家晶圓代工，因此英偉達A100 / A800及H100皆下單台積電。雖然英偉達後又追加訂單，但由於從晶圓加工到封裝測試至少需要4個月的時間，產能短期仍無法滿足暴漲的需求。

8月2日， OpenAI 已經正式為“GPT-5”提交了商標申請，此舉可能預示著OpenAI計劃推出新的大型語言模型（ LLM ）“GPT-5” 。馬斯克估計訓練GPT-5 ，可能需要3萬至5萬張H100顯卡。

OpenAI首席執行官奧爾特曼（Sam Altman ）近日公開表示：“我們的GPU非常短缺，使用ChatGPT的人越少越好，這樣才能確保用戶有足夠的算力。”

一開始，GPU專注於圖像渲染處理，由英偉達在1999年發布GeForce 256圖形處理芯片時率先提出，當時GPU主要面向的是遊戲和PC市場。

由於GPU架構內主要為計算單元，適合處理高度線程化、相對簡單的並行計算，在圖像渲染等涉及大量重複運算的領域擁有更強運算能力。因此，英偉達在後期又進一步將計算機程序模擬為渲染過程，將GPU應用於通用並行計算，並於2007年推出了基於CUDA的GPGPU （通用GPU ）beta版。

自此，GPU不再局限於圖形處理的遊戲和PC市場，並隨著AI的興起，GPGPU在AI領域大行其道。

目前，英偉達GPU在圖形渲染領域與AMD並駕齊驅；但在通用GPU領域英偉達一騎絕塵，市場佔有率超80% ，幾乎成為該領域無可替代的存在。

在高端 GPU芯片進口受限的背景下，國內GPU廠商近些年奮力追趕，在圖形渲染GPU和高性能計算GPGPU領域上均推出了較為成熟的產品。

GPGPU方向的代表性廠商像海光、壁仞、沐曦、登臨、天數智芯等，GPU渲染路線的代表性廠商像景嘉微、摩爾線程、芯動科技等。

國內GPU廠商中壁仞、天數智芯、沐曦等均已推出採用7nm工藝的GPU ，芯瞳半導體、芯動科技、摩爾線程等公司也相繼推出GPU產品。原CPU廠商龍芯、海光等也在加註GPGPU ，不過龍芯GPGPU主要是集成在自家SOC中，預計2024年龍芯將流片。

圖：國產GPU廠商產品進展；來源：根據公開資料整理，芯榜製圖

這當中大部分企業屬於初創期，成立時間不足5年，在產品可用性及市場規模上都與國外大廠相差甚遠。如果用一句話總結，國內GPU廠商當下處於“從0到1 ”的階段，通過快速迭代，拉進與國外大廠的差距，以形成自身競爭力。

國產GPU在硬件性能上不斷追趕行業主流產品，但若細化到產業中，仍有三大難題待解。

資金、產業鏈協同、軟硬件生態的三大難題

先說資金，一級市場融資解決了一部分初創企業資金難問題。

IT桔子數據顯示，2020-2022年是國產GPU投融資大年。國產GPU融資在2021年迎來峰值，總融資額突破120億人民幣，即便2022年融資總額較前一年縮減50% ，但仍為近8年GPU行業融資金額第二的年份。

雖然，眾多成立2-3年的初創公司獲得多輪巨額融資，但相較GPU芯片研發燒錢程度來說，還是杯水車薪。業內人士向芯榜透露，一款GPU從設計到落地，整體花費大致需要20幾億人民幣（包含人工）。

芯榜整理了近幾年來GPU廠商融資情況，排名靠前的為摩爾線程、壁仞科技、沐曦、天數智芯。如果對照上文中“國產GPU廠商產品進展”，可以發現融資順暢的GPU廠商，產品進展也相對較快。

來源：公開資料整理，芯榜製圖

注意，這裡未公開的融資金額未計入。例如，登臨科技從2020年3月天使輪至今，已完成融資6輪，但由於融資金額“未公開”，因此未計數。上圖中統計融資金額，若有遺漏，歡迎指正。

資金問題相對好解決，但並不是“燒錢”就有GPU可用。除了資金問題，國產GPU真正需要解決兩大問題是產業鏈協同、軟硬件生態。

GPU產品從開發設計到流片到反片調優，最後正式發布，經歷這一完整週期，大概需要一年半或兩年甚至更長的時間，中間涉及眾多環節。

以流片為例，現階段國產GPU廠商設計的7n m芯片，國內代工廠由於技術問題尚且無法提供流片服務，那麼GPU廠商大概率還是選擇先進工藝成熟的台積電流片。

據業內人士透露，初創企業找台積電流片，不僅要付2-3億元高額代工費，流片需要的材料還需要自己找，然後帶著材料去台積電流片。流片環節處於芯片設計和芯片量產的中間階段，是芯片量產的必經之路，對GPU初創企業來說，即便請台積電流片的條件苛刻，但也無可奈何。

芯片流片前後過程至少持續三個月（包括光刻、摻雜、電鍍、封裝測試），一般要經過1000多道工藝。而若一次流片不成功，還需二次流片、三次流片……不僅燒錢，還耗費時間。

尤其是GPU作為一款數字芯片，遵循摩爾定律，約每隔18個月，機體電路上可容納的晶體數目便會增加一倍，性能也將提升一倍。而在“自己卷自己”的“黃氏定律”推出後，基於GPU的一倍性能提升只需要1年的時間。

想想看，國產GPU公司團隊可能剛組建完畢，產品demo還沒做出來，國外頭部GPU廠商產品已更新換代。所以，GPU作為一種跟時間賽跑、跟友商激烈競爭的產品，國產GPU企業在設計產品時，必須要具備一定的前瞻性，才有可能在市場中佔據一席之地。不然耗時2年，消耗幾十億的產品可能即便順利量產，最終或因性能落後無法被市場所接受。

英偉達H100採用4nm工藝，國內GPU最先進製程為7nm工藝，製程工藝的差距除了GPU設計企業需要努力外，國內供應鏈代工環節的技術差距或許短期內更難突破。半導體全產業協同作戰，才有可能逐步縮短跟國外大廠的差距。

對於國產GPU公司，產品性能是一個門檻，另一個門檻是易用性，這就涉及到生態問題。英偉達經過20多年的發展，已經形成了強大的生態護城河CUDA 。國內GPU廠商尚處於發展初期，急於攻克硬件，而忽視了軟件問題。

事實上，一款GPU是否易用、好用，軟件極為重要。好的軟件能夠驅動硬件能力，優化軟件後，硬件得以跑出更好的性能和效率。目前國產GPU生態還屬於新生狀態，硬件和軟件的相互迭代過程並不是一蹴而就，需要長時間的積累。國產GPU之路，注定是一場馬拉松式的賽跑。短期2-3年或許能攢出一個硬件，但真要做到易用、好用，還要在生態、應用層面做大量的研發和優化。（芯榜+）

【導讀】昨天深夜，重返SIGGRAPH舞台的老黃，再次給全世界帶來了「億點點」震撼。

生成式AI的時代已經來臨，屬於它的iPhone時刻到了！

就在8月8日，英偉達（輝達、NVIDIA）CEO黃仁勳，再次登上了世界頂級計算機圖形學會議SIGGRAPH的舞台。

一系列重磅更新接踵而至——下一代GH200超級芯片平台、AI Workbench、OpenUSD……

而英偉達也藉此將過去數十年的所有創新，比如人工智能、虛擬世界、加速、模擬、協作等等，一舉融合到一起。

在這個LLM大爆炸的時代，老黃依然敢大膽放話：「買得越多，省得越多！」

在5年前的SIGGRAPH上，英偉達通過將人工智能和實時光線追踪技術引入GPU，重新定義了計算機圖形學。

老黃表示：「當我們通過AI重新定義計算機圖形學時，我們也在為AI重新定義GPU。」

隨之而來的，便是日益強大的計算系統。比如，集成了8個GPU並擁有1萬億個晶體管的NVIDIA HGX H100。

就在今天，老黃再次讓AI計算上了一個台階——

除了為NVIDIA GH200 Grace Hopper配備更加先進的HBM3e內存外，下一代GH200超級芯片平台還將具有連接多個GPU的能力，從而實現卓越的性能和易於擴展的服務器設計。

而這個擁有多種配置的全新平台，將能夠處理世界上最複雜的生成式工作負載，包括大語言模型、推薦系統和向量數據庫等等。

比如，雙核心方案就包括一台配備了144個Arm Neoverse核心並搭載了282GB HBM3e內存的服務器，可以提供8 petaflops的AI算力。

其中，全新的HBM3e內存要比當前的HBM3快了50%。而10TB/sec的組合帶寬，也使得新平台可以運行比上一版本大3.5倍的模型，同時通過3倍更快的內存帶寬提高性能。

據悉，該產品預計將在2024年第二季度推出。

RTX工作站：絕佳刀法，4款顯卡齊上新

這次老黃的桌面AI工作站GPU系列也全面上新，一口氣推出了3款新品：RTX 5000、RTX 4500和RTX 4000。

如果H100以及配套的產品線展示的是英偉達GPU性能的天際線的話，針對桌面和數據中心推出的這幾款產品，則是老黃對成本敏感客戶秀出的絕佳「刀法」。

在發布這新GPU的時候，現場還出現了一個意外的小花絮。

老黃從後台拿出第一塊GPU的時候，似乎不小心在鏡面面板上沾了指紋。

老黃發現後覺得可能是自己搞砸了，就很不好意思地和現場觀眾說對不起，表示這次產品發布可能是有史以來最差的一次。

看來就算開發布會熟練如老黃，也會有翻車的時刻。

而如此可愛的老黃，也惹得在場觀眾不斷發笑。

言歸正傳，作為旗艦級專業卡，去年推出的RTX 6000的性能參數毫無疑問是新品中最強的。

憑藉著48GB的顯存，18176個CUDA核心，568個Tensor核心，142個RT核心，和高達960GB/s的帶寬，它可謂是一騎絕塵。

RTX 5000配備了32GB顯存，12800個CUDA核心，400個Tensor核心，100個RT核心。

RTX 4500配備了24GB顯存，7680個CUDA核心，240個Tensor核心，60個RT核心。

RTX 4000配備了20GB顯存，6144個CUDA核心，192個Tensor核心，48個RT核心。

基於新發布的3張新的GPU，針對企業客戶，老黃還準備一套一站式解決方案—— RTX Workstation。

支持最多4張RTX 6000 GPU，可以在15小時內完成8.6億token的GPT3-40B的微調。

還能讓Stable Diffusion XL每分鐘生成40張圖片，比4090快5倍。

OVX服務器：搭載L40S，性能小勝A100

而專為搭建數據中心而設計的NVIDIA L40S GPU，性能就更加爆炸了。

基於Ada Lovelace架構的L40S，配備有48GB的GDDR6顯存和846GB/s的帶寬。

在第四代Tensor核心和FP8 Transformer引擎的加持下，可以提供超過1.45 petaflops的張量處理能力。

對於算力要求較高的任務，L40S的18,176個CUDA核心可以提供近5倍於A100的單精度浮點（FP32）性能，從而加速復雜計算和數據密集型分析。

此外，為了支持如實時渲染、產品設計和3D內容創建等專業視覺處理工作，英偉達還為L40S 還配備了142個第三代RT核心，可以提供212 teraflops的光線追踪性能。

對於具有數十億參數和多種模態的生成式AI工作負載，L40S相較於老前輩A100可實現高達1.2倍的推理性能提升，以及高達1.7倍的訓練性能提升。

在L40S GPU的加持下，老黃又針對數據中心市場，推出了最多可搭載8張L40S的OVX服務器。

對於擁有8.6億token的GPT3-40B模型，OVX服務器只需7個小時就能完成微調。

對於Stable Diffusion XL模型，則可實現每分鐘80張的圖像生成。

AI Workbench：加速定制生成式AI應用

除了各種強大的硬件之外，老黃還重磅發布了全新的NVIDIA AI Workbench，來幫助開發和部署生成式AI模型。

概括來說，AI Workbench為開發者提供了一個統一且易於使用的工具包，能夠快速在PC或工作站上創建、測試和微調模型，並無縫擴展到幾乎任何數據中心、公有云或NVIDIA DGX Cloud上。

“20年前我們推出了RTX顯卡，5年前我們將圖形計算與AI結合，推出了“星戰”Demo。”

“買得越多，省得越多，任何人都可以訓練AI模型。”

美國當地時間8月8日早上，英偉達（輝達，NVIDIA）創始人、CEO黃仁勳在世界計算機圖形會議SIGGRAPH2023上，開場回顧了英偉達在圖形計算上的高光時刻，並且展示了最新實時渲染的4K分辨率3D賽車追逐Demo。

不過，僅僅幾分鐘後，“皮衣教主”的演講，就從3D圖形完全過渡到AI上了。作為人工智能浪潮中最重要的人物，黃仁勳為“普及生成式AI”提供了更生猛的硬件和更智能的應用和平台。

當天，黃仁勳曝光了用於生成式AI的GH200 Grace Hopper超級芯片、NVIDIA AIWorkbench以及通過生成式AI和OpenUSD升級的NVIDIA Omniverse。

同時，黃仁勳還宣布英偉達與AI開源社區Hugging Face合作，將把生成式AI超級計算能力交付給數百萬開發者，為他們構建大型語言模型（LLM）和AI應用提供支持。

“還是那句話，買的越多，省的越多。”即使到了現在，黃仁勳依然不改金牌銷售的風格。

“生成式AI時代的來臨，就像iPhone時刻一樣。”黃仁勳感慨，英偉達加速計算的旅程與深度學習研究人員的旅程相遇，現代人工智能的大爆炸發生了。

五年前，英偉達通過在GPU上引入AI和實時光線追踪，重新定義了圖形技術。但是“當我們通過AI重新定義計算機圖形時，我們也正在為AI重新定義GPU。”

結果就是，出現了越來越強大的系統，例如NVIDIA HGX H100，利用八個GPU，總計1萬億個晶體管，比基於CPU的系統提供了更顯著的“加速計算”。

黃仁勳展示GH200芯片。來源：英偉達

五年後，為了繼續推動AI發展，英偉達推出了Grace Hopper超級芯片，即NVIDIA GH200，它將72核Grace CPU與Hopper GPU相結合，提供1 EFLOPS的AI算力和144TB的高速存儲，並於今年5月全面投產。

對於GH200，黃仁勳在演講又拿出了看家金句，“如果我可以請你記住我今天演講中的一件事，那就是，未來屬於加速計算，你買的越多，你省的越多。”

NVIDIA GH200最可怕的不是性能強悍，而是近乎瘋狂的“可擴展性”。

GH200 Grace Hopper超級芯片平台。該平台連接多個GPU，用於處理複雜的生成式工作負載，包括大型語言模型、推薦系統和矢量數據庫。據稱，與前一代相比，雙配置的內存容量是之前的3.5倍，帶寬是之前的3倍，服務器配備144個Arm Neoverse核心、8 petaflops的AI性能和282GB的最新HBM3e內存技術。預計2024年第二季度將有客戶基於該平台推出自己的系統。

GH200組成的AI超算實體大小圖。來源：英偉達

根據老黃的說法，在相同的成本（1億美元）下，2500塊GH200組成的計算中心，在AI計算的能效上，要比傳統的CPU計算中心高20倍。

如果說上千塊GH200適用的對像是“前沿大語言模型”，對於已經成為“主流”的模型，英偉達也提供了能被普通人和公司使用的、成本更低的產品。

基於專業圖形應用需求，如計算機輔助設計和數字內容創作，英偉達還發布了基於Ada Lovelace架構的RTX 4000 20GB、RTX 4500 24GB和RTX 5000 32GB，分別能提供26.7、39.6、65.3FP32TFLOPS的計算性能。

英偉達推出搭載L40SGPU的OVX服務器產品。來源：英偉達

此外，英偉達還推出了搭載L40S GPU的OVX服務器產品，每台服務器最多可以裝八個L40S GPU，每個GPU有48GB內存。對於具有數十億參數和多種數據模態的複雜AI工作負載，相較於A100 Tensor Core GPU，L40S能夠實現1.2倍的生成式AI推理性能和1.7倍的訓練性能。

“專為生成式AI時代打造的AI超算”，GH200的PPT頁面上如此寫道。

為了加速各類企業定制生成式AI，黃仁勳宣布，英偉達推出“AI Workbench”。

據稱，它為開發人員提供了一個統一、易於使用的工具包，可以在個人電腦或工作站上快速創建、測試和微調生成式AI模型，然後將其擴展到幾乎任何數據中心、公有云或NVIDIA DGX Cloud。

AIWorkbench主要降低企業啟動AI項目的門檻。通過在本地系統上運行的簡化訪問界面，它允許開發人員從流行庫（如Hugging Face、GitHub和NGC）中微調模型，使用自定義數據。然後，這些模型可以在多個平台之間共享。

黃仁勳介紹英偉達AI Workbench。來源：英偉達

全球各地企業都在競相尋找合適的基礎架構並構建生成式AI模型和應用，儘管現在已經有數以千計的預訓練模型可用，但是使用許多開源工具進行定制可能仍具挑戰性且耗時。

“為了使這種能力普惠，我們必須使其能夠在幾乎所有地方運行。”黃仁勳稱：“讓所有人都能參與生成式AI。”

借助AI Workbench，開發人員可以只需點擊幾下就可以定制和運行生成式AI。它允許他們將所有必要的企業級模型、框架、軟件開發工具包和庫匯集到一個統一的開發者工作區中。

據稱，包括戴爾、惠普、Lambda、聯想和Supermicro，都正採用AI Workbench，因為它可以將企業生成式AI能力帶到開發人員希望工作的任何地方，包括本地設備。

在演講中，黃仁勳展示了AI Workbench和ChatUSD如何將所有這些功能結合在一起：允許用戶從GeForce RTX 4090筆記本電腦啟動項目，並隨著項目變得更加複雜而無縫擴展到工作站或數據中心。

據黃仁勳展示，用戶可以提示模型生成一張玩具黃仁勳在太空中的圖片，但初始模型提供的結果不適用，因為它從未見過玩具黃仁勳，這時候用戶可以用八張玩具黃仁勳的圖片微調模型，然後再次輸入提示，獲得正確的結果。

使用提示詞創建出的黃仁勳人偶上太空。來源：英偉達

然後，使用AI Workbench，新模型就可以部署到企業應用程序中。

黃仁勳還宣布了英偉達與Hugging Face的合作夥伴關係，後者擁有200萬用戶，或將使英偉達的生成式AI計算能力成為數百萬開發人員構建大型語言模型和AI應用的工具。

作為合作的一部分，Hugging Face將提供一個新的服務——“練集群即服務”（Training Cluster as a Service），由NVIDIA DGX Cloud提供支持，該服務將在未來幾個月內推出。

英偉達將聯手最熱的AI開源社區Hugging Face。來源：英偉達

開發人員將能夠在Hugging Face平台內訪問NVIDIA DGX Cloud AI超級計算，以訓練和微調先進的AI模型。據悉，Hugging Face社區已分享超過25萬個模型和5萬個數據集。

“這將是一個全新的服務，將世界上最大的AI社區與世界上最好的訓練和基礎設施連接起來。”黃仁勳稱。

就在本週，英偉達、蘋果、Adobe和Autodesk等公司聯手成立OpenUSD聯盟，將這個誕生於皮克斯的3D標準，推向更廣闊的世界。

而將OpenUSD、AI以及Omniverse結合，設計和開發人員將能通過ChatUSD這樣的對話式界面，直接用自然語言修改和創建3D環境及物體，極大簡化3D製作流程。

黃仁勳介紹OpenUSD聯盟。來源：英偉達

該聯盟將標準化並擴展OpenUSD，這是開源的通用場景描述框架，是實現互操作性的3D應用程序和項目的基礎，涵蓋從視覺效果到工業數字孿生的各個領域，如連接電影和動畫流程，創建真實精確的實時數字工廠、倉庫、城市甚至地球數字副本等。

英偉達和Adobe還計劃將Adobe Firefly（Adobe的創意生成式AI模型系列）作為API提供在Omniverse中。

據悉，Cesium、Convai、Move AI、SideFX Houdini和Wonder Dynamics等AI工具現在已經通過OpenUSD連接到Omniverse。

使用OpenUSD，各個管線的工具可以同時使用一個素材和場景。來源：英偉達

例如，Wonder Dynamics通過新的OpenUSD導出支持，可以自動將計算機生成的角色動畫、燈光和合成到現實場景中。Move AI可以使用Move One應用程序進行單攝像機運動捕捉，可以生成3D角色動畫，然後可以導出到OpenUSD並在Omniverse中使用。

現在，Omniverse用戶可以構建與其他基於OpenUSD的空間計算平台（如ARKit和RealityKit）兼容的內容、體驗和應用程序。

另外，黃仁勳還宣布了由英偉達構建的四個新的Omniverse Cloud API，包括ChatUSD、RunUSD、DeepSearch和USD-GDNPublisher，供開發人員更無縫地實現和部署OpenUSD管道和應用程序。

使用ChatUSD，可以用自然語言修改右邊的3D模型。來源：英偉達

其中，ChatUSD可以回答USD知識問題或生成Python-USD代碼腳本；RunUSD可以將USD文件轉化為渲染圖像；DeepSearch可以實現語義3D搜索；USD-GDN Publisher可用於發布基於OpenUSD的高保真體驗，實時流式傳輸到Web瀏覽器和移動設備。

英偉達Omniverse和模擬技術副總裁稱，“工業企業正在競相將其工作流數字化，這增加了對啟用OpenUSD的、連接的、可互操作的3D軟件生態系統的需求。” “最新的Omniverse升級讓開發人員通過OpenUSD利用生成式人工智能來增強他們的工具，同時允許企業構建更大、更複雜的全球規模模擬，作為其工業應用的數字測試場。”

目前都有誰在用Omniverse？據黃仁勳介紹，科技公司正在用它測試和模擬協作機器人，亞馬遜用它模擬車隊將倉庫數字化，汽車廠商如梅賽德斯用它來模擬自動駕駛汽車，寶馬用它模擬新的電動汽車生產線，將全球工廠網絡數字化，Deutsche Mind用它創建鐵路網絡的數字孿生，甚至還有公司用它創建地球的數字孿生，即地球的氣候系統等等。

據悉，英偉達還正在開發一種新的SimReady 3D模型結構。這些模型將包括真實的材料和物理屬性，這對於準確訓練自主機器人和車輛至關重要。例如，一個負責分揀包裹的自主機器人需要在3D模擬中進行訓練，這些包裹在物理接觸時移動和反應，就像在現實世界中一樣。

在AI的推動下，協作式3D和工業數字化的時代正在到來。黃仁勳還認為，未來的工廠將是機器人工廠，“機器人協調一大堆機器人來製造本身就是機器人的汽車” “我們希望AI能夠進行自我編程。”

“未來，整個工廠將由軟件定義。”黃仁勳稱。

作為這一波“生成式AI”浪潮中最重要的“基建”公司，英偉達股票已經在最近暴漲200%，一度突破萬億美元大關。

而在售賣“核彈”硬件之外，在軟件、雲計算和平台以及生態方面，英偉達同樣不遺餘力，因為只有讓生成式AI真正進入到工業生產和辦公中，才算是真正實現“AI普惠”。而從這個角度來看，英偉達和現在的AI初創公司，以及正在向生成式AI轉型的傳統公司，其實在一條船上。

“買更多，省更多”，而只有“更多AI”，英偉達才能保證自己“越賺越多”。（極客公園）

輝達NVIDIA又放大招了，這次直接用超級GPU GH200燃爆了市場。 

今日的COMPUTEX大會上，輝達CEO黃仁勳向全世界宣布——

我們已經到達了生成式AI的引爆點。從此，全世界的每個角落，都會有計算需求。

股價剛剛暴漲2000億美元的輝達，為這一刻早已做好準備。

2024，輝達要花450億買晶片

黃仁勳最新演講四大亮點，人與計算機交互先通過大模型，GPU還夠用麼？

老黃深夜炸場，AIGC進入iPhone時刻！Hugging Face接入最強超算，神秘顯卡勝過A100

黃仁勳：“核彈工廠”即將上線，要讓所有人用上生成式AI

老黃攜「超級GPU」炸場！E級AI超算性能飛升，買越多越划算，谷歌微軟Meta搶先試用