周三美股盤後，輝達CEO黃仁勳在2025財年第四季度業績電話會議上表示，公司對AI推理帶來的潛在需求感到興奮，這類計算需求預計將遠超當前的大語言模型（LLM），可能需要比現有計算能力高出數百萬倍。

黃仁勳稱，我們所做的事情並不容易，但輝達在提升供應能力方面表現良好。AI軟體將是一切資料中心的一部分，無論是短期、中期還是長期跡象都持續向好。他進一步確認，Blackwell系列晶片的供應鏈問題已完全解決，供應問題不曾妨礙到下一次訓練和後續產品的研發。此外，Blackwell Ultra計畫於2025年下半年發佈。

黃仁勳還指出，任何人都處在新科技轉型的起點，所有軟體和服務都將和AI相關。

輝達CFO Colette Kress指出，感恩節和聖誕節期間的遊戲硬體需求依然強勁，但整體營收仍受到供應限制的影響。不過，他預計供應問題將得到緩解，使得增速在當前季度迎來 「噴發」。

針對盈利能力，CFO指出，一旦Blackwell增產，利潤將有所改善，並預計到2025年年底，利潤率將在70%-80%區間的中部。然而，他強調，目前的首要任務是向客戶交付儘可能多的產品。大客戶和企業客戶的增速大致相同。

中國市場方面，黃仁勳表示，四季度營收季環比大體上持平。

Q1：隨著測試時計算和強化學習展現出巨大潛力，我們明顯看到訓練與推理之間的界限正在變得越來越模糊。那麼，這對未來專門用於推理的計算叢集可能意味著什麼？您如何看待這一趨勢對輝達及其客戶的整體影響？

CEO：現在存在多種計算擴展規律。第一種是預訓練擴展規律，這個趨勢仍會持續增長，因為我們正在進入多模態時代，並且現在的推理生成資料也可以用於預訓練。

第二種是後訓練擴展規律，它涉及強化學習，包括人類反饋強化學習、AI反饋強化學習，以及可驗證獎勵強化學習。在後訓練階段，所需的計算量實際上比預訓練更大。這也合乎邏輯，因為在使用強化學習時，AI可以生成大量合成資料或合成Token，並利用這些資料進一步訓練AI模型，這就是後訓練。

第三種，也就是你提到的部分，測試時計算或推理、長思維推理擴展。

它們本質上都是相同的概念。在推理過程中，我們有鏈式思維和搜尋，所生成的Token量以及所需的推理計算量已經比最初的大語言模型（LLM）中的單步推理高出100倍，而這僅僅是個開始。

未來，我們可能會看到計算需求增長至當前的數千倍甚至數百萬倍，AI 模型將變得更加智能，具備更強的思考能力，並依賴更複雜的模擬和搜尋推理。因此，關鍵問題是：如何設計適應這種演進的計算架構？

當前，不同AI模型有不同的架構需求——有些是自回歸模型，有些是基於擴散的模型。有時，資料中心需要採用分佈式推理，有時則需要緊湊式架構。因此，很難確定 最優的資料中心架構。

這正是輝達架構如此受歡迎的原因——我們的平台能夠支援所有類型的 AI 模型。我們不僅擅長訓練，事實上，目前大部分計算資源都用於推理，而Blackwell進一步提升了推理能力。我們在設計Blackwell時，就考慮到了面向推理的需求，讓AI能夠處理更加複雜的任務。

在訓練方面，Blackwell的性能已經提升了數倍。但真正令人驚嘆的是，在長思維推理、測試時擴展、推理AI方面，性能提升更為顯著——推理吞吐量提高了25倍，計算速度提升數十倍。因此，Blackwell在各個方面都將帶來卓越表現。

當企業在建構資料中心時，他們需要根據不同階段的需求進行調整，比如當前是否側重預訓練，是否專注於後訓練，或者是否需要大規模擴展推理計算。輝達的架構具有高度靈活性，可以輕鬆適應這些不同的計算模式。

因此，我們觀察到，越來越多的企業正在集中採用統一架構，比以往任何時候都更加明顯。這證明了輝達的架構在各個AI計算環節都具備極高的適用性和領先優勢。

Q2：請談一談GB200在CES（國際消費電子展）上的情況。您之前提到過機架級系統的複雜性以及所面臨的挑戰。此外，正如您在準備好的發言中所提到的，我們已經看到許多產品進入全面供應階段。請問GB200的量產進展如何？在系統層面，除了晶片層面的問題之外，是否仍然存在瓶頸需要考慮？另外，您是否依然對NGL72平台充滿信心？

A2：實際上，我現在比在CES（國際消費電子展）時更為興奮，因為我們在CES之後出貨量大幅增長。

目前，我們有約350家工廠在生產每台Blackwell機架（Grace Blackwell機架）所需的150萬個元件。是的，這確實極其複雜，但我們已經成功地加速量產Grace Blackwell，並在 上個季度實現了約110億美元的營收。

由於市場需求極其旺盛，客戶們都急切且迫不及待地想要獲得他們的Blackwell系統，因此，我們必須持續擴大產能。

你可能已經在網路上看到許多關於Grace Blackwell系統上線的慶祝消息。目前，我們自己也部署了大量Grace Blackwell裝置，供內部工程團隊、設計團隊和軟體團隊使用。此外，CoreWeave已公開宣佈他們成功上線該系統，微軟也已部署，OpenAI當然也在使用，此外還有許多客戶的系統正在陸續投入運行。

所以，我的答案是：我們所做的一切都極具挑戰，但進展順利，我們和所有合作夥伴都做得非常出色！

Q3：我想請您確認一下，第一季度是否會成為毛利率的最低點？您如何判斷當前強勁的市場需求能夠持續到明年？ 在您的觀察中，那些關鍵因素讓您對市場前景保持信心？此外，DeepSeek及其最新創新是否對您的這一判斷產生了影響？

CFO：關於毛利率，在Blackwell推廣初期，我們的毛利率將處於70%初段。

目前，我們的首要任務是加快製造進度，確保盡快將產品交付給客戶。一旦Blackwell完全量產，我們將能夠進一步最佳化成本，從而提升毛利率。預計今年晚些時候，毛利率可能會提升至70%中段水平。

正如您剛才聽到黃仁勳所提到的，系統架構本身相當複雜，在某些情況下需要高度定製化，並且提供多種網路連線選項，包括液冷和水冷方案。

因此，我們確實有機會在未來進一步提升毛利率。但目前，我們的首要任務仍然是盡快完成生產，並盡快將Blackwell交付至客戶手中。

CEO：我們掌握了幾個重要的資訊。首先，我們對 資料中心的資本投資規模 有相當清晰的瞭解。未來，絕大多數軟體都將基於機器學習，因此加速計算、生成式AI以及推理AI將成為資料中心所需的核心架構。

其次，我們擁有來自頂級合作夥伴的預測和規劃，同時，我們也看到許多充滿創新精神、令人振奮的初創公司仍在不斷湧現。這些公司正致力於AI領域的下一個突破，無論是自主智能體 AI、推理AI還是物理AI，每一家公司都需要大量的計算基礎設施來支撐其研發。

從市場訊號來看，我們可以分為短期、中期和長期三個維度：

短期訊號主要包括 採購訂單和合作夥伴的預測資料，這些資料能夠直接反映市場需求。

中期訊號關注基礎設施和資本開支的擴展速度，相較於前幾年，我們看到整體規模正在迅速擴大。

長期訊號——從根本上來說，軟體開發範式已經發生變化，從過去基於CPU的手工編碼，轉向基於GPU和加速計算的機器學習與AI驅動軟體。這表明AI計算架構將成為未來主流。

從整體趨勢來看，我們目前才剛剛進入消費級AI時代，包括 搜尋、生成式 AI、廣告、推薦系統 等應用仍處於早期階段。下一波浪潮將涉及企業級自主智能體AI、機器人AI，以及各國建構的主權AI，用於打造本地化AI生態系統。

這些領域才剛剛起步，但我們可以清晰地觀察到它們的發展勢頭。由於輝達處於這些創新浪潮的核心，我們能夠看到各個方向上都在發生大量創新，並且這些變革必然會實現。因此，從短期到長期，我們對市場前景充滿信心。

Q4：輝達下一代Blackwell Ultra計畫在今年下半年推出，保持了團隊年度產品發佈節奏。黃仁勳，您能否幫助我們理解Ultra的市場需求情況？ 目前，你們仍 加速推進現有Blackwell產品的量產，那麼在這種情況下，客戶和供應鏈如何同時管理這兩代產品的並行推進？此外，Blackwell Ultra是否仍然按計畫將在今年下半年推出？

CEO：是的，Blackwell Ultra仍計畫在今年下半年推出。

關於第一代Blackwell，我們確實遇到了一些小插曲，可能導致了 幾個月的延遲，但我們已經 完全恢復。團隊在解決問題方面做得非常出色，我們的 供應鏈合作夥伴 也提供了極大的支援，幫助我們 以極快的速度完成恢復。現在，Blackwell已經成功量產，但這不會影響我們下一代產品的推進。

我們的產品開發遵循年度節奏，Blackwell Ultra將搭載全新網路架構、新型記憶體以及升級版處理器，所有技術都將在今年下半年全面上線。

我們一直在與合作夥伴和客戶緊密合作，並為他們提供了所有必要的資訊，確保大家能夠 順利完成產品過渡。這次的Blackwell到Blackwell Ultra過渡將會更加順暢，因為它們的 系統架構完全相同。

相比之下，從Hopper過渡到Blackwell難度更大，因為我們從NVLink 8直接升級到了NVLink 72，導致 機箱設計、系統架構、硬體、電源供應等方面都需要調整，這一轉變的挑戰相當巨大。但Blackwell Ultra的升級不會有這些問題，它能夠無縫銜接到現有系統。

此外，我們已經 提前向合作夥伴披露並展開了下一代產品的合作，下一步將是Vera Rubin，目前所有合作夥伴都在為這次升級做準備。我們也在全力推進下一階段的產品迭代，屆時會帶來巨大性能提升。

歡迎大家來GTC大會！ 屆時我會詳細介紹Blackwell Ultra、Vera Rubin及其後續產品，這些都是 極具突破性的創新技術，非常值得期待。請大家一定要來GTC瞭解最新動態！

Q5：我們最近聽到了很多關於定製ASIC的討論。您能否談一談定製ASIC與標準GPU之間的平衡？此外，我們還瞭解到某些異構超級計算叢集計畫同時使用GPU和ASIC。請問客戶是否真的在建構這種混合架構？還是說，這些計算基礎設施仍將保持相對獨立？

CEO：我們與ASIC的建構方式完全不同。在某些方面，我們的技術路線完全不同，而在某些領域，我們確實會有所交集。但總體而言，我們與ASIC存在幾個關鍵差異。

首先，輝達的架構是通用的。無論是自回歸模型、基於擴散的模型、電腦視覺模型、多模態模型還是文字模型，我們都能提供卓越的計算能力。

之所以能做到這一點，核心原因在於 我們的軟體生態極其豐富，架構具有 高度靈活性。這使得輝達成為了幾乎所有前沿創新和新演算法的首選平台。本質上，我們的架構遠比專用ASIC 更具普適性。

其次，輝達提供端到端解決方案。從資料處理，到訓練資料的整理，再到模型訓練，以及強化學習在後訓練階段的應用，最終再到推理和測試時擴展，我們覆蓋整個AI計算流程。因此，我們不僅通用，而且覆蓋完整的計算鏈條。

此外，我們的架構無處不在。輝達不是只服務於某一個雲端運算平台，而是適用於所有雲端運算，並且可以部署在本地資料中心，甚至可以應用於機器人。這意味著，輝達的架構相比ASIC更加開放、靈活，且更容易被新興企業採用。對於任何一家正在創業或開發新技術的公司，輝達都是一個極具吸引力的首選平台。

最後，我想說的是，我們的技術迭代速度快得令人難以置信。

請記住，資料中心的規模始終是固定的，無論是 物理空間還是功耗，它們都有明確的上限。如果我們的性能功耗比提升2倍、4倍甚至8倍，那麼這將直接轉化為更高的收入。

舉個例子，如果一個資料中心的功率上限是100兆瓦，而在相同功耗下，我們的計算性能或吞吐量提高4倍或8倍，那麼這個資料中心的收入也將相應提高8倍。這與傳統資料中心的模式截然不同，因為AI工廠具有直接變現能力，它們的收入來源於生成的Token。我們的架構推理吞吐量極高，這對所有致力於AI商業化的企業來說都極具價值，因為他們希望快速獲得投資回報。

因此，我認為第三個關鍵因素是性能。

第四個因素是軟體生態的複雜性。

開發一個ASIC（專用晶片） 與我們所做的工作本質上並無不同，但輝達架構之上的軟體生態系統現在比兩年前複雜10倍。這很容易理解，因為全球正在輝達生態上開發的軟體量呈指數級增長，AI技術的發展速度也越來越快。因此，要在多種晶片架構上建構完整的軟體生態，難度極高。

最後，我想強調一點：設計一顆晶片≠實際部署。

我們見過太多失敗的晶片案例，設計出來並不意味著它能真正落地。最終，企業必須做出商業決策，選擇是否 將新的計算引擎或處理器部署到 有限的AI工廠之中，而這些工廠受制於規模、功耗和時間。

我們的技術不僅更加先進、性能更強，在軟體生態方面更具優勢，同時部署速度極快。這些都不是輕而易舉的事情，正如大家現在所看到的。

綜上所述，正是這些因素，使得輝達在競爭中持續獲勝。

Q6：黃仁勳，這個問題與地理市場相關。您剛才已經很清楚地解釋了當前強勁需求背後的驅動因素。但是，我們注意到，美國市場環比增長了約50億美元，與此同時，一些人擔憂如果其他地區受到監管限制，美國市場是否能彌補這一缺口。因此，我想請問，如果美國市場的增長勢頭持續到今年全年，這是否足以支撐輝達的增長？此外，您的高速增長是否依賴於市場結構向美國的傾斜？另外，您的指引顯示中國市場環比可能有所增長，您能否詳細講解全球市場的動態？也許Colette也可以補充一下？

CEO:中國市場的佔比與第四季度及之前幾個季度基本持平，大約是出口管制前的一半，但其整體比例仍保持穩定。

關於不同地區的市場情況，我想強調一個核心觀點：AI本質上是一種軟體，它是現代軟體，非常先進，但歸根結底，它仍然是軟體。而如今，AI已經成為主流技術。

AI無處不在，它被廣泛應用於配送服務和購物服務。無論你購買一盒牛奶，還是享受其他消費服務，AI都會在其中發揮作用。

AI已經深入到各個行業，成為不可或缺的一部分：每一位學生都會使用AI作為學習助手；醫療服務依賴AI進行診斷和資料分析；金融科技公司無一例外都在使用AI；氣候科技和礦產勘探也都藉助AI進行分析和最佳化；高等教育機構和大學也已將AI深度融入教學和研究。

因此，我認為可以相當肯定地說，AI已經全面進入主流應用，並且已經被整合到幾乎所有軟體和服務之中。

我們的希望是，AI技術能夠繼續安全發展，並且能夠為社會帶來積極影響。從這個角度來看，我相信我們正處於這一全新時代的起點，AI的大規模應用才剛剛開始。

我所說的「我們正處於這個新時代的起點」，是指在我們身後，已經有數十年積累的資料中心和電腦基礎設施。這些系統是為手工編碼和通用計算而建構的，它們主要依賴CPU等傳統架構。

然而，展望未來，幾乎所有軟體都將被AI深度融合，最終，所有的軟體和服務都將基於機器學習。資料飛輪效應也將成為持續最佳化軟體和服務的重要推動力。

未來的計算架構將會是加速計算，而AI將成為計算的核心。我們現在才剛剛走過幾年的發展歷程，而現代電腦的演進已經經歷了數十年的建設。因此，我可以相當確定，我們正站在這一全新時代的起點。

最後，AI是歷史上第一個能夠覆蓋全球GDP絕大部分領域的技術。過去，從未有任何軟體工具能夠像AI這樣，影響如此廣泛的經濟領域。而AI作為一個全新的軟體工具，其市場規模比以往任何時候都更大，能夠影響並滲透全球經濟的各個角落。

因此，我們在思考增長時，不能再用傳統的眼光來看待市場規模的大小。如果從更宏觀的角度審視，我們現在所經歷的，仍然只是AI時代的初期階段。

Q7：Colette，我想先確認一個資料，您是否提到資料中心中的企業業務在1月季度同比增長了2倍？如果是這樣的話，這一增長速度是否已經超過了超大規模雲端運算公司？黃仁勳，我有關於超大規模雲端運算公司的採購問題：超大規模雲端運算公司是輝達解決方案的最大買家，但他們的採購主要用於兩種工作負載——內部工作負載，即他們自己運行的AI計算任務；外部工作負載，即向企業客戶提供的雲端運算服務。請問，超大規模雲端運算公司在這兩種工作負載上的支出比例如何？隨著新AI工作負載和應用的增長，您是否預計企業客戶將在AI計算消耗中佔比提升？這是否會影響輝達未來的服務和生態系統開發方向？

CFO：當然，感謝你的提問，關於我們的企業業務。是的，企業業務同比增長了2倍，其增長速度與我們的超大規模雲端運算合作夥伴基本一致。需要注意的是，這兩個領域都非常重要，值得深入理解。

我們與雲服務提供商的合作可能涉及大語言模型訓練，也可能是推理任務，這些都是他們自身的AI計算需求。但同時，企業客戶也在雲服務提供商的平台上運行他們的AI業務。

因此，企業客戶的計算需求既可以由雲服務提供商提供的雲服務實現，也可以自行建構基礎設施。從整體來看，這兩個領域都在高速增長，並且都對輝達業務至關重要。

CEO：目前，雲服務提供商佔我們業務的大約一半。

正如你所說，雲服務提供商的計算需求分為內部消費和外部消費。在內部消費方面，我們與所有主要雲服務提供商緊密合作，幫助他們最佳化內部工作負載，因為他們擁有龐大的輝達基礎設施，可以充分利用我們的計算能力。

輝達的架構具有高度靈活性，可以同時用於AI計算、視訊處理、資料處理（如Spark）等多個場景。這意味著基礎設施的使用壽命更長，從而降低了總體擁有成本。

關於企業客戶（即非雲服務提供商）未來的增長，我的觀點是從長遠來看，這一市場將遠遠超過雲服務提供商。

原因是什麼？如果你觀察當前的電腦產業，你會發現尚未被計算產業充分覆蓋的主要領域是工業。

舉個例子，以汽車公司為例——它們同時製造軟體和硬體。

從企業內部來看，員工需要使用智能AI系統來提升生產力，比如設計、行銷、規劃和營運管理等。在GTC大會上，我們將分享一些令人興奮的新技術，展示如何用智能AI幫助企業員工提高效率。

從產品角度來看，汽車本身也需要AI。每輛汽車都需要AI系統進行訓練，並與整個車隊協同工作。

未來，全球道路上仍然會有10億輛汽車，但不同的是，這些車都將是智慧型手機器人汽車，它們會持續收集資料，並通過AI工廠進行最佳化和升級。

換句話說，未來的汽車公司不僅需要汽車工廠，還需要AI工廠，以不斷改進和最佳化整個車隊的AI能力。

此外，在汽車內部，本質上就是一個機器人系統。所以你可以看到，未來涉及三種電腦：

幫助人類的電腦——主要用於企業內部，提高生產力，比如自主智能體AI幫助員工進行設計、規劃、行銷和營運等工作。

建構AI以控制機器的電腦——這些AI可能用於馬匹、拖拉機、割草機、人類、機器人，甚至是建築物和倉庫等物理系統。這些系統需要一種全新的AI，我們稱之為「物理AI」。

機器人的電腦——這些AI將直接驅動智慧型手機器人，讓它們能夠自主執行任務。

傳統AI主要理解文字和語言的意義，但物理AI需要理解現實世界的物理規律，比如：摩擦力與慣性、物體恆常性、因果關係。這些物理概念對於我們人類來說是常識，但AI必須通過學習才能掌握。因此，物理AI是一種全新的AI類型，它能夠理解並適應現實世界的物理環境。

目前，企業內部正在開始利用自主智能體AI徹底變革工作方式，但這仍處於早期階段。現在，自主智能體AI時代剛剛開啟，市場對此充滿期待。接下來，我們將看到物理AI的崛起，隨後是智慧型手機器人系統的廣泛應用。

這三種電腦（人類智能、機器智能、機器人智能）都是全新的計算架構，從長期來看，我認為它們的市場規模將遠超傳統計算市場。

這也符合邏輯，因為全球GDP的主要組成部分是重工業和工業企業，這些領域對於AI和自動化的需求將極為龐大。

Q8:黃仁勳，現在我們正接近Hopper轉折點兩周年（自2023年以來），同時，生成式AI也經歷了快速發展。在您目前的產品路線圖規劃下，您如何看待已部署基礎設施的更新換代周期？具體來說，GB300或Rubin這一代產品是否可能成為資料中心硬體更新的契機？我想請您分享一下，您如何看待未來的升級節奏和市場趨勢？

CEO：首先，目前Volta、Pascal和Ampere架構的GPU仍然在被廣泛使用。

原因在於，CUDA具有極高的可程式設計性，因此這些舊架構仍然可以勝任許多工作。例如，當前AI計算的一個主要應用是資料處理和資料整理。

舉個例子，假設AI模型在某個特定情況下表現不佳，比如自動駕駛場景中的視覺語言模型。你可以讓視覺語言模型分析這個場景，然後它會得出結論：「在這種情況下，我的表現不夠好。」

如昨日報導所說，Nvidia 的 Blackwell 系列在實現大批次生產方面遇到了重大問題。這一挫折影響了他們 2024 年第三季度/第四季度以及明年上半年的生產目標。這影響了 Nvidia 的產量和收入。

簡而言之，Nvidia 的 Hopper 的使用壽命和出貨量有所延長，以彌補大部分延遲。Blackwell 的產品時間表有所推遲，但產量受到的影響比第一批出貨時間表更大。

技術挑戰也迫使 Nvidia 匆忙建立之前未計畫的全新系統，這對數十家下游和上游供應商產生了巨大影響。今天，我們將討論 Nvidia 面臨的技術挑戰、Nvidia 修改後的時間表，並詳細介紹 Nvidia 新系統（包括新的 MGX GB200A Ultra NVL36）的系統和元件架構。我們還將深入探討這將對從客戶到 OEM/ODM 再到 Nvidia 元件供應商的整個供應鏈產生的影響。

Nvidia Blackwell 系列中技術最先進的晶片是 GB200，Nvidia 在系統層面的多個方面做出了積極的技術選擇。72 GPU 機架的功率密度為每機架約 125 kW，而大多數資料中心部署的標準為每機架約 12kW 至約 20kW。

這是前所未有的計算和功率密度，考慮到所需的系統級複雜性，這一提升極具挑戰性。出現了許多與電力輸送、過熱、水冷供應鏈提升、快速斷開漏水以及各種電路板複雜性挑戰有關的問題。雖然這些問題讓供應鏈上的一些供應商和設計師手忙腳亂，但大多數問題都是小問題，並不是 Nvidia 減少產量或重大路線圖重做的原因。

影響出貨量的核心問題與 Nvidia 的 Blackwell 架構設計直接相關。由於台積電的封裝問題以及 Nvidia 的設計，原始 Blackwell 封裝的供應有限。Blackwell 封裝是首款採用台積電 CoWoS-L 技術進行封裝的大批次設計。

總結一下，CoWoS-L 使用 RDL 中介層，其中嵌入了局部硅互連 (LSI) 和橋接晶片，以橋接封裝上各種計算和記憶體之間的通訊。相比之下，CoWoS-S 表面上看起來要簡單得多，是一塊巨大的矽片。

CoWoS-L 是 CoWoS-S 的繼任者，因為隨著未來的 AI 加速器容納更多的邏輯、記憶體和 IO，CoWoS-S 封裝尺寸的增長和性能面臨挑戰。台積電已使用 AMD 的 MI300 將 CoWoS-S 縮小到約 3.5 倍光罩大小的中介層，但這是實際極限。有多個門控因素（gating factors），但關鍵因素是硅易碎，隨著中介層變大，處理非常薄的硅中介層變得越來越困難。隨著越來越多的光刻光罩拼接，這些大型硅中介層的成本也越來越高。

有機中介層可以解決這個問題，因為它們不像硅那樣易碎，但它們缺乏硅的電氣性能，因此無法為更強大的加速器提供足夠的 I/O。然後可以使用硅橋（無源或有源）來補充訊號密度以進行補償。此外，這些橋的性能/複雜性可以高於大型硅中介層。

CoWoS-L 是一項複雜得多的技術，但它代表著未來。Nvidia 和台積電的目標是制定一個非常積極的計畫，每季度生產超過一百萬塊晶片。因此，出現了各種各樣的問題。

一個問題與在中介層和有機中介層中嵌入多個精細凸塊間距橋有關，這可能導致矽片、橋、有機中介層和基板之間的熱膨脹係數 (CTE) 不匹配，從而引起翹曲。

橋接晶片的放置需要非常高的精度，尤其是兩個主計算晶片之間的橋接，因為它們對於支援 10 TB/s 晶片間互連至關重要。據傳，一個主要的設計問題與橋接晶片有關。這些橋接需要重新設計。還有傳言稱，Blackwell 晶片頂部的幾個全域布線金屬層和凸塊需要重新設計。這是延遲數月的主要原因。

還有一個問題是台積電總體上沒有足夠的 CoWoS-L 產能。過去幾年，台積電建立了大量 CoWoS-S 產能，其中 Nvidia 佔據了最大份額。現在，隨著 Nvidia 迅速將其需求轉移到 CoWoS-L，台積電正在為 CoWoS-L 建造新的晶圓廠 AP6，並在 AP3 轉換現有的 CoWoS-S 產能。台積電需要轉換舊的 CoWoS-S 產能，否則它將得不到充分利用，CoWoS-L 的增長將更加緩慢。這種轉換過程使得增長本質上非常不穩定。

結合這兩個問題，很明顯台積電無法像 Nvidia 所希望的那樣供應足夠的 Blackwell 晶片。因此，Nvidia 幾乎完全將他們的產能集中在 GB200 NVL 36x2 和 NVL72 機架規模系統上。除了一些初始較低產量外，帶有 B100 和 B200 的 HGX 外形尺寸現在實際上已被取消。

為了滿足需求，Nvidia 現在將推出一款基於 B102 晶片的 Blackwell GPU，名為 B200A。有趣的是，這款 B102 晶片也將用於中國版 Blackwell，名為 B20。B102 是一個具有 4 個 HBM 堆疊的單片計算晶片。重要的是，這允許晶片封裝在 CoWoS-S 上，而不是 CoWoS-L，甚至是Nvidia 的其他 2.5D 封裝供應商，如 Amkor、ASE SPIL 和三星。原始 Blackwell 晶片有大量專用於 C2C I/O 的海岸線區域，這在單片 SOC 中是不必要的。

B200A 將用於滿足低端和中端 AI 系統的需求。並將取代 HGX 8-GPU 規格的 B100 和 B200 晶片。它將採用 700W 和 1000W HGX 規格，配備高達 144GB 的 HBM3E 和高達 4 TB/s 的記憶體頻寬。值得注意的是，這比 H200 的記憶體頻寬要小。

說到 Blackwell Ultra，它是 Blackwell 的中期增強版，標準 CoWoS-L Blackwell Ultra 將被稱為 B210 或 B200 Ultra。Blackwell Ultra 包含高達 288GB 的 12 Hi HBM3E 記憶體刷新和高達 50% 的 FLOPS 性能增強。

B200A 還將推出 Ultra 版本。值得注意的是，它不會升級記憶體，但晶片可能會重新設計以提高 FLOPS。B200A Ultra 還引入了全新的 MGX NVL 36 外形尺寸。B200A Ultra 也將採用 HGX 組態，就像原來的 B200A 一樣。

對於HPC市場，我們認為 GB200 NVL72 / 36x2 將繼續最具吸引力，因為它在推理過程中對超過 2 兆參數的模型具有最高的Performance/TCO。話雖如此，如果超大規模客戶無法獲得他們想要的 GB200 NVL72 / 36x2 分配，他們可能仍需要購買 MGX GB200A NVL36。此外，在功率密度較低或缺乏許可/無法獲得水進行液體冷卻改造的資料中心，MGX NVL36 看起來更具吸引力。

HGX Blackwell 伺服器仍將被超大規模企業購買，因為它是可供出租給外部客戶的最小計算單元，但其購買量將比以前少得多。對於小型機型，HGX 仍然是性能/TCO 最佳的機型，因為這些機型不需要大量記憶體，並且可以裝入 NVL8 的單個記憶體連貫域中。

HGX Blackwell 的性能/TCO 在訓練執行階段也表現出色，訓練工作量少於 5,000 個 GPU。話雖如此，MGX NVL36 是許多下一代模型的最佳選擇，並且通常具有更靈活的基礎設施，因此在許多情況下它是最佳選擇。

對於 neocloud 市場，我們認為大多數客戶不會購買 GB200 NVL72 / 36x2，因為尋找支援液體冷卻或高功率密度 Sidecar 的主機託管提供商非常複雜。此外，由於 GB200 NVL72 / 36x2 卷有限，大多數 neocloud 的排名通常比超大規模企業靠後。

我們認為，Coreweave 等最大的 Neocloud 既擁有自己的自建資料中心/改造，又擁有較大的客戶，它們將選擇 GB200 NVL72/36x2。對於 Neocloud 市場的其他部分，大多數將選擇 HGX Blackwell 伺服器和 MGX NVL36，因為這些伺服器可以僅使用空氣冷卻和較低功率密度機架進行部署。目前，大多數 Neocloud 部署都是針對 Hopper 的，功率密度為 20kW/機架。我們認為 Neocloud 可以部署 MGX GB200 NVL36，因為這只需要 40kW/機架的空氣冷卻。

通過使用冷通道封閉系統並跳過資料中心的行列，每機架 40kW 的部署並不困難。在 NeoCloud 規模上，NeoCloud 營運商和 NeoCloud 客戶實際上並不傾向於考慮其特定工作負載的 TCO 性能，而是試圖採購當前最受炒作的產品。例如，大多數（如果不是全部）NeoCloud 客戶不使用 FP8 訓練，而是選擇 bfloat16 訓練。對於在 bfloat16 上訓練的小型 LLM，A100 80GB 提供了更好的 TCO 性能。

由於 Meta 的 LLAMA 模型正在推動許多企業和 Neoclouds 的基礎設施選擇，因此最相關的部署單元是能夠適應 Meta 的模型。LLAMA 3 405B 不適合單個 H100 節點，但勉強適合 H200（該模型可以量化，但質量損失很大）。由於 405B 已經處於 H200 HGX 伺服器的邊緣，下一代 MoE LLAMA 4 肯定不適合 Blackwell HGX 的單個節點，從而極大地影響每 TCO 的性能。

因此，對於推動初創企業和企業部署的最有用的開源模型的微調和推理，單個 HGX 伺服器的性能/TCO 會更差。我們對 MGX B200A Ultra NVL36 的估計價格表明 HGX B200A 不太可能暢銷。Nvidia 有多種強大的動機來稍微降低利潤率以推動 MGX，因為他們用自己的網路更高的附加率來彌補這一點。

MGX GB200A NVL36 SKU 是一款完全風冷的 40kW/機架伺服器，將有 36 個 GPU 通過 NVLink 完全互連。每個機架將有 9 個計算托盤和 9 個 NVSwitch 托盤。每個計算托盤為 2U，包含一個 Grace CPU 和四個 700W B200A Blackwell GPU，而 GB200 NVL72 / 36x2 則有兩個 Grace CPU 和四個 1200W Blackwell GPU。

MGX NVL36 設計的 CPU 與 GPU 比例僅為 1:4，而 GB200 NVL72 / 36x2 的比例為 2:4。此外，每個 1U NVSwitch Tray 只有一個交換機 ASIC，每個交換機 ASIC 的頻寬為 28.8Tbit/s。

由於每機架僅 40kW，MGX NVL36 可以採用空氣冷卻。雖然大多數資料中心和當前的 H100 部署僅為 20kW/機架，但 40kW/機架 H100 部署也並不罕見。這是通過跳過資料中心的行並利用冷/熱通道遏制來實現的。部署 40kW MGX NVL36 機架時可以應用同樣的技術。這使得現有資料中心營運商可以非常輕鬆地部署 MGX NVL36，而無需重新設計其基礎設施。

與 GB200 NVL72/36x2 不同，四個 GPU 與一個 CPU 的比例更高，這意味著它將無法使用 C2C 互連，因為每個 GPU 獲得的 C2C 頻寬將是 GB200 NVl72/36x2 的一半。相反，將利用整合的 ConnectX-8 PCIe 交換機來允許 GPU 與 CPU 通訊。此外，與所有其他現有 AI 伺服器（HGX H100/B100/B200、GB200 NVL72/36x2、MI300）不同，每個後端 NIC 現在將負責兩個 GPU。這意味著即使 ConnectX-8 NIC 設計可以提供 800G 的後端網路，每個 GPU 也只能訪問 400G 的後端 InfiniBand/RoCE 頻寬。

在 GB200 NVL72 / 36x2 上，通過 ConnectX-8 後端 NIC，每個 GPU 可以訪問高達 800G 的頻寬。

對於參考設計，GB200A NVL36 將每個計算托盤使用一個 Bluefield-3 前端 NIC。與 GB200 NVL72 / 36x2 每個計算托盤使用兩個 Bluefield-3 相比，這是一種更合理的設計。即使對於 MGX NVL36，我們仍然認為許多客戶不會選擇使用任何 Bluefield-3，而是選擇在超大規模的情況下使用自己的內部 NIC 或使用通用前端 NIC，例如 ConnectX-6/7。

GB200 NVL72/NVL36x2 計算托盤的核心是 Bianca 板。Bianca 板包含兩個 Blackwell B200 GPU 和一個 Grace CPU。每個計算托盤都有兩個 Bianca 板，這意味著每個計算托盤總共有兩個 Grace CPU 和四個 1200W Blackwell GPU。

在 MGX GB200A NVL36 上，CPU 和 GPU 將位於不同的 PCB 上，類似於 HGX 伺服器的設計。與 HGX 伺服器不同，我們認為每個計算托盤的 4 個 GPU 將細分為兩個 2-GPU 板。每個 2-GPU 板將具有與 Bianca 板類似的Mirror Mezz 連接器。這些 Mirror Mezz 連接器將用於連接到 ConnectX-8 夾層板，該夾層板將 ConnectX-8 ASIC 及其整合 PCIe 交換機連接到 GPU、本地 NVMe 儲存和 Grace CPU。

通過將 ConnectX-8 ASIC 置於非常靠近 GPU 的位置，這意味著 GPU 和 ConnectX-8 NIC 之間無需重定時器。這與 HGX H100/B100/B200 不同，後者需要重定時器從 HGX 基板連接到 PCIe 交換機。

由於 Grace CPU 和 Blackwell GPU 之間沒有 C2C 互連，因此 Grace CPU 也位於一個完全獨立的 PCB 上，稱為 CPU 主機板。該主機板將包含 BMC 連接器、CMOS 電池、MCIO 連接器等。

每個 GPU 的 NVLink 頻寬將為每方向 900Gbyte/s，與 GB200 NVL72 / 36x2 相同。以每 FLOP 為基礎，GPU 到 GPU 頻寬大幅增加，這使得 MGX NVL36 適合某些工作負載。

由於只有 1 層交換機連接 36 個 GPU，因此僅需 9 個 NVSwitch ASIC 即可提供無阻塞網路。此外，由於每個 1U 交換機托盤只有一個 28.8Tbit/s ASIC，因此空氣冷卻非常容易。25.6Tbit/s 1U 交換機（如 Quantum-2 QM9700）已經很容易通過空氣冷卻。雖然 Nvidia 可以通過保留帶有 2 個 NVSwitch ASIC 的交換機托盤來實現 NVL36x2 設計，但這會增加成本，並且由於前 OSFP NVLink 籠阻塞氣流，可能使空氣冷卻變得不可能。

在後端網路上，由於每個計算托盤只有兩個 800G 連接埠，我們認為它將使用 2 軌最佳化的行尾網路。每八個 GB200A NVl36 機架將有兩個 Quantum-X800 QM3400 交換機。

我們估計，每 GPU 700W 的功耗，GB200A NVL36 很可能每機架 40kW 左右。2U 計算托盤將需要大約 4kW 的功率，但每 2U 空間 4kW 的空氣冷卻散熱將需要專門設計的散熱器和高速風扇。

我們將在本文後面討論這方面的散熱挑戰，但這對於 Nvidia 在 MGX NVL36 設計上來說是一個重大風險。

對於 GB200 NVL72 / NVL36x2，唯一不使用 Connect-X 7/8 後端 NIC 的客戶是亞馬遜。正如我們在GB200 架構分析中所討論的那樣，這已經帶來了重大的工程挑戰，因為將不會出現 ConnectX-7/8 或 Bluefield-3，這兩者都具有整合的 PCIe 交換機。因此，需要 Broadcom 或 Astera Labs 的專用 PCIe 交換機將後端 NIC 連接到 CPU、GPU 和本地 NVMe 儲存。這會消耗額外的電力並增加 BoM 成本。

在 SemiAnalysis GB200 元件和供應鏈模型中，我們細分了所有元件供應商的份額、數量和 ASP，包括 PCIe 交換機。由於 GB200A NVL36 完全採用風冷，因此在 2U 機箱前端除了 PCIe 規格 NIC 之外還配備專用 PCIe 交換機，這將大大增加熱工程挑戰。

因此我們認為，基本上不可能有人能在 GB200A NVL36 上做定製後端 NIC。

由於 Grace CPU 和 Blackwell GPU 位於單獨的 PCB 上，我們相信也可能有 x86 + B200A NVL36 版本。由於許多 ML 依賴項都是針對 x86 CPU 編譯和最佳化的，這可能是此 SKU 的額外優勢。此外，與 Grace 相比，x86 CPU 平台提供更高的峰值性能 CPU。不幸的是，對於願意提供 x86 版本的 OEM 來說，將面臨散熱挑戰，因為 CPU 的功耗大約高出 100 瓦。我們相信，即使 Nvidia 提供 x86 B200A NVL36 解決方案，他們也會推動大多數客戶轉向 GB200A NVL36 解決方案，因為它可以銷售 Grace CPU。

GB200A NVL36 的主要賣點是它是一款每機架 40kW 的風冷系統。對客戶的主要吸引力在於，許多客戶仍然無法支援每機架 ~125 kW GB200 NVL72（或 36x2，兩個機架超過 130kW）所需的液體冷卻和電源基礎設施。

沒有任何液體冷卻意味著與 GB200 NVL72 / 36x2 相比，散熱解決方案將簡化整體散熱解決方案，基本上歸結為散熱器（3D Vapor Chamber，3DVC）和一些風扇。然而，鑑於 GB200A NVL36 的計算托盤使用的是 2U 機箱，3DVC 設計將需要進行大量調整。

TDP 為 700W 的 H100 目前使用 4U 高的 3DVC，而 1000W 的 H200 使用 6U 高的 3DVC。相比之下，2U 機箱中 TDP 為 700W 的 MGX B200A NVL36 則受到很大限制。我們認為需要一個水平擴展成陽台狀的散熱器，以增加散熱器的表面積。

除了需要更大的散熱器外，風扇還需要提供比 GB200 NVL72 / 36x2 2U 計算托盤或 HGX 8 GPU 設計的風扇更大的氣流。我們估計，在 40kW 機架中，總系統功率的 15% 到 17% 將分配給內部機箱風扇。因此，GB200A NVL36 的 TUE 數值（一種更好地表示空氣冷卻和液體冷卻之間的能效增益的指標）將比 GB200 NVL72 / NVL36 高得多。

即使對於 HGX H100 等風冷伺服器，我們認為風扇也只消耗系統總功率的 6% 到 8%。由於 MGX GB200A NVL36 需要大量風扇功率才能工作，因此這種設計效率極低。此外，這種設計也有可能行不通，Nvidia 就必須重新設計，嘗試製作 3U 計算托盤或縮小 NVLink 世界大小。

在討論 GB200A NVL36 的硬體子系統和元件變化（這些變化會影響供應鏈中的眾多參與者）之前，讓我們先討論一下 GB200A NVL64。

在 Nvidia 推出 MGX GB200A NVL36 之前，他們也在試驗一種風冷 NVL64 機架設計。這款完全風冷的 60kW 機架將有 64 個 GPU 通過 NVLink 完全互連。我們對這個提議的 SKU 進行了廣泛的工程分析，由於下面討論的各種問題，我們認為這款產品不可行，不會出貨。

在建議的 NVL64 SKU 中，有 16 個計算托盤和 4 個 NVSwitch 托盤。每個計算托盤為 2U，包含一個 Grace CPU 和四個 700W Blackwell GPU，就像 MGX GB200A NVL36 一樣。交換機 NVSwitch 托盤是進行重大修改的地方。Nvidia 並沒有將 GB200 的每個托盤兩個 NVSwitch 減少到每個托盤一個 NVSwitch，而是嘗試將其增加到四個交換機 ASIC。

儘管 Nvidia 提出的設計方案稱 NVL64 將是 60kW 機架，但我們估算了功率預算，認為下限更接近每機架 70kW。無論那種方式，僅使用空氣冷卻每機架 60kW 或 70kW 都是瘋狂的，通常需要後門熱交換器，但這破壞了風冷機架架構的意義，因為仍然依賴於液體冷卻供應鏈，並且這種解決方案仍然需要對大多數資料中心進行設施級改造，以便將設施水輸送到後門熱交換器。

另一個非常成問題的散熱問題是 NVSwitch Tray 在單個 1U 機箱中配備四個 28.8Tbit/s 交換機 ASIC，需要近 1,500 W 的散熱。1U 機箱的散熱量為 1,500W 本身並不瘋狂，但一旦考慮到冷卻挑戰，就會發現這很瘋狂，因為從交換機 ASIC 到背板連接器的Ultrapass 跨接電纜會阻擋大量氣流。

鑑於風冷 MGX NVL 機架正以極快的速度進入市場，而 Nvidia 試圖在設計開始後僅 6 個月內發貨產品，對於工程資源已經捉襟見肘的行業來說，設計新的交換機托盤和供應鏈是相當困難的。

擬議的 GB200A NVL64 的另一個主要問題是，每個機架有 64 個 800G 後端連接埠，但每個 XDR Quantum-X800 Q3400 交換機有 72 個 800G 下行連接埠，這兩者之間的連接埠不匹配。這意味著，採用軌道最佳化的後端拓撲會浪費連接埠，每個交換機都有額外的 16 個 800G 連接埠閒置。昂貴的後端交換機上有空連接埠會嚴重損害網路性能/TCO，因為交換機價格昂貴，尤其是高基數模組化交換機，如 Quantum-X800。

此外，在同一個 NVLink 域內使用 64 個 GPU 並不理想。從表面上看，這可能聽起來很棒，因為它是 2 的偶數倍——非常適合不同的平行化組態，例如（張量平行 TP=8、專家平行 EP=8）或（TP=4、完全分片資料平行 FSDP=16）。不幸的是，由於硬體不可靠，Nvidia 建議每個 NVL 機架至少保留一個計算托盤，以便 GPU 離線進行維護，從而用作熱備用。

花費數十億美元的訂單客戶肯定不滿意。

據美國科技網站The Information報導，由於設計缺陷，輝達下一代Blackwell架構系列AI旗艦晶片GB200的出貨時間，將被推遲至少三個月。

一名未透露身份的微軟員工稱，輝達本周已通知微軟，其最先進的Blackwell系列AI晶片型號將會推遲發貨。

輝達在今年3月發佈了Blackwell系列，首席執行官黃仁勳在5月時還信心滿滿地表示，公司計畫在今年晚些時候開始批次出貨Blackwell系列晶片。

GB200晶片包含兩個相連的Blackwell GPU和一個Grace中央處理單元。然而，在最近幾周台積電工程師為量產進行準備時，卻在連接兩個Blackwell GPU的裸晶上發現了設計缺陷。這一缺陷會導致晶片良率或產量降低，通常做法是停止量產。

因此，輝達不得不對晶片設計進行調整，並在開始量產前，與台積電合作進行新的試生產。

晶片出貨延遲並非聞所未聞，但在即將量產前發現重大設計缺陷的情況還是非常罕見的。

台積電原本計畫在第三季度開始量產Blackwell系列晶片，並從第四季度開始向輝達客戶批次發貨。然而，由於設計缺陷的發現，量產時間不得不推遲到第四季度，批次出貨的時間預計要推遲到明年第一季度。台積電為量產GB200保留了產能，但在問題解決之前，不得不讓產線閒置。

此次延遲對在 Nvidia 技術上投入巨資的大型科技公司產生了深遠影響。例如，Google已訂購了超過 40 萬 GB200 晶片，交易金額超過 100 億美元。同樣，Meta 也下了 100 億美元的訂單，而微軟原本計畫在 2025 年第一季度為 OpenAI 準備好 55,000 到 65,000 個 GB200 GPU——但這一時間表現在岌岌可危。

據報導，Nvidia 已通知微軟和另一家雲提供商，Blackwell 系列中最先進的 AI 晶片型號的延遲將受到影響。因此，預計這些晶片要到 2025 年第一季度才能大量出貨，這可能會擾亂這些科技巨頭的 AI 戰略。

目前，市場對於B200需求非常旺盛，客戶紛紛從B100轉向B200（已經超過45萬顆需求）。Meta模型訓練方亦表示，他們也要追加B200訂單，至少還需要15萬顆B200，本來預計下個月追加訂單。此外，輝達三季度將主推出貨H200，這個季度業績預計330億美金以上。10—11月再追加部分H200給客戶應急，最遲12月全部正常。

輝達再次捲入AI大戰的漩渦中心。

GPU領頭羊輝達本周上演過山車行情：周二還大跌7%，周三反手就大漲13%，到了周四又下跌近7%，股價的波動性甚至超越比特幣。資料顯示，輝達30日期權隱含波動率飆升至71%，而比特幣DVOL指數（衡量30天隱含波動率的指標）降至49%。

輝達股價劇烈波動的背後，是成本陰影正籠罩著科技巨頭，市場對巨額AI投資的回報擔憂日益加劇。

以華爾街投行、避險基金為代表的唱空方，認為科技巨頭斥巨資入局AI，卻無法產生足夠回報，而且目前AI的應用場景有限，如此巨大的投入非常不明智且危險。

而以Mag 7這些科技巨頭為代表的多方，認為現在對AI領域增加資本開支是必要的，否則就會錯過即將來臨的AI時代。

金錢至上的華爾街，更看重投入/產出比。

逐漸失去耐心的華爾街，認為科技巨頭在AI領域的資本支出如此之高，卻沒有帶來相應的回報和更高效的應用。在過去兩年裡，只出現了ChatGPT和Github Copilot兩個現象級AI產品。

高盛早在6月底的一份報告指出，AI技術的發展可能不會像預期的那樣迅速，且其成本效益比可能並不如想像中的那麼有吸引力。

預測在未來十年，AI只能將美國生產率提高0.5%，對GDP增長的貢獻累計僅為0.9%。

巴克萊也在8月的報告中指出，科技巨頭瘋狂向AI砸錢是出於“FOMO”，害怕錯過AI的發展機遇。

儘管AI技術仍處於起步階段，但大廠對AI的資本支出已經呈現出一種非理性的繁榮，FOMO情緒佔據主導，隨著這種情緒消退，明年就會有大廠逐漸削減AI投資。

分析師們預計AI領域的資本支出將從2023年到2026年累計達到1670億美元，而這一數字是基於對AI產品需求的樂觀預期。

然而，與此形成鮮明對比的是，預計到2026年，AI雲服務的收入增量僅為200億美元。

而據報導，華爾街頂級避險基金Elliott Management更是激進，指出大型科技巨頭特別是輝達，正處於泡沫之中，推動其股價暴漲的人工智慧技術被過度炒作。 (半導體產業縱橫)

#Blackwell系列 你可以在這裡找到鉅亨號中所有使用「Blackwell系列」為關鍵字所發布的內容