時間3月19日4時-6時，輝達創辦人黃仁勳在美國加州聖荷西SAP中心登台，發表GTC 2024的主題演講《見證AI的變革時刻》。黃仁勳展示了旨在鞏固該公司在人工智慧運算領域主導地位的新晶片。

他表示，名為Blackwell的新處理器在處理支援人工智慧的模型方面可以將速度提高數倍。這包括被稱為訓練階段的技術開發過程和稱為推理階段的技術運行過程。

由2080億個電晶體構成的Blackwell晶片將成為亞馬遜、微軟、Alphabet Inc.旗下谷歌、甲骨文等全球最大資料中心營運商部署的新電腦和其他產品的基石。隨後黃仁勳也宣布一項名為GR00T的項目，旨在進一步推動輝達在機器人和具身智能的突破性工作。

●「AI 核彈」 B200晶片：採用雙晶片設計，電晶體數量達到2080億個。單GPU AI效能達20 PFLOPS（即每秒2兆次）。記憶體192GB，基於第五代NVLink，頻寬達到8TB/s。

● Blackwell架構GPU ：DGX GB200 NVL 72，內建億次）。

● SuperPOD超算：搭載8顆DGX GB200，即288顆Grace CPU和576顆B200 GPU，記憶體達到240TB，FP4精度運算效能達到11.5EFLOPs（每秒11.5百億億次）

●人形機器人：人型機器人專案－包含了人型機器人基礎模型，ISAAC Lab開發工具庫和Jetson Thor SoC晶片上系統開發硬件，頻寬達到100GB/s，AI運算效能達到800TFLOPs。

● NIM軟體：針對AI推理系統的新軟體，開發人員可以在其中直接選擇模型來建立利用自己資料的人工智慧應用程式。

黃仁勳登台，對觀眾們強調：我希望你們搞清楚今天這裡不是演唱會，而是一場開發者大會。

黃仁勳介紹了本屆GTC的一些參與者，並強調這些公司不只是來參會，而是有自己的東西要來展示。

黃仁勳展示輝達發展史，並提了將首台DGX One送給OpenAI的故事。

黃仁勳：今天我們將討論這個新產業的許多問題。我們要談談如何進行計算、我們要談談你所建立的軟體類型，你將如何看待這個新軟體，新產業中的應用。然後，也許（再談談）下一步是什麼，我們如何從今天開始做準備，下一步會發生什麼。

黃仁勳：我們使用模擬工具來創造產品，不是為了降低運算成本，而是為了擴大運算規模。我們希望能夠以完全保真、完全數位化的方式模擬我們所做的整個產品。從本質上講，我們稱之為數位孿生。

老黃開始介紹一系列「新加速生態系統」合作夥伴，包括ANSYS、Synopsis、Cadence等。他也提及，台積電和Synopsys將突破性的輝達運算微影平台投入生產。

隨著transformer模型被發明，我們能以驚人的速度擴展大型語言模型，實際上每六個月就能翻倍。而為了訓練這些越來越大的模型，我們也需要更強的算力。

「非常強大」的Blackwell架構GPU登場

老黃現場對比Blackwell架構與Grace Hopper架構的GPU

老黃現場展示Grace-Blackwell系統（兩個Blackwell GPU、四個die與一個Grace Cpu連接在一起）。GB200將兩台B200 Blackwell GPU與一個基於Arm的Grace CPU進行配對。新晶片擁有2080億個晶體管，所有這些晶體管幾乎同時存取與晶片連接的記憶體。

為了處理大規模資料中心的GPU互動問題，也需要更強的連結（NVlink）能力。

這個GB200新系統提昇在哪裡呢？老黃舉例稱，如果要訓練一個1.8兆參數量的GPT模型，需要8,000張Hopper GPU，消耗15兆瓦的電力，連續跑上90天。但如果使用Blackwell GPU，只需要2000張，同樣跑90天只要消耗四分之一的電力。當然不只是訓練，生成Token的成本也會隨之降低。

將晶片做大的好處：單GPU每秒Token吞吐量翻了30倍

毫無疑問，微軟Azure、AWS、Google雲端等一眾科技巨頭都是Blackwell架構的首批使用者。

接下來應該是應用側的部分，先展示的是生物醫藥的部分，包括NVIDIA DGX雲中的多項更新。

黃仁勳宣布新的AI微服務，用於開發和部署企業級生成式AI應用。老黃表示，未來如何開發軟體？與現在寫一行行程式碼不同，未來可能就要靠一堆NIMs（Nvidia inference micro service），用與AI聊天的形式調動一堆NIMS來完成訓練、應用的部署。輝達的願景是成為AI軟體的「晶圓廠」。

輝達的AI微服務NIM網站已經上線。

NIM微服務提供了最快、效能最高的AI生產容器，用於部署來自NVIDIA、A121、Adept、Cohere、Getty Images和Shutterstock的模型，以及來自Google、Hugging Face、Meta、Microsoft、Mistral AI和Stability AI的開放模型。

NVIDIA AI Enterprise軟體平台更新，包括NIM、建置RAG應用程式的工具等。隨後老黃又分享了西門子科技、日產汽車等用如何在將Omiverse Cloud應用在工作流程中。

黃仁勳宣布，現在支援將Omniverse雲推流至Vision Pro。

可能是時間不太夠了，老黃開始加速官宣一系列合作。其中提到全球最大電動車公司比亞迪將採用輝達下一代智慧汽車晶片Thor。比亞迪同時將使用輝達基礎設施進行自動駕駛模型訓練，以及輝達Isaac設計/模擬智慧工廠機器人。

開始提機器人了。黃仁勳表示，在我們的世界裡，類人機器人很有可能會發揮更大的作用，我們設置工作站、製造和物流的方式，不是為人類設計的，而是為機器人設計的。因此，這些人類或機器人的部署可能會更有成效。黃仁勳同時宣布一項名為GR00T的項目，旨在進一步推動輝達在機器人和具身智慧的突破性工作。由GR00T驅動的機器人可以理解自然語言，並透過觀察人類動作來模擬運動。

除了機器人影像外，迪士尼的orange和green機器人也來到現場，這款機器人用的是輝達為機器人設計的首款AI晶片Jetson。

黃仁勳帶著機器人下場，現場播放ending影片

黃仁勳返場告別，全場記者會結束。

1.雖然Blackwell架構之前傳出的資訊已經比較充分了：一個GPU包含兩個運算單元等產業鏈也早就明確了。但是「GB200 NVL72」這種連接方式還是略超預期的，只不過這些產品針對的客戶群開始變得越來越集中了；如果能夠快速出貨，對AMD的打擊不小；

2.FP4表現搶眼。輝達已經充分體認到了，推理市場才是下一個重要戰場；

3.黃仁勳兩小時的演講或說show，是在很有自信的告訴大家一個明確訊號：輝達就是AI的基礎設施，沒有之一。

4.正如開場白講的一樣：這是一個正在快速改變百萬億美金行業的市場，計算。

5.這其中，最大的機會是：數位孿生。（財聯社）

牢牢掌握算力分配權的輝達是人工智慧領域當仁不讓的「炸雞雞」。

透過為包括OpenAI、Meta等人工智慧企業提供包括H200、H100、A100等不同規格的GPU，輝達一躍成為全球市值增速最快的企業之一，也因此被外界稱之為人工智慧時代的”賣水人」。以至於黃仁勳和他的財務團隊，會在財報中，透過直覺的圖表來說明輝達對於績效的自信。

在向SEC提交的文件中，輝達表示，2019年1月27日投資100美元（我們）的股票，2024年1月28日價值達到1536.28美元。而對應投資100美元標準普爾500指數和那斯達克100指數基金，價值均在200美元以下。

今年的GTC2024上，黃仁勳的AI「核武庫」正式上新，B200將成為科技巨頭們追逐的「算力明星」——它不僅會成為新的AI算力底座，也將成為輝達市值繼續攀升的業績底座。

作為NVIDIA Blackwell架構首款新產品，B200採用雙晶片設計，電晶體數量達到2,080億個，基於Blackwell架構的B200，輝達也提供了包含GB200、DGX GB200 NVL 72，以及基於GB200和B200打造的DGX SuperPOD超算平台。

軟體服務方面，輝達發表了整合AI開發軟體微服務系統NIM，透過直接提供多產業、多模態的專有模型，以及基於NeMo Retriver的專有資料注入系統，企業可藉由NIM快速部署公司級專有模型。

除了透過軟硬體賦能AI技術之外，輝達也推出了加速AI仿生機器人落地的解決方案——GR00T機器人計畫——世界首款人形機器人模型，支援透過語言、影片和人類展示，為機器人的生成行動指令。

輝達GTC 2024黃仁勳主題演講全程視頻

●  B200晶片：採用雙晶片設計，電晶體數量達到2080億個。單GPU AI效能達20 PFLOPS（即每秒2兆次）。記憶體192GB，基於第五代NVLink，頻寬達到1.8TB/s。

●  DGX GB200 NVL 72：內建36顆GRACE CPU和72顆Blackwell架構GPU，AI訓練性能可達720PFLOPs（即每秒72兆次），推理性能為1440PFLOPs（每秒144萬億次）。

● 基於GB200的DGX SuperPOD超算：搭載8顆DGX GB200，即288顆Grace CPU和576顆B200 GPU，記憶體達到240TB，FP4精度運算效能達到11.5EFLOPs（每秒11.5百億億次）

●  Project GR00T：人型機器人專案－包含了人型機器人基礎模型，ISAAC Lab開發工具庫和Jetson Thor SoC片上系統開發硬件，頻寬達到100GB/s，AI計算性能達到800TFLOPs。

●  NIM軟體：針對AI推理系統的新軟體，開發人員可以在其中直接選擇模型來建立利用自己資料的人工智慧應用程式。

輝達最近幾代架構，在名稱上都有致敬科學家的慣例。

上一代產品Hopper架構則是致敬葛蕾絲‧霍珀，這一代架構Blackwel則是致敬的是統計學家兼數學家大衛‧布萊克韋威爾。

黃仁勳展示Blackwell和Hopper架構GPU對比，左邊為Blackwell架構的B200晶片

在新一代的GPU正式亮相之前，關於架構、雙晶片設計等已經有不少傳聞，重點在於，黃仁勳會把手中的「AI核彈」性能提升到多少？

現在，官方的答案給出來了——基於Blackwell架構的B200採用雙晶片設計，基於台積電4nm工藝，晶體管數量達到2080億個，上一代Hopper架構的H100同樣是4nm工藝，但由於沒有上雙晶片設計，電晶體數量只有800億。

B200搭配8顆HBM3e記憶體（比Hopper架構的H200多了2顆），記憶體達到192GB，基於第五代NVLink，頻寬達到1.8TB/s，相比Hopper架構和Ampere架構，有了巨幅提升，最大可支援10兆參數的模型的訓練。

作為對比，OpenAI 的GPT-3 由1750 億個參數組成，GPT-4參數為1.8兆。

黃仁勳還介紹稱，B200平台可以向下相容，支援與上一代Hopper架構的H100/H200 HGX系統硬體適配。

此前，被稱為OpenAI勁敵的Inflection AI，官宣建立了一套22000顆輝達H100 GPU的世界最大人工智慧資料中心集群，接下來要看看OpenAI，能不能藉助B200反超了。

這裡再插一句輝達的NVLink和NVLink Switch技術。

其中NVLink是輝達開發的CPU和GPU之間高速互聯通道，在記憶體牆無法突破的情況下，最大化提升CPU和GPU之間通訊的效率，於2016年在基於Pascal架構的GP100晶片和P100運算卡上率先採用，當時的頻寬為160GB/s，到H100採用的第四代NVLink，其頻寬已達到900GB/s，而B200採用的第五代NVLink 頻寬已經突破1.8TB/s。

NVLink Switch支援與多個NVLink連接，實現NVLink在單節點、節點之間互聯，進而創建更高頻寬的GPU集群，基於最新的NVLink Switch晶片（台積電4nm工藝，500億個晶體管），可實現576顆GPU組成運算集群，上一代產品僅支援到256個GPU。

根據官方公佈的數據，B200支援第二代Transformer引擎，Tensor核支援FP4、FP6精度計算，單顆B200 GPU的AI性能達20 PFLOPs（即每秒2億億次）。

另外，輝達也在主題演講中展示了全新的加速運算平台DGX GB200 NVL 72，擁有9個機架，總共搭載18個GB200加速卡，即36顆GRACE CPU和72顆Blackwell架構GPU（輝達也提供了HGX B200版本，簡單來說就是用Intel的Xeon CPU，取代了Grace CPU）。

黃仁勳說，一套DGX版GB200 NVL 72總共內建了5,000條NVLink銅纜線，總長度達到2公里，可以減少20kW的運算能耗。

舉個例子，8000個GPU組成的GH100系統，90天內可以訓練一個1.8兆參數的GPT-Moe模型，功耗15兆瓦，而使用一組2000顆GPU的GB200 NVL72加速卡，只需要4兆瓦。

據介紹，DGX版GB200 NVL 72加速運算平台AI訓練性能（FP8精度計算）可達720PFLOPs（即每秒72億億次），FP4精度推理性能為1440PFLOPs（每秒144億億次）。官方稱GB200的推理性能在Hopper平台的基礎上提升6倍，尤其是採用相同數量的GPU，在萬億參數Moe模型上進行基準測試，GB200的性能是Hopper平台的30倍。

演講環節，黃仁勳也公佈了搭載64個800Gb/s端口、且配備RoCE自適應路由的NVIDIA Quantum-X800 InfiniBand 交換機，以及搭載144個800Gb/s端口，網絡內計算性能達到14.4TFLOPs（每秒14.4萬億次）的Spectrum-X800交換器。兩者應對的客戶需求群體略有差異，如果追求超大規模、高性能可採用NVLink+InfiniBand網絡；如果是多租戶、工作負載多樣性，需融入生成式AI，則用高性能Spectrum-X以太網架構。

另外，輝達也推出了基於GB200的DGX Super Pod一站式AI超算解決方案，採用高效液冷機架，搭載8套DGX GB200系統，即288顆Grace CPU和576顆B200 GPU，內存達到240TB， FP4精度計算性能達11.5ELOPs（每秒11.5百億億次），相較於上一代產品的推理性能提升30倍，訓練性能提升4倍。

黃仁勳說，如果你想獲得更多的性能，也不是不可以——發揮鈔票能力——在DGX Super Pod中整合更多的機架，搭載更多的DGX GB200加速卡。

輝達的另一個殺手鐧就是它的軟體，它構成了這一萬億帝國至少半條護城河。

誕生於2006年的CUDA被認為是輝達在GPU上建立霸權的關鍵功臣——它使得GPU從呼叫GPU運算和GPU硬體加速第一次成為可能，讓GPU 擁有了解決複雜運算問題的能力。在它的加持下，GPU從圖形處理器這個單一功能發展成了通用的平行算力設備，也因此AI的開發才有可能。

但在談論NVIDIA時，許多人傾向於使用「CUDA」作為NVIDIA提供的所有軟體的簡寫。這是一種誤導，因為NVIDIA的軟體護城河不僅僅是CUDA 開發層，還包含了其上的一系列連通軟硬體的軟體程序，例如輝達開發的用於運行C++推理框架，去兼容Pytorch等模型訓練框架的TensorRT;使團隊能夠部署來自多個深度學習和機器學習框架的任何AI 模型的Triton Inference Server。

雖然有如此豐富的軟體生態，但對於缺乏AI基礎開發能力的傳統產業來講，這些分散的系統還是太難掌握。

看準了這個賦能傳統企業的賽道，在今天的發表會上，輝達推出了整合過去幾年所做的所有軟體於一起的新的容器型微服務：NVIDIA NIM。它整合到了不給中間商活路的地步，可以讓傳統企業直接簡單部署完全利用自己資料的專屬產業模式。

這軟體提供了一個從最淺層的應用軟體到最深層的硬體程式設計體系CUDA的直接通路。構成GenAI 應用程式的各種元件（模型、RAG、資料等）都可以完成直達NVIDIA GPU的全鏈路最佳化。

它讓缺乏AI開發經驗的傳統行業可以透過在NVIDIA 的安裝基礎上運行的經過打包和優化的預訓練模型，一步到位部署AI應用，直接享受到輝達GPU帶來的最優部署時效，繞過AI開發公司或模型公司部署調優的成本。Nvidia 企業計算副總裁Manuvir Das表示，不久前，需要資料科學家來建置和部署這些類型的GenAI 應用程式。但有了NIM，任何開發人員現在都可以建立聊天機器人之類的東西並將其部署給客戶。

（整合在Kubernets上的一攬子軟體系統）

這一切都建立在Kubernetes這一容器化應用程式之上。NVIDIA透過Kubernetes創建了一個單一的架構，可以運行所有這些軟體。NIM作為預先建置的容器（containers），開發人員可以在其中直接選擇模型來建立利用自己資料的人工智慧應用程式。在容器中配備了適用於語言和藥物發現等人工智慧領域的行業標準應用程式介面以適應各類專有模型。

輝達在部落格文章中表示：「NIM 針對每個模型和硬體設置利用優化的推理引擎，在加速基礎設施上提供最佳的延遲和吞吐量。」「除了支援優化的社群模型之外，開發人員還可以通過使用永遠不會離開數據中心邊界的專有數據源來調整和微調模型，從而獲得更高的準確性和性能。”

在模型支援方面，NIM 微服務的可選項也很多。它支援Nvidia 自己的模型合作庫，來自AI21 Labs，Cohere等合作夥伴的模型，以及來自Meta、Hugging Face、Stability AI 和Google的開源模型。同時客戶可以透過Nvidia AI Enterprise 平台以及Microsoft Azure AI、Google Cloud Vertex AI、Google Kubernetes Engine 和Amazon SageMaker 存取NIM 微服務，並與包含LangChain、LlamaIndex 和Deepset 在內的AI 框架整合。這基本上就等於對所有市面上主流模型都完成了覆蓋。

在Nim的搭建過程中，利用Nvidia NeMo Retriever技術，公司的專有資料都可以整合到這個微服務裡使用。最終用戶會得到一個個NVIDIA NeMo，這就是針對每家公司的專有Copilit。這個專有的NeMo會用對話機器人的形式幫助你檢索公司數據，如PPT，提供相關領域的技術支援。

Nvidia NeMo Retriever與微服務的結合

在發表會上，黃仁勳就展示了基於輝達資料（Event）和晶片產業資訊形成的Nvidia ChipNeMo，它是建構在開源的Llama2模型之上。利用輝達的專有數據，它可以回答只有輝達公司內部使用的CTL實驗細節問題。

這些NeMo還可以跨公司共用，也就是這套系統可以被視為工業大模型的GPT Store，行業公司可以使用其他公司或輝達提供的行業基礎NeMo添加自己的數據即可獲得專有大模型。為此，輝達也刻意上線了ai.nvidia.com去承載這些NeMO。

這項微服務使得傳統企業AI轉型變得極為易得，不論是構築專有模型，還是直接透過模型連接企業私有資料都變得快速方便。黃仁勳表示 「成熟的企業平台坐擁數據金礦， 他們掌握了大量可以轉化為副駕駛的數據，當你準備好運行這些人工智慧聊天機器人時，你將需要一個人工智慧鑄造廠」。NIM正是這樣一個鑄造廠。它幫助建構企業AI轉型的Copilot級產品，可以被視為公司AI化所需的基石。

這款產品將首先在即將發布的NVIDIA AI企業版第五版中搭載。對於NVIDIA AI企業版的現有客戶來說這只是一個軟體升級。這項新功能不會額外收費。當然企業版價格本身不低，單GPU的企業版使用權限包年就需要4500美金，小時租金為1美金每小時。

目前輝達全公司已經都使用了Nim，包括Box、Cloudera、Cohesity、Datastax、Dropbox等合作夥伴也都已經參與Nim的使用與最佳化過程。

輝達的上一個兆市值來自GPU與算力，下一個兆市值增幅空間可能反映在對機器人開發的賦能上。

年初，輝達資深科學家Jim Fan就宣佈建立GEAR工作室，相關研究成果以及研究基礎環境成為了輝達新機器人解決方案的基礎。

據了解，輝達目前正在建構包括NVIDIA IAI、Omniverse、ISAAC三大平台，三大平台均與機器人產業高度關聯。其中NVIDIA IAI搭載DGX系列產品，用於模擬實體世界，Omnivese搭載RTX和OVX系列產品，用於驅動數位孿生的運算系統，ISAAC搭載AGX系列，用於驅動人工智慧機器人。

本次GTC大會上，輝達也推出了Project GR00T人型機器人計畫－人型機器人基礎模型。

彙整鉅亨號中所有使用「G200」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

【輝達GTC大會】見證AI的「iPhone時刻」 2024黃仁勳GTC演講實錄！

【輝達GTC大會】輝達剛發布“AI核彈”，也帶來了人形機器人模型【一文回顧發布會】