老黃攜「超級GPU」炸場!E級AI超算性能飛升,買越多越划算,谷歌微軟Meta搶先試用

輝達NVIDIA又放大招了,這次直接用超級GPU GH200燃爆了市場。

今日的COMPUTEX大會上,輝達CEO黃仁勳向全世界宣布——

我們已經到達了生成式AI的引爆點。從此,全世界的每個角落,都會有計算需求。

股價剛剛暴漲2000億美元的輝達,為這一刻早已做好準備。

一開場,身著黑皮衣的老黃慷慨激昂地走上舞台,「大家好!We're back!」

隨後,便祭出大殺器——「超級GPU」 GH200,並宣布谷歌云、Meta和微軟將率先獲得GH200。



據稱,有超過3500人親臨現場,體驗了這個長達2個小時的激情演講。

時隔4年,闊別已久的老黃也是狂飆中文。



「超級芯片」GH200

要說,這次演講中,重頭戲還是在GPU上。畢竟AI的iPhone已經來臨。

老黃左右手分別端了一個芯片,重磅宣布,「GH200超級芯片」已經全面投產。



這一「超級GPU」使用NVLink-c2c互連技術,將基於ARM節能的GraceCPU和高性能NVIDIA H100 Tensor Core GPU結合在一起,提供了高達900GB/s的總帶寬。

目前,由GH200加持的系統加入了400多種系統配置。

這些系統配置由輝達最新的CPU、 GPU和DPU架構的不同組合提供動力。

其中包括Grace、Hopper、Ada Lovelace和BlueField,這些架構的創建是為了滿足對生成式AI不斷增長的需求。



此外,老黃還宣布了一個更重磅的:256個GH200組成的超算來了。

超算DGX GH200,今年上市

輝達表示,全新DGX GH200人工智能超級計算平台,是專為大規模生成式AI的負載而設計。

這台由256塊Grace Hopper超級芯片組成的超算,將擁有高達1 exaflop的超凡AI性能,以及144TB的共享內存(比上一代DGX A100多了近500倍)。

舉個例子,在GPT-3訓練中,它能比上一代DGX H100集群快2.2倍。

此外,這個龐然大物還包含了150英里的光纖和2,000多個風扇。

目前,輝達已經與三大巨頭進行了合作,谷歌、 Meta和微軟。



由於生成式人工智能的爆炸式增長,微軟、谷歌等巨頭希望擁有更強大、性能更好的系統。

而DGX H200的設計目的是,通過使用輝達定製的NVLink Switch芯片,繞開InfiniBand和以太網等標準集群連接的局限性,為最大工作負載的大規模可擴展性提供最大的吞吐量。




另外,輝達表示正在建造自己的大型AI超級計算機NVIDIA Helios,預計在今年上線。

它將使用4個與NVIDIA Quantum-2 InfiniBand網絡連接的DGX GH200系統,以提高數據吞吐量,以訓練大型AI模型。

以往的數據中心都非常龐大,而且是基於CPU的,算法的迭代要花很長時間,大部分算法,也都是CPU中心的。

而現在,有了Grace Hopper,只需要幾天甚至幾個小時,就能完成這個過程。簡直要把整個行業都革命掉了!


(等等,PaLM的參數不是540B麼?)


老黃:買越多,越省錢!

作為現在的扛把子,這樣一個重65磅,價值200000美元的H100計算機,是世界上第一個搭載了Transformer Engine,也是目前全世界最昂貴的計算機。



老黃表示,可以說,像這樣的產品,你買得越多,就省得越多。



接下來,老黃提到1964年的IBM 360,強調了CPU的重要性。

老黃自信地重複表示,「而60年後,我們現在有數據中心。今天,數據中心就是一個計算機。」



正如老黃所說,一種新的計算模式正在被創造。



為什麼使用GPU勝過使用CPU?

老黃從配置上給出了分析:花費1000萬美金成本,你可以建置一個有960顆CPU的數據中心,但這個數據中心要11GWh的功率,處理1X LMM(大語言模型)的數據量。



但一樣的錢,你可以建置一個配備有48個GPU的數據中心,但只要3.2GWh的功耗,而且可以處理44X LLM的數據量。



要知道,如此配置已經足夠驚人。然而,這還不夠。

為了獲得極致性能,你可以在功耗不變的情況下,把GPU數量直接拉到172個。

此時的算力,可以高達CPU數據中心的150倍。當然,預算也提高到了3400萬美元。



此外,如果你就只是單純地想完成手頭的工作(1X LLM),老黃也幫你把成本打下來了——

只需花40萬美金,就能買一個搭載了2個GPU的數據中心,功耗僅0.13GWh。



台下響起一片掌聲,老黃又拿出了口頭禪「The more you buy,The more you save」,甚至重複了三遍。

這背後的策略,究竟是什麼?老黃給了一個公式。



MGX:模塊化架構

與此同時,老黃還推出了NVIDIA MGXTM,一個供系統製造商快速、低成本地構建100多個服務器變體的參考架構。

據稱,這個規範可以將開發成本削減多達四分之三,並將開發時間縮短三分之二,僅需要6個月。

有了MGX,科技公司可以為他們的服務器優化加速計算的基本系統架構,然後選擇自己的GPU,DPU和CPU。

MGX還可以很容易地集成到雲和企業數據中心。



除了硬件之外,MGX還得到了英偉達完整軟件棧的支持,這使得開發者和企業能夠構建和加速AI、 HPC 和其他應用程序。

這包括NVIDIA AI Enterprise,NVIDIA AI平台的軟件層,其特點是有100多個框架、預訓練的模型和開發工具,以加速人工智能和數據科學,為企業人工智能開發和部署提供充分支持。


將AI引入遊戲,實時語音聊天的NPC角色來了

這次演講的亮點,還有全新的定制AI模型代工服務——Avatar Cloud Engine (ACE) for Game。

現場,老黃右手手持一塊RTX 4060 Ti,左手手持一台電腦,展示了運行實時光線追踪的Cyberpunk 2077。

在一個充滿「賽博朋克」風格的拉麵店場景中,玩家按下一個按鈕,可以用自己的聲音說話,然後店主Jin會進行回答。

Jin是一個NPC角色,但他的回答是由生成式AI根據玩家的語音輸入實時生成的。Jin還有著逼真的面部動畫和聲音,與玩家的語氣和背景故事相符。



這個逼真人物角色的生成,使用了一個實時人工智能模型渲染工具Nvidia Ace。

老黃表示,這個遊戲中的角色並沒有預先設定。他們有一個典型的任務提供者NPC類型。



但是從視頻中,可以看到,虛擬角色的談話有點生硬,但還不算太糟。

那些沒有AI專業知識的人,將被拋棄

40年來,我們創造了PC、互聯網、移動、雲,現在是人工智能時代。


你會創造什麼?不管是什麼,都要像我們一樣追趕它。要奔跑,不要走。要么是你為食物而奔跑,要么就是你任自己逃避,成為食物。



5月27日,黃仁勳在台灣大學發表了畢業典禮演講。

此刻,他正為全世界所矚目。

瞬間變身萬億掌門人,讓他的話更有底氣。

黃仁勳表示,每個公司和個人都應該熟悉人工智能,否則,就有失敗的危險。



他強調:敏捷的公司會利用人工智能提高自己的地位,這樣的公司不會倒閉。

很多人擔心,AI會搶走自己的工作,但真正會搶走你飯碗的,掌握了AI技術的人。

當時,他在演講中預言:從各方面來看,AI的興盛是計算機產業的再生契機。在下個十年,我們的產業將使用新型的AI電腦,取代價值萬億美元的傳統電腦。

而從今天的演講中,我們彷彿已經窺見了這種未來的雛形。(新智元)


參考資料:

https://www.youtube.com/watch?v=fHwmLOYJU_w


有錢的快入場了.