三十年前，CPU 和其他專用處理器幾乎處理所有計算任務。那個時代的顯卡有助於加快Windows 和應用程序中2D 形狀的繪製速度，但絕對沒有其他作用。快進到今天，GPU 現已成為整個行業最具主導地位的芯片之一。

具有諷刺意味的是，圖形芯片硬件的唯一功能的日子已經一去不復返了，圖形高性能計算和機器學習在很大程度上依賴於不起眼的GPU 的處理能力。與我們一起探索這款單芯片如何從一個不起眼的像素推動器演變成一個強大的浮點計算引擎。

讓我們首先回到20 世紀90 年代末。高性能計算領域，無論是使用超級計算機進行科學研究、標準服務器上的數據處理，還是工作站上的工程和設計任務，都完全依賴於兩種類型的CPU：為單一目的而構建的專用處理器或現成的處理器，AMD、IBM 或Intel 的貨架芯片。

以ASCI RED為例。1997 年，它是最強大的超級計算機之一，由9,632 個Intel Pentium II Overdrive CPU 組成（下圖）。每個單元的運行頻率為333 MHz，該系統的理論峰值計算性能略高於3.2 TFLOPS（每秒萬億次浮點運算）。

由於我們將在本文中經常提到這個指標，因此值得花點時間來解釋它的含義。在計算機科學中，浮點數（或簡稱浮點數）是表示非整數值的數據值，例如6.2815 或0.0044。整數值（稱為整數）經常用於控制計算機及其上運行的任何軟件所需的計算。

浮點數對於精度至關重要的情況至關重要- 特別是與科學或工程相關的任何事情。即使是簡單的計算，例如確定圓的周長，也至少涉及一個浮點值。

幾十年來，CPU 一直擁有單獨的電路來對整數和浮點數執行邏輯運算。在上述Pentium II Overdrive 的情況下，它可以在每個時鐘週期執行一次基本浮點運算（乘法或加法）。理論上，這就是為什麼ASCI Red 的峰值浮點性能為9,632 個CPU x 3.33 億個時鐘週期x 1 次操作/週期= 3,207,456 百萬次FLOPS。

這些數字是基於理想條件（例如，對易於放入高速緩存的數據使用最簡單的指令）預測的，並且在現實生活中很少實現。然而，它們可以很好地表明系統的功率。

其他超級計算機也擁有類似數量的標準處理器——勞倫斯利弗莫爾國家實驗室的Blue Pacific使用了5808 個IBM PowerPC 604e芯片，洛斯阿拉莫斯國家實驗室的Blue Mountain（上圖）則使用了6144 個MIPS Technologies R1000。

為了達到萬億次浮點運算級別的處理能力，需要數千個CPU，所有這些都需要大量RAM 和硬盤存儲的支持。過去是這樣，現在仍然是，這一切歸因於機器的數學要求。當我們在學校第一次接觸物理、化學和其他學科的方程時，一切都是一維的。換句話說，我們使用一個數字來表示距離、速度、質量、時間等。

然而，為了準確地建模和模擬現象，需要更多的維度，並且數學上升到向量、矩陣和張量的領域。它們在數學中被視為單個實體，但包含多個值，這意味著任何進行計算的計算機都需要同時處理大量數字。鑑於當時的CPU 每個週期只能處理一到兩個浮點數，因此需要數千個浮點數。

1997 年，英特爾使用一種名為MMX的技術更新了其最初的奔騰系列CPU ，這是一組利用內核內八個附加寄存器的指令。每個都被設計為存儲一到四個整數值。該系統允許處理器同時執行跨多個數字的一條指令，這種方法更被稱為SIMD（單指令、多數據）。

一年後，AMD 推出了自己的版本，稱為3DNow！。它的性能尤其優越，因為寄存器可以存儲浮點值。又過了一年，英特爾才在MMX 中解決這個問題，並在其Pentium III 芯片中引入了SSE（流SIMD 擴展）。

隨著日曆進入新千年，高性能計算機的設計者可以使用能夠有效處理矢量數學的標準處理器。一旦擴展到數千個，這些處理器就可以同樣出色地管理矩陣和張量。儘管取得了這一進步，超級計算機世界仍然青睞舊的或專用的芯片，因為這些新的擴展並不是專門為此類任務而設計的。

對於另一種快速普及的處理器（GPU）來說也是如此，它比AMD 或英特爾的任何CPU 都更擅長SIMD 工作。

在圖形處理器的早期，CPU 處理組成場景的三角形的計算（因此AMD 為其SIMD 技術使用這個名稱）。然而，像素的著色和紋理完全由GPU 處理，並且這項工作的許多方面都涉及矢量數學。

20 多年前最好的消費級顯卡，例如3dfx 的Voodoo5 5500和Nvidia 的GeForce 2 Ultra，都是出色的SIMD 設備。然而，它們的創建目的是為遊戲生成3D 圖形，而不是其他任何東西。即使是專業市場的顯卡也只專注於渲染。

ATI 售價2,000 美元的ATI FireGL 3 配備了兩個IBM 芯片（一個GT1000 幾何引擎和一個RC1000 光柵器）、一個巨大的128 MB DDR-SDRAM 以及據稱30 GFLOPS 的處理能力。但這一切都是為了使用OpenGL 渲染API 加速3D Studio Max 和AutoCAD 等程序中的圖形。

那個時代的GPU 無法用於其他用途，因為轉換3D 對象並將其轉換為監視器圖像的過程並不涉及大量的浮點數學。事實上，其中很大一部分是在整數級別，並且圖形卡需要幾年的時間才能開始在整個管道中大量使用浮點值。

第一個是ATI 的R300 處理器，它有8 個獨立的像素管道，以24 位浮點精度處理所有數學運算。不幸的是，除了圖形之外，沒有其他方法可以利用這種能力——硬件和相關軟件完全以圖像為中心。

計算機工程師並沒有忘記GPU 擁有大量SIMD 功能，但缺乏將其應用到其他領域的方法這一事實。令人驚訝的是，這是一個遊戲機，展示瞭如何解決這個棘手的問題。

2005年11月，微軟的Xbox 360上市，其CPU由IBM基於其標準PowerPC架構設計和製造，GPU由ATI設計、TMSC製造。這款代號為Xenos 的圖形芯片很特別，因為它的佈局完全避開了單獨的頂點和像素管道的經典方法。

取而代之的是一個三路SIMD 陣列集群。具體來說，每個集群由16 個向量處理器組成，每個向量處理器包含5 個數學單元。這種佈局使每個陣列能夠在每個週期對80 個浮點數據值同時執行來自線程的兩條順序指令。

這被稱為統一著色器架構，每個陣列可以處理任何類型的著色器。儘管Xenos 使芯片的其他方面變得更加複雜，但它引發了一種至今仍在使用的設計範例。

在時鐘速度為500 MHz 的情況下，整個集群理論上可以為乘法加法命令的三個線程實現240 GFLOPS (500 x 16 x 80 x 2) 的處理速率。這個數字有一定的規模感，作為對比，十年前的一些世界頂級超級計算機甚至無法匹敵這個速度。

例如，桑迪亞國家實驗室的aragon XP/S140配備3,680 個Intel i860 CPU，峰值速度為184 GFLOPS。到1995 年，這台機器已經有幾年曆史了，芯片開發的速度很快就超過了它，但GPU 也是如此。

CPU 多年來一直在整合自己的SIMD 陣列，例如，英特爾最初的Pentium MMX 有一個專用單元，用於在向量上執行指令，最多包含8 個8 位整數。當Xenos 在世界各地的家庭中使用時，此類裝置的尺寸至少增加了一倍，但與Xenos 相比，它們仍然很小。

消費級顯卡開始採用具有統一著色器架構的GPU 時，它們已經擁有比Xbox 360 的圖形芯片明顯更高的處理速率。2006 年GeForce 8800 GTX中使用的Nvidia G80（上圖）的理論峰值為346 GLFOPS，而2007 年Radeon HD 2900 XT中使用的ATI R600則擁有476 GLFOPS。

兩家製造商很快就在其專業模型中利用了這種計算能力。雖然價格過高，但ATI 的FireGL V8650 和Nvidia 的Tesla C870 非常適合高端科學計算機。然而，在最高級別上，全球超級計算機仍然僅依賴標準CPU。事實上，幾年後GPU 才開始出現在最強大的系統中。

那麼，當它們明顯提供了巨大的處理速度時，為什麼不立即使用它們呢？

首先，超級計算機和類似系統的設計、建造和操作都極其昂貴。多年來，它們都是圍繞大量CPU 陣列構建的，因此集成另一個處理器並不是一朝一夕的事。此類系統在增加芯片數量之前需要進行徹底的規劃和初始小規模測試。

其次，讓所有這些組件協調運行，尤其是軟件方面，絕非易事，這也是當時GPU 的一個重大弱點。雖然它們已經變得高度可編程，但以前可供它們使用的軟件相當有限。

Microsoft 的HLSL（高級著色器語言）、Nvidia 的Cg 庫和OpenGL 的GLSL 使訪問圖形芯片的處理能力變得簡單，儘管純粹是為了渲染。

統一著色器架構GPU 改變了這一切。2006 年，ATI（當時是AMD 的子公司）和Nvidia 發布了軟件工具包，旨在將這種能力不僅僅用於圖形，其API 分別稱為CTM（Close To Metal）和CUDA（Compute Unified Device Architecture）。

然而，科學和數據處理社區真正需要的是一個全面的軟件包，它將大量的CPU 和GPU（通常稱為異構平台）視為由眾多計算設備組成的單個實體。

2009年，他們的需求得到了滿足。OpenCL最初由Apple 開發，由Khronos Group（幾年前吸收了OpenGL）發布，成為在日常圖形之外使用GPU 的事實上的軟件平台，或者該領域當時被稱為GPGPU（通用GPU 上的計算， Mark Harris創造的術語）。

與廣闊的技術評論世界不同，全球範圍內並沒有數百名評論者測試超級計算機的性能主張。然而，德國曼海姆大學於20 世紀90 年代初啟動的一個正在進行的項目正是致力於實現這一目標。該組織被稱為“TOP500”，每年兩次發布全球最強大的10 台超級計算機排行榜。

第一個誇耀GPU 的條目出現在2010 年，中國有兩個系統——星雲和天河一號。他們分別使用Nvidia 的Tesla C2050（本質上是GeForce GTX 470，如下）和AMD 的Radeon HD 4870卡，前者的理論峰值為2,984 TFLOPS。

在高端GPGPU 的早期階段，Nvidia 是為計算巨頭配備的首選供應商，不是因為性能（AMD 的Radeon 卡通常提供更高程度的處理性能），而是因為軟件支持。CUDA 經歷了快速發展，幾年後AMD 才找到合適的替代方案，鼓勵用戶改用OpenCL。

然而，英偉達並沒有完全主導市場，英特爾的至強融核處理器試圖佔據一席之地。這些大型芯片源自一個名為Larrabee 的已中止的GPU 項目，是一種特殊的CPU-GPU 混合體，由多個類似奔騰的核心（CPU 部分）與大型浮點單元（GPU 部分）配對組成。

對Tesla C2050 內部結構的檢查揭示了14 個稱為流式多處理器(SM) 的塊，由緩存和中央控制器劃分。每一個都包含32 組兩個邏輯電路（Nvidia 將其標記為CUDA 核心），用於執行所有數學運算- 一組用於整數值，另一組用於浮點數。在後一種情況下，內核可以在每個時鐘週期以單（32 位）精度管理一次FMA（融合乘加）操作；雙精度（64 位）運算至少需要兩個時鐘週期。

Xeon Phi 芯片（下圖）中的浮點單元看起來有些相似，只是每個內核處理的數據值只有C2050 中SM 的一半。儘管如此，由於與Tesla 的14 個重複核心相比，有32 個重複核心，單個Xeon Phi 處理器總體上每個時鐘週期可以處理更多的值。然而，英特爾首次發布的該芯片更多的是原型機，無法充分發揮其潛力——英偉達的產品運行速度更快，功耗更低，並被證明是一款卓越的產品。

這將成為AMD、英特爾和Nvidia 之間三路GPGPU 之爭中反復出現的主題。一種型號可能擁有數量較多的處理核心，而另一種型號可能具有更快的時鐘速度或更強大的緩存系統。

CPU 對於所有類型的計算仍然至關重要，許多超級計算機和高端計算系統仍然由AMD 或英特爾處理器組成。雖然單個CPU 無法與普通GPU 的SIMD 性能競爭，但當數千個CPU 連接在一起時，它們就證明足夠了。然而，此類系統缺乏功效。

例如，在天河一號使用Radeon HD 4870卡的同時，AMD最大的服務器CPU（12核Opteron 6176 SE）也開始流行。對於140 W 左右的功耗，CPU 理論上可以達到220 GFLOPS，而上述GPU 的峰值性能可達到1,200 GFLOPS，僅多出10 W，而且成本僅為其一小部分。

到了2013 年，不僅僅是世界上的超級計算機在集體利用GPU 的能力進行並行計算。Nvidia 正在積極推廣其GRID 平台，這是一種用於科學和其他應用的GPU 虛擬化服務。最初是作為託管基於雲的遊戲的系統而推出的，對大規模、經濟實惠的GPGPU 不斷增長的需求使得這一轉變不可避免。在其年度技術會議上，GRID 被認為是各領域工程師的重要工具。

在同一事件中，GPU 公司展示了代號為Volta 的未來架構。然而，公佈的細節很少，普遍的假設是這將是另一款服務於Nvidia 所有市場的芯片。

與此同時，AMD 也在做類似的事情，在其專注於遊戲的Radeon 系列以及FirePro 和Radeon Sky 服務器卡中利用定期更新的Graphics Core Next (GCN) 設計。那時，性能數據已經令人震驚——FirePro W9100 的峰值FP32（32 位浮點）吞吐量為5.2 TFLOPS，這個數字對於不到二十年前的超級計算機來說是不可想像的。

當然，GPU 仍然主要是為3D 圖形而設計的，但渲染技術的進步意味著這些芯片必須越來越擅長處理一般計算工作負載。唯一的問題是它們執行高精度浮點數學（即FP64 或更高）的能力有限。縱觀2015 年頂級超級計算機，與完全基於CPU 的超級計算機相比，使用GPU（英特爾的Xeon Phi 或Nvidia 的Tesla）的數量相對較少。

當Nvidia 在2016 年推出Pascal 架構時，一切都發生了變化。這是該公司首次嘗試專門為高性能計算市場設計GPU，其他GPU 則用於多個領域。前者只生產過一款（GP100），並且只產生了5 種產品，但之前所有架構都只配備少數FP64 內核，而這款芯片卻容納了近2,000 個內核。

Tesla P100 提供超過9 TFLOPS 的FP32 處理能力以及FP64 處理能力的一半，其功能非常強大。AMD 的Radeon Pro W9100 使用其Vega 10 芯片，在FP32 中速度快了30%，但在FP64 中慢了800%。此時，英特爾因銷售不佳而瀕臨停產Xeon Phi 系列。

一年後，Nvidia 終於發布了Volta，這表明該公司不僅僅對將其GPU 引入HPC 和數據處理市場感興趣，它還瞄準了另一個市場。

深度學習是統稱為機器學習的更廣泛學科中的一個領域，機器學習本身是人工智能的一個子集。它涉及使用稱為神經網絡的複雜數學模型，從給定數據中提取信息，例如確定所呈現的圖像描繪特定動物的概率。為此，模型需要進行“訓練”——在本例中，顯示了數百萬張該動物的圖像，以及數百萬張不顯示該動物的圖像。

突然，一名黑衣男子探頭探腦，闖到了鏡頭前。在兩人的相邀下，該男子還對著觀眾唱了起來。

當時，她們並不知道，這名黑衣男子竟是當下全球科技產業最有權勢的人。

難保他日，他不會再超越蘋果，登頂世界之冠！

華爾街全面看好輝達 押注未來幾年市值稱霸 | Anue鉅亨 - 美股雷達 (cnyes.com)

就在不久前，華爾街上演了奇蹟。一家叫英偉達（NVIDIA,輝達）的公司，市值一夜暴漲24%，逼近萬億美元大關。

相比之下，它的競爭對手，全球三大芯片巨頭——高通、英特爾、AMD，市值加起來，還不到英偉達的一半。

事實上，僅5月25日一晚，英偉達漲出的市值就相當於2個英特爾。而後者為了今天，已經奮鬥了整整55年。

此後兩天，英偉達的市值繼續飆升，盤中突破萬億美元大關，成為人類歷史上第一家市值超過萬億的芯片企業。

幾年前，三星和英特爾還在為誰是芯片行業老大，爭得頭破血流。現在，不用爭了，因為答案變得毫無懸念。

最離奇的的是，眼下正值全球半導體產業哀鴻遍野之際，大多數同行舉步維艱，三星電子更是創下14年最差業績。

是什麼，讓英偉達無視全行業的衰退，逆勢飆升？

ChatGPT的背後是大模型，而訓練大模型需要超強算力。

根據國盛證券的估算，ChatGPT大模型訓練一次，成本在200萬美元以上。這些錢大部分投在英偉達的GPU芯片上。

事實上，為了訓練ChatGPT，OpenAI已經買了2.5萬個英偉達的GPU。

今年以來，隨著ChatGPT大熱，全球科技公司瘋狂追逐大模型。微軟、谷歌、亞馬遜對數據中心芯片的需求，超出所有人的預期。

在中國，目前已發布大模型的公司超過30家。

這些公司，無論開發的大模型有多麼不同，卻無一例外都在爭搶一種產品，那就是英偉達的GPU。

隨著訂單雪片般飛來，英偉達的芯片一貨難求。

有人形容：英偉達的芯片，已成為這個星球上最稀缺的資源。馬斯克則抱怨：比毒品還難搞到！

一貨難求之下，價格也水漲船高。在網上，英偉達AI旗艦芯片H100，被炒到4萬美元以上。

幾個月前，ChatGPT剛爆發時，所有人都以為，OpenAI是大贏家。眼下來看，最大的贏家其實是英偉達。

一夜幹翻英特爾，也讓英偉達的創始人黃仁勳成為矽谷，乃至當下全球科技產業最有權勢的人。

這個祖籍浙江青田，總穿一身黑色皮衣的男人，因為拳打英特爾、腳踢AMD，被稱為矽谷最好鬥的男人。

但外表好鬥的老黃，內心深處，藏著一顆孩童般的好奇心。

在台北，他一個人逛夜市，手裡還拎著一袋大麻花。

甚至，還被人拍到，他探頭探腦，一臉好奇地出現在兩位美女主播鏡頭前的樣子。

一個坐擁萬億市值、全球科技產業最有權勢的人，竟對街頭小巷，產生如此大的好奇心，這多少有些違和。

但正是這種好奇心，讓老黃改寫了芯片產業的歷史。

2012年9月30日，注定要載入史冊。

那天，一種叫AlexNet的深度學習模型，在全球視覺識別挑戰賽中，以吊打第二名的成績奪冠，一戰成名。

與傳統上使用CPU不同，AlexNet使用兩塊英偉達的GPU，來為模型訓練提供算力。

GPU專為並行計算設計，可同時處理大量相同的計算任務。相比之下，CPU則需處理更加複雜多變的計算。

有人打了個比喻，CPU就像老教授，微分積分都會算。GPU則像小學生，只會算簡單的加減乘除。

但如果有個工作，需要計算幾億次100以內的加減乘除，那麼幾十個小學生，顯然是吊打老教授的。而AI模型訓練，恰恰就需要這種計算。

事實上，早在本世紀初，在美國大學裡，就有人開始用GPU來訓練AI模型。畢竟，相比CPU，它成本更低、效率更高。

黃仁勳對AlexNet的成功，產生了極大的好奇心。

他由此預感到，AI時代即將到來。在老黃看來，AlexNet不僅僅是某種AI模型，更是一種軟硬件層面的革命。

為了迎接這場革命，黃仁勳做了一個大膽的決定：

all in AI，讓英偉達製造的每一塊芯片，都專注於人工智能。

2012年，是屬於移動互聯網和智能手機的時代。黃仁勳all in AI的決定，多少有些形單影孤。

但這並不是他第一次另闢蹊徑。

2006年，為了讓GPU獲得像CPU一樣的通用計算能力，英偉達推出了CUDA並行計算架構，讓程序員可以調用GPU的算力。

在此之前，GPU正如它的名字——圖形處理芯片一樣，只能用作圖形渲染。

這個決定讓英偉達在當時一眾顯卡廠商中，鶴立雞群。它也因此改寫了GPU的歷史。

對此，黃仁勳解釋說，英偉達之所以在並行計算領域敢為天下先，原因在於：

“我們的目標是為人類做出貢獻。這意味著，我們不會走別人走過的老路，而是打造別人不曾打造過的產品。”

這種好奇心和改變世界的理想，一直激勵英偉達，在人類未知領域不斷探索。

2012年，在決定豪賭AI之後，黃仁勳在軟硬件層面，不斷提升英偉達GPU的性能和易用性。尤其2016年，推出首個針對AI計算場景的P100芯片。

在此基礎上，英偉達重金打造了全球第一台AI超算DGX-1。

但黃仁勳並沒有出售，而是將它捐贈給了舊金山一家非營利性機構，它就是今天在全球科技產業界如雷貫耳的OpenAI。

捐贈儀式上，老黃拿出記號筆，在機箱上激動地寫下了一句話：

“為了計算和人類的未來，我捐出世界上第一台DGX-1。”

當時，除了OpenAI，沒有幾個人真正讀懂這句話。在大多數人看來，老黃做了一筆虧本的買賣。

但時任OpenAI聯合創始人的馬斯克，專門發推感謝了黃仁勳，因為DGX-1讓OpenAI的訓練時間，從1年縮短至1個月。

有了DGX-1的OpenAI，信心爆棚，決心打造更強大的AI。

他們找到微軟，向對方提出一個大膽的想法：構建一個AI系統，永遠改變人類與計算機交互的方式。

在移動互聯網時代，被谷歌、蘋果強壓一頭的微軟，豈肯錯過這樣的機會，當即決定向OpenAI投資10億美元。

黃仁勳用一台價值12.9萬美金的DGX-1，換來英偉達的大爆發。

不但A100、H100等GPU芯片被哄搶，《財富》100強公司一半以上都安裝了英偉達DGX AI超算。

好奇心是推動人類科技進步的重要力量。

20世紀初，愛因斯坦用相對論，顛覆了經典物理學。在被問到，為什麼偏偏是他創立了相對論時，愛因斯坦認為是強烈的好奇心。

“一個正常的成年人不見得會去思考時間和空間問題。”

黃仁勳創立英偉達並改寫人類芯片史的動力，同樣來自好奇心。

1993年創業前，黃仁勳曾打電話諮詢過一位專家，對方勸他：“這個市場還沒起步就已亂成一鍋粥，你最好別乾！”

#圖形晶片 你可以在這裡找到鉅亨號中所有使用「圖形晶片」為關鍵字所發布的內容