輝達GPU一戰成神!黃仁勳押注人工智慧,建起兆美元顯示卡帝國

【導讀】 AI的火爆使得英偉達(輝達)的市值水漲船高,成功躋身萬億美元俱樂部,作為公司的靈魂人物,黃仁勳一路走來經歷了哪些故事?這位皮衣客又是如何一步步建立了他的顯卡帝國?

從神經網路AlexNet、到ChatGPT,再到生成式AI的大爆發,英偉達的GPU功不可沒。

在這場AI淘金熱中,英偉達的市值水漲船高,成功進入兆美元俱樂部,成為全球第6大市值最高的公司。

若說英偉達的成功背後,一定離不開這位靈魂人物──黃仁勳。

大家皆知賈伯斯、蓋茲等科技巨人的故事,而一直不願意拋頭露面的老黃,除了一身皮衣,更多的經歷鮮有人知。

這次,紐約客的最新訪談深挖了老黃創業歷程、管理方式、以及如何帶領英偉達走向成功的過程。



老黃早年那些事

黃仁勳出生於1963年的台灣,九歲時,他和哥哥被送往美國,在肯塔基州的奧奈達浸信會學院( Oneida Baptist Institute, in Kentucky)學習。

黃仁勳和一個17歲的室友住在一起,教室友識字,作為交換,室友教他臥推。每天晚上睡覺前,黃仁勳都要做一百個伏地挺身。

由於年齡太小,黃仁勳不能在這所學校上課,於是他去了附近的一所公立學校。

當時,校長向大家介紹了這位身材矮小、留著長髮、操著濃重口音的亞洲移民。然而,也因為這些特質,讓黃仁勳飽受同學的霸凌。

幾年後,黃仁勳的父母獲準進入美國,定居在俄勒岡州,兄弟倆與父母團聚。

黃仁勳高中時成績優異,是全國排名前幾名的乒乓球運動員。他參加了學校的數學、電腦和科學俱樂部,跳了兩級,16歲就畢業了。——但是他也表示「我沒有女朋友。」


後來,黃仁勳進入俄勒岡州立大學,主修電子工程。

在入門課上,他的實驗搭檔是Lori Mills,認真、呆萌、有著一頭棕色捲髮。

據黃仁勳回憶,當時電子工程專業有250名學生,大概只有三個女生。男生們爭相吸引Mills的注意,黃仁勳覺得自己處於劣勢。「我是班上最年輕的孩子,看起來只有12歲左右」。


——然而,每個週末,黃仁勳都會給Mills打電話,纏著她一起做作業。

「我想給她留下深刻印象,不是因為我的長相,而是因為我完成作業的能力很強。」

做了六個月的功課後,黃仁勳鼓起勇氣約她出去。她接受了邀請。

畢業後,黃仁勳和Mills在矽谷找到了一份微晶片設計師的工作——「她實際上比我賺的多」。


後來兩人結婚了,幾年後,Mills離開了工作崗位,去撫養他們的孩子。那時,黃仁勳已經開始經營自己的部門,晚上則在史丹佛大學攻讀研究所。


3人創業,緣起一家餐廳

1993年,他與Chris Malachowsky和Curtis Priem兩位資深微晶片設計師共同創立了英偉達公司。


Malachowsky和Priem希望設計出一個圖形晶片。最初他們給公司取名為NVision,但後來得知這個名字已經被一家衛生紙製造商使用。

黃仁勳建議使用英偉達,取自拉丁文i英偉達,意為「嫉妒」。他選擇丹尼餐廳(Denny's)作為組織業務的場所,是因為這裡比家裡安靜,而且有便宜的咖啡。

他曾於1980年代在俄勒岡州的連鎖餐廳工作。「我發現,在逆境中我的思維最活躍。」

黃仁勳喜歡電子遊戲,他認為市場需要更好的圖形晶片。那時,藝術家們開始用被稱為「基元」的形狀來組裝三維多邊形,而不是手工繪製像素,這樣做省時省力,但需要新的晶片。


英偉達的競爭對手使用三角形作為基元,但黃仁勳和同伴決定改用四邊形。——不過後來證明這是個錯誤,差點毀了公司。因為在英偉達發布第一款產品後不久,微軟宣布其圖形軟體只會支援三角形。

由於資金短缺,黃仁勳決定回到傳統的三角形方法。1996年,他裁掉了英偉達一百多名員工中的一半,然後把公司剩餘的資金押在了未經測試的微晶片生產上,他不確定這些微晶片是否能成功。

——「成功與失敗的機率五五開,但無論如何我們都要倒閉了」。

當這款名為RIVA 128的產品上市時,英偉達的資金僅夠支付一個月的薪水。但這場賭博得到了回報,英偉達在四個月內賣出了一百萬台RIVA。


黃仁勳鼓勵他的員工帶著絕望的情緒繼續出貨,在往後的日子裡,每逢面對員工演講,他的開場白就是「我們公司還有三十天就要倒閉了」。這句話至今仍是公司的非正式座右銘。

位於聖克拉拉( Santa Clara)的英偉達總部中心有兩棟巨大的建築,每棟建築都呈現三角形。從沙發、地毯到小便鬥的防濺罩,整棟大樓內部都是這種造型的縮影。


每棟大樓的頂層都有一個酒吧,公司鼓勵員工把辦公室當作靈活的空間,在這裡用餐、編碼和社交。如果員工在會議桌上用餐,AI可以在一小時內派遣清潔工進行清理。在股價上漲之前,英偉達就被評為美國最佳工作場所之一。

在標準電腦體系結構中,大部分工作由稱為中央處理器(CPU)的微型晶片完成。幾十年來,CPU的主要製造商一直是英特爾,英特爾曾多次試圖迫使英偉達退出市場。


黃仁勳描述英偉達與英特爾之間的關係是「Tom and Jerry relationship」——每當他們靠近,我們就拿起晶片跑路。


對此,英偉達採用了另一種方法。1999年,公司在上市後不久就推出了名為GeForce的圖形卡。

與通用CPU不同的是,GPU把複雜的數學任務分解成小的計算,然後用平行計算的方法一次處理完。CPU的功能就像一輛送貨卡車,一次送一個包裹;而GPU則更像摩托車團隊,在城市中穿梭。

GeForce系列取得了成功。《Quake》(《雷神之鎚》)系列電玩遊戲推動了它的流行,該遊戲使用並行計算來渲染玩家可以用榴彈發射器射擊的怪物。


《Quake》系列也推出了多人對戰的模式,PC遊戲玩家為了獲得優勢,每次升級都會購買新的GeForce顯示卡。

2000年,史丹佛大學電腦圖形學的研究生Ian Buck將32塊GeForce顯示卡連接在一起,使用8台投影機玩Quake。——這是第一台8K解析度的遊戲機,它佔據了整面牆。「It was beautiful.」

GeForce顯示卡附帶了一個叫做「著色器」的原始程式設計工具。在美國研究機構darpa的資助下,Ian Buck駭進了著色器,訪問了下面的平行計算電路,將GeForce變成了一台低成本的超級電腦。


隨後不久,Ian Buck就開始在英偉達上班了。

自2004年以來,Buck一直負責英偉達超級運算軟體套件(CUDA)的開發工作。黃仁勳的願景是讓CUDA能夠在每一塊GeForce顯示卡上運作。

在Buck開發軟體的同時,英偉達的硬體團隊開始在微晶片上為超算分配空間。英偉達的首席晶片工程師Arjun Prabhu將微晶片設計比喻為城市規劃,晶片的不同區域專門用於執行不同的任務。


2006年底,當CUDA發佈時,華爾街的反應是驚愕。黃仁勳將超級運算帶給了大眾,但大眾並沒有表現出他們需要這樣的東西。

矽谷流行播客《Acquired》的主持人Ben Gilbert表示,英偉達花了數十億美元瞄準學術和科學計算的一個不起眼的角落,而這在當時並不是一個大市場。

到了2008年底,英偉達的股價下跌70%。

黃仁勳認為,CUDA的存在將擴大超級運算領域。但這觀點並未得到廣泛認同。


2張英偉達顯示卡,1個CUDA架構,引爆神經網絡

20世紀初,提起AI,完全是個冷門的學科。人工智慧在影像辨識、語音辨識等領域的進展一直止步不前。

在這個不受歡迎的學術領域中,使用「神經網路」(受人腦啟發的計算結構)來解決問題,更是沒有得到許多電腦科學家的青睞。


當時,深度學習研究員Bryan Catanzaro勸阻老黃,「不要研究神經網路。因為當時人們認為,這已經過時了,而且不起作用」。

Catanzaro也將繼續研究神經網路的研究人員,統一稱為「荒野中的先知」。

這其中的一位先知,便指的是從多倫多大學教授退休、有AI教父之稱的Geoffrey Hinton。

2009年,Hinton的研究團隊使用英偉達的CUDA平台,訓練了一個神經網路來辨識語音。

沒想到,這項研究結果的質量,讓Hinton本人感到非常驚訝,並在當年的一次會議上報告了結果。然後,他主動聯繫了英偉達。


「我發了一封電子郵件說:『聽著,我剛剛告訴上千名機器學習研究人員,他們應該去買英偉達顯卡。你能免費送我一塊嗎?』」。

然而,英偉達最後的回覆只有一個字「No」。

儘管受到了冷落,Hinton還是鼓勵自己的學生使用CUDA,包括自己引以為傲的高徒Alex Krizhevsky。

2012年,Krizhevsky和研究夥伴Ilya Sutskever在預算緊張的情況下,購買了2張GeForce顯示卡-GTX 580 GPU。


然後,Krizhevsky開始在英偉達的平行運算平台上,訓練視覺辨識神經網路-AlexNet,一週內就向其輸入了數千萬張影像。

Hinton回憶道,「他的臥室裡那兩塊GPU一直嗡嗡運轉不停,可想而知,他父母一定付了相當可觀的電費」。

隨後,Krizhevsky和小夥伴一起帶著AlexNet參加了一年一度的ImageNet大賽,一舉奪得冠軍,第一個深度卷積網絡模型就此誕生了。


GeForce顯示卡的能力,讓Ilya和Krizhevsky雙雙感到驚訝。

其實,2012年早些時候,Google研究人員吳恩達、Jeff Dean曾訓練了一個可以「辨識貓」的神經網路。


谷歌這項工作使用了大約1.6萬個CPU,而Sutskever和Krizhevsky只用2塊英偉達電路板就產生了「世界級」的效果。


AlexNet正確辨識了滑板車、豹子和貨櫃船等物品的圖片

然而,AlexNet在比賽中得分如此之高,以至於組織者最初懷疑Krizhevsky是否以某種方式作弊。因為神經網路在當時並不受歡迎,Ilya和Krizhevsky是唯一一個使用這種技術的參賽團隊。

Hinton稱,「那是一種大爆炸的時刻。這就是範式的轉變」。


這篇「ImageNet Classification with Deep Convolutional Neural Networks」9頁神作自2021年誕生以來,至今已被引用了14萬+次,成為電腦史上重要的里程碑。


Krizhevsky開創了許多重要的程式技術,但他的主要發現是,「專用的GPU可以訓練神經網絡,速度比通用CPU快100倍」。

Hinton補充道,「如果沒有CUDA,做機器學習就會非常麻煩」。

隨後幾年內,ImageNet競賽的每位參賽者都在使用了「神經網路」。到了1920年代中期,在GPU上訓練的神經網路辨識影像的準確率達到96%,遠遠超過人類。

過去十年來,黃仁勳在推動超級運算和GPU的普及上取得了巨大的成功。

他表示,「事實上,它們現在可以解決完全非結構化的電腦視覺問題,那麼接下來,你還能教它做什麼?」

老黃再下注:英偉達從圖形公司,升級「AI公司」

答案似乎是:什麼都可以!

黃仁勳總結說,神經網路將徹底改變社會,他可以利用CUDA佔領必要的硬體市場。

當時,他宣布再次押注公司。

他在周五晚上發出一封郵件,「一切都將轉向深度學習,我們不再是一家圖形公司。從下週一早上開始,我們是一家人工智慧公司」。

英偉達的蛻變,從字面上看,就是這麼快。

就在黃仁勳發送那封電子郵件之時,他找到了英偉達首席人工智慧研究員Catanzaro,進行了一次思想實驗。

Catanzaro表示,「他讓我想像,把英偉達的8000名員工都帶進停車場,然後我可以自由地從停車場選擇任何人加入自己的團隊」。


H100,成大模型掘金鏟

在AlexNet成功之後,創投開始向AI投入大筆資金。

Andreessen Horowitz公司的Marc Andreessen在2016年表示,「我們一直在投資許多將深度學習應用於許多領域的新創公司,每家公司都有效地建立在英偉達的平台之上」。

大約在那個時候,英偉達向OpenAI的研究小組,交付了第一台專用的人工智慧超級電腦DGX-1。

黃仁勳親自把DGX-1帶到了OpenAI的辦公室,是由當時的董事長馬斯克開箱。


2017年,Google的研究人員提出了Transforme的神經網路架構。

隔年,OpenAI的研究人員便使用Google的框架建構了第一個「生成式預訓練Transformer」。

GPT模型在英偉達超級電腦上進行訓練,使用了大量的文字語料庫,並學習如何建立類似人類的連結。

2022年底,經過多年迭代,當紅炸子雞ChatGPT終於對外發表。


也就是從那時起,英偉達顯卡需求爆單。

其中,最強悍的DGX H100,一個重達160多公斤的金屬盒,價格高達50萬美元,已經缺貨了數月。

DGX H100的運行速度是訓練ChatGPT的硬體的5倍,可以在不到1分鐘的時間內訓練AlexNet。

英偉達預計,23年年底前將售出50萬台DGX H100。

應用於神經網路的處理能力越強,其輸出就越複雜。對於最先進的AI系統,或許需要數十個英偉達DGX H100。

如果這還不夠,英偉達將把這些電腦像圖書館堆疊一樣排列,用價值數千萬美元的超級運算設備填滿資料中心。

顯然,人工智慧的能力沒有明顯的限制。

在接下來的幾年裡,英偉達的硬體將加速進化到電腦時鐘週期的速度,從而訓練出各種類似的人工智慧模型。


據介紹,英偉達賣出的設備毛利率接近70%。

龐大的利潤讓所有開發AI訓練硬體的Google、特斯拉,以及新創公司都垂涎欲滴。

說起來,英偉達最激烈的競爭對手是AMD。

自2014年以來,AMD一直由另一位才華洋溢的工程師蘇姿豐(Lisa Su)經營。自從她成為公司負責人以來的幾年裡,AMD的股價上漲了30倍,使她成為這個時代最成功的半導體CEO,僅次於黃仁勳。

值得一提的是,老黃和蘇姿豐還是親戚關係。




黃氏管理法

老黃本人很少接受訪問。他表示,「我並沒有做什麼特別的事,主要是我的團隊的努力,我也不確定為什麼我被選為首席執行官,我並沒有任何特別的驅動力」。

當老黃下定決心在30歲經營一家企業的時候,他的聯創Chris Malachowsky說,「你真的不是一個好演講者,因為你比較內向」。

老黃表示,「我只有一個超能力──做作業」。英偉達軟體主管Dwight Diercks表示老黃可以在一個週末掌握任何課題。

黃仁勳更喜歡敏捷的公司結構,沒有固定的部門或階級制度。取而代之的是,員工每週提交一份清單,列出他們正在做的5件最重要的事情。


而他自己,每天也要寫幾百封回覆的郵件,與員工聊天,通常只有幾句話。一位高階主管將這些郵件比喻為俳句,另一位則比作贖金票據。

老黃自己也制定了一套自己常引用的管理格言。

在安排任務時,老黃會要求員工考慮「光速」。這不僅意味著快速行動;相反,員工應該考慮一項任務可以完成的絕對速度,然後朝著可實現的目標逆向努力。

也許老黃最激進的信念是「失敗必須分享」。

2000年初,英偉達曾出貨了一款故障的顯示卡,風扇聲音過大、過度活躍。

然而,黃仁勳沒有解僱該顯示卡的產品經理,而是安排了一次會議,讓經理們向幾百人介紹了,他們做出的每一個導致慘敗的決定。

英偉達的員工有時也會抱怨,老黃的性格反覆無常。

黃仁勳表示,「這其實是我腦子裡想的和嘴裡說的不一致。當錯位很嚴重時,就會表現為憤怒」。

即便在他很冷靜的時候,黃仁勳的強勢也可能是壓倒性的。一名員工形容,「與他溝通就像把手指插進電插座裡」。

儘管如此,英偉達員工流動率很低。


GPU的銷售暴漲,也讓英偉達成為了世界算力霸主,成功進入兆美元俱樂部。這背後離不開領導人黃仁勳的「瘋狂式」的管理策略。

老黃曾表示,當你創立一家公司時,很自然地從第一原理開始。(新智元)


參考資料:

https://www.newyorker.com/magazine/2023/12/04/how-jensen-huangs-nvidia-is-powering-the-ai-revolution