【導讀】 AI的火爆使得英偉達(輝達)的市值水漲船高,成功躋身萬億美元俱樂部,作為公司的靈魂人物,黃仁勳一路走來經歷了哪些故事?這位皮衣客又是如何一步步建立了他的顯卡帝國?
從神經網路AlexNet、到ChatGPT,再到生成式AI的大爆發,英偉達的GPU功不可沒。
在這場AI淘金熱中,英偉達的市值水漲船高,成功進入兆美元俱樂部,成為全球第6大市值最高的公司。
若說英偉達的成功背後,一定離不開這位靈魂人物──黃仁勳。
大家皆知賈伯斯、蓋茲等科技巨人的故事,而一直不願意拋頭露面的老黃,除了一身皮衣,更多的經歷鮮有人知。
這次,紐約客的最新訪談深挖了老黃創業歷程、管理方式、以及如何帶領英偉達走向成功的過程。
老黃早年那些事
黃仁勳出生於1963年的台灣,九歲時,他和哥哥被送往美國,在肯塔基州的奧奈達浸信會學院( Oneida Baptist Institute, in Kentucky)學習。
黃仁勳和一個17歲的室友住在一起,教室友識字,作為交換,室友教他臥推。每天晚上睡覺前,黃仁勳都要做一百個伏地挺身。
由於年齡太小,黃仁勳不能在這所學校上課,於是他去了附近的一所公立學校。
當時,校長向大家介紹了這位身材矮小、留著長髮、操著濃重口音的亞洲移民。然而,也因為這些特質,讓黃仁勳飽受同學的霸凌。
幾年後,黃仁勳的父母獲準進入美國,定居在俄勒岡州,兄弟倆與父母團聚。
黃仁勳高中時成績優異,是全國排名前幾名的乒乓球運動員。他參加了學校的數學、電腦和科學俱樂部,跳了兩級,16歲就畢業了。——但是他也表示「我沒有女朋友。」
後來,黃仁勳進入俄勒岡州立大學,主修電子工程。
在入門課上,他的實驗搭檔是Lori Mills,認真、呆萌、有著一頭棕色捲髮。
據黃仁勳回憶,當時電子工程專業有250名學生,大概只有三個女生。男生們爭相吸引Mills的注意,黃仁勳覺得自己處於劣勢。「我是班上最年輕的孩子,看起來只有12歲左右」。
——然而,每個週末,黃仁勳都會給Mills打電話,纏著她一起做作業。
「我想給她留下深刻印象,不是因為我的長相,而是因為我完成作業的能力很強。」
做了六個月的功課後,黃仁勳鼓起勇氣約她出去。她接受了邀請。
畢業後,黃仁勳和Mills在矽谷找到了一份微晶片設計師的工作——「她實際上比我賺的多」。
後來兩人結婚了,幾年後,Mills離開了工作崗位,去撫養他們的孩子。那時,黃仁勳已經開始經營自己的部門,晚上則在史丹佛大學攻讀研究所。
3人創業,緣起一家餐廳
1993年,他與Chris Malachowsky和Curtis Priem兩位資深微晶片設計師共同創立了英偉達公司。
Malachowsky和Priem希望設計出一個圖形晶片。最初他們給公司取名為NVision,但後來得知這個名字已經被一家衛生紙製造商使用。
黃仁勳建議使用英偉達,取自拉丁文i英偉達,意為「嫉妒」。他選擇丹尼餐廳(Denny's)作為組織業務的場所,是因為這裡比家裡安靜,而且有便宜的咖啡。
他曾於1980年代在俄勒岡州的連鎖餐廳工作。「我發現,在逆境中我的思維最活躍。」
黃仁勳喜歡電子遊戲,他認為市場需要更好的圖形晶片。那時,藝術家們開始用被稱為「基元」的形狀來組裝三維多邊形,而不是手工繪製像素,這樣做省時省力,但需要新的晶片。
英偉達的競爭對手使用三角形作為基元,但黃仁勳和同伴決定改用四邊形。——不過後來證明這是個錯誤,差點毀了公司。因為在英偉達發布第一款產品後不久,微軟宣布其圖形軟體只會支援三角形。
由於資金短缺,黃仁勳決定回到傳統的三角形方法。1996年,他裁掉了英偉達一百多名員工中的一半,然後把公司剩餘的資金押在了未經測試的微晶片生產上,他不確定這些微晶片是否能成功。
——「成功與失敗的機率五五開,但無論如何我們都要倒閉了」。
當這款名為RIVA 128的產品上市時,英偉達的資金僅夠支付一個月的薪水。但這場賭博得到了回報,英偉達在四個月內賣出了一百萬台RIVA。
黃仁勳鼓勵他的員工帶著絕望的情緒繼續出貨,在往後的日子裡,每逢面對員工演講,他的開場白就是「我們公司還有三十天就要倒閉了」。這句話至今仍是公司的非正式座右銘。
位於聖克拉拉( Santa Clara)的英偉達總部中心有兩棟巨大的建築,每棟建築都呈現三角形。從沙發、地毯到小便鬥的防濺罩,整棟大樓內部都是這種造型的縮影。
每棟大樓的頂層都有一個酒吧,公司鼓勵員工把辦公室當作靈活的空間,在這裡用餐、編碼和社交。如果員工在會議桌上用餐,AI可以在一小時內派遣清潔工進行清理。在股價上漲之前,英偉達就被評為美國最佳工作場所之一。
在標準電腦體系結構中,大部分工作由稱為中央處理器(CPU)的微型晶片完成。幾十年來,CPU的主要製造商一直是英特爾,英特爾曾多次試圖迫使英偉達退出市場。
黃仁勳描述英偉達與英特爾之間的關係是「Tom and Jerry relationship」——每當他們靠近,我們就拿起晶片跑路。
對此,英偉達採用了另一種方法。1999年,公司在上市後不久就推出了名為GeForce的圖形卡。
與通用CPU不同的是,GPU把複雜的數學任務分解成小的計算,然後用平行計算的方法一次處理完。CPU的功能就像一輛送貨卡車,一次送一個包裹;而GPU則更像摩托車團隊,在城市中穿梭。
GeForce系列取得了成功。《Quake》(《雷神之鎚》)系列電玩遊戲推動了它的流行,該遊戲使用並行計算來渲染玩家可以用榴彈發射器射擊的怪物。
《Quake》系列也推出了多人對戰的模式,PC遊戲玩家為了獲得優勢,每次升級都會購買新的GeForce顯示卡。
2000年,史丹佛大學電腦圖形學的研究生Ian Buck將32塊GeForce顯示卡連接在一起,使用8台投影機玩Quake。——這是第一台8K解析度的遊戲機,它佔據了整面牆。「It was beautiful.」
GeForce顯示卡附帶了一個叫做「著色器」的原始程式設計工具。在美國研究機構darpa的資助下,Ian Buck駭進了著色器,訪問了下面的平行計算電路,將GeForce變成了一台低成本的超級電腦。
隨後不久,Ian Buck就開始在英偉達上班了。
自2004年以來,Buck一直負責英偉達超級運算軟體套件(CUDA)的開發工作。黃仁勳的願景是讓CUDA能夠在每一塊GeForce顯示卡上運作。
在Buck開發軟體的同時,英偉達的硬體團隊開始在微晶片上為超算分配空間。英偉達的首席晶片工程師Arjun Prabhu將微晶片設計比喻為城市規劃,晶片的不同區域專門用於執行不同的任務。
2006年底,當CUDA發佈時,華爾街的反應是驚愕。黃仁勳將超級運算帶給了大眾,但大眾並沒有表現出他們需要這樣的東西。
矽谷流行播客《Acquired》的主持人Ben Gilbert表示,英偉達花了數十億美元瞄準學術和科學計算的一個不起眼的角落,而這在當時並不是一個大市場。
到了2008年底,英偉達的股價下跌70%。
黃仁勳認為,CUDA的存在將擴大超級運算領域。但這觀點並未得到廣泛認同。
2張英偉達顯示卡,1個CUDA架構,引爆神經網絡
20世紀初,提起AI,完全是個冷門的學科。人工智慧在影像辨識、語音辨識等領域的進展一直止步不前。
在這個不受歡迎的學術領域中,使用「神經網路」(受人腦啟發的計算結構)來解決問題,更是沒有得到許多電腦科學家的青睞。
當時,深度學習研究員Bryan Catanzaro勸阻老黃,「不要研究神經網路。因為當時人們認為,這已經過時了,而且不起作用」。
Catanzaro也將繼續研究神經網路的研究人員,統一稱為「荒野中的先知」。
這其中的一位先知,便指的是從多倫多大學教授退休、有AI教父之稱的Geoffrey Hinton。
2009年,Hinton的研究團隊使用英偉達的CUDA平台,訓練了一個神經網路來辨識語音。
沒想到,這項研究結果的質量,讓Hinton本人感到非常驚訝,並在當年的一次會議上報告了結果。然後,他主動聯繫了英偉達。
「我發了一封電子郵件說:『聽著,我剛剛告訴上千名機器學習研究人員,他們應該去買英偉達顯卡。你能免費送我一塊嗎?』」。
然而,英偉達最後的回覆只有一個字「No」。
儘管受到了冷落,Hinton還是鼓勵自己的學生使用CUDA,包括自己引以為傲的高徒Alex Krizhevsky。
2012年,Krizhevsky和研究夥伴Ilya Sutskever在預算緊張的情況下,購買了2張GeForce顯示卡-GTX 580 GPU。
然後,Krizhevsky開始在英偉達的平行運算平台上,訓練視覺辨識神經網路-AlexNet,一週內就向其輸入了數千萬張影像。
Hinton回憶道,「他的臥室裡那兩塊GPU一直嗡嗡運轉不停,可想而知,他父母一定付了相當可觀的電費」。
隨後,Krizhevsky和小夥伴一起帶著AlexNet參加了一年一度的ImageNet大賽,一舉奪得冠軍,第一個深度卷積網絡模型就此誕生了。
GeForce顯示卡的能力,讓Ilya和Krizhevsky雙雙感到驚訝。
其實,2012年早些時候,Google研究人員吳恩達、Jeff Dean曾訓練了一個可以「辨識貓」的神經網路。
谷歌這項工作使用了大約1.6萬個CPU,而Sutskever和Krizhevsky只用2塊英偉達電路板就產生了「世界級」的效果。
AlexNet正確辨識了滑板車、豹子和貨櫃船等物品的圖片
然而,AlexNet在比賽中得分如此之高,以至於組織者最初懷疑Krizhevsky是否以某種方式作弊。因為神經網路在當時並不受歡迎,Ilya和Krizhevsky是唯一一個使用這種技術的參賽團隊。
Hinton稱,「那是一種大爆炸的時刻。這就是範式的轉變」。
這篇「ImageNet Classification with Deep Convolutional Neural Networks」9頁神作自2021年誕生以來,至今已被引用了14萬+次,成為電腦史上重要的里程碑。
Krizhevsky開創了許多重要的程式技術,但他的主要發現是,「專用的GPU可以訓練神經網絡,速度比通用CPU快100倍」。
Hinton補充道,「如果沒有CUDA,做機器學習就會非常麻煩」。
隨後幾年內,ImageNet競賽的每位參賽者都在使用了「神經網路」。到了1920年代中期,在GPU上訓練的神經網路辨識影像的準確率達到96%,遠遠超過人類。
過去十年來,黃仁勳在推動超級運算和GPU的普及上取得了巨大的成功。
他表示,「事實上,它們現在可以解決完全非結構化的電腦視覺問題,那麼接下來,你還能教它做什麼?」
老黃再下注:英偉達從圖形公司,升級「AI公司」
答案似乎是:什麼都可以!
黃仁勳總結說,神經網路將徹底改變社會,他可以利用CUDA佔領必要的硬體市場。
當時,他宣布再次押注公司。
他在周五晚上發出一封郵件,「一切都將轉向深度學習,我們不再是一家圖形公司。從下週一早上開始,我們是一家人工智慧公司」。
英偉達的蛻變,從字面上看,就是這麼快。
就在黃仁勳發送那封電子郵件之時,他找到了英偉達首席人工智慧研究員Catanzaro,進行了一次思想實驗。
Catanzaro表示,「他讓我想像,把英偉達的8000名員工都帶進停車場,然後我可以自由地從停車場選擇任何人加入自己的團隊」。
在AlexNet成功之後,創投開始向AI投入大筆資金。
Andreessen Horowitz公司的Marc Andreessen在2016年表示,「我們一直在投資許多將深度學習應用於許多領域的新創公司,每家公司都有效地建立在英偉達的平台之上」。
大約在那個時候,英偉達向OpenAI的研究小組,交付了第一台專用的人工智慧超級電腦DGX-1。
黃仁勳親自把DGX-1帶到了OpenAI的辦公室,是由當時的董事長馬斯克開箱。
2017年,Google的研究人員提出了Transforme的神經網路架構。
隔年,OpenAI的研究人員便使用Google的框架建構了第一個「生成式預訓練Transformer」。
GPT模型在英偉達超級電腦上進行訓練,使用了大量的文字語料庫,並學習如何建立類似人類的連結。
2022年底,經過多年迭代,當紅炸子雞ChatGPT終於對外發表。
也就是從那時起,英偉達顯卡需求爆單。
其中,最強悍的DGX H100,一個重達160多公斤的金屬盒,價格高達50萬美元,已經缺貨了數月。
DGX H100的運行速度是訓練ChatGPT的硬體的5倍,可以在不到1分鐘的時間內訓練AlexNet。
英偉達預計,23年年底前將售出50萬台DGX H100。
應用於神經網路的處理能力越強,其輸出就越複雜。對於最先進的AI系統,或許需要數十個英偉達DGX H100。
如果這還不夠,英偉達將把這些電腦像圖書館堆疊一樣排列,用價值數千萬美元的超級運算設備填滿資料中心。
顯然,人工智慧的能力沒有明顯的限制。
在接下來的幾年裡,英偉達的硬體將加速進化到電腦時鐘週期的速度,從而訓練出各種類似的人工智慧模型。
據介紹,英偉達賣出的設備毛利率接近70%。
龐大的利潤讓所有開發AI訓練硬體的Google、特斯拉,以及新創公司都垂涎欲滴。
說起來,英偉達最激烈的競爭對手是AMD。
自2014年以來,AMD一直由另一位才華洋溢的工程師蘇姿豐(Lisa Su)經營。自從她成為公司負責人以來的幾年裡,AMD的股價上漲了30倍,使她成為這個時代最成功的半導體CEO,僅次於黃仁勳。
值得一提的是,老黃和蘇姿豐還是親戚關係。
黃氏管理法
老黃本人很少接受訪問。他表示,「我並沒有做什麼特別的事,主要是我的團隊的努力,我也不確定為什麼我被選為首席執行官,我並沒有任何特別的驅動力」。
當老黃下定決心在30歲經營一家企業的時候,他的聯創Chris Malachowsky說,「你真的不是一個好演講者,因為你比較內向」。
老黃表示,「我只有一個超能力──做作業」。英偉達軟體主管Dwight Diercks表示老黃可以在一個週末掌握任何課題。
黃仁勳更喜歡敏捷的公司結構,沒有固定的部門或階級制度。取而代之的是,員工每週提交一份清單,列出他們正在做的5件最重要的事情。
而他自己,每天也要寫幾百封回覆的郵件,與員工聊天,通常只有幾句話。一位高階主管將這些郵件比喻為俳句,另一位則比作贖金票據。
老黃自己也制定了一套自己常引用的管理格言。
在安排任務時,老黃會要求員工考慮「光速」。這不僅意味著快速行動;相反,員工應該考慮一項任務可以完成的絕對速度,然後朝著可實現的目標逆向努力。
也許老黃最激進的信念是「失敗必須分享」。
2000年初,英偉達曾出貨了一款故障的顯示卡,風扇聲音過大、過度活躍。
然而,黃仁勳沒有解僱該顯示卡的產品經理,而是安排了一次會議,讓經理們向幾百人介紹了,他們做出的每一個導致慘敗的決定。
英偉達的員工有時也會抱怨,老黃的性格反覆無常。
黃仁勳表示,「這其實是我腦子裡想的和嘴裡說的不一致。當錯位很嚴重時,就會表現為憤怒」。
即便在他很冷靜的時候,黃仁勳的強勢也可能是壓倒性的。一名員工形容,「與他溝通就像把手指插進電插座裡」。
儘管如此,英偉達員工流動率很低。
GPU的銷售暴漲,也讓英偉達成為了世界算力霸主,成功進入兆美元俱樂部。這背後離不開領導人黃仁勳的「瘋狂式」的管理策略。
老黃曾表示,當你創立一家公司時,很自然地從第一原理開始。(新智元)
參考資料:
https://www.newyorker.com/magazine/2023/12/04/how-jensen-huangs-nvidia-is-powering-the-ai-revolution
