•
黃仁勳Wired專訪：晶片短缺難以結束，下個Transformer已經出現
【新智元導讀】老黃關於未來最新的想法和預測，以及他對於過去許多問題的再思考，還有他的許多日常生活小習慣，都在這篇專訪裡了。
輝達的GPU正在吞噬這個世界。
科技公司對輝達的超級運算GPU有著近乎無盡的需求。
不再是那個只為遊戲顯示卡提供圖形渲染服務的輝達，現在的輝達利用他的GPU開創了一個新時代：
人類能夠與電腦對話，電腦能夠回應人類。而最終，電腦甚至可能超越人類。
WIED最近對黃仁勳進行了一次專訪，在訪談過程中，老黃用自己的幽默和智慧回答了幾乎一切關於自己和輝達過去和未來的問題。
61歲的黃穿著他標誌性的皮夾克和極簡主義黑色運動鞋出現。
他說，他討厭星期一的早晨，因為他週日也要工作一整天，這讓他在一週的開始就已經感到很疲憊了。
2012年，一小群研究人員推出了使用GPU而非CPU來運行程式碼的開創性影像辨識系統－AlexNet，開啟了深度學習的新紀元。
老黃立刻指示公司全力進軍AI領域。
2017年，當Google發布了被稱為Transformer的新型神經網路架構——也就是ChatGPT中的「T」——並引發了當前的AI熱潮時，輝達已經完美地完成了跑馬圈地位，開始向渴望科技的公司銷售其專為AI設計的GPU。
輝達現在在AI晶片市場的銷售額中佔據了超過70%的份額，並且正接近2兆美元的市值。
其2023年最後一季的營收達到了220億美元，比前一年成長了265%。
其股價在過去一年上漲了231%。老黃要么是在他所做的事情上具有非凡的洞察力，要么是運氣極好——或者兩者都有！——而每個人都想知道他的成功秘訣。
但沒有人可以永遠處於巔峰。現在，他正處於美中科技戰和監管機構的重重壓力之下。
老黃在AI晶片領域的一些競爭對手是眾所周知的大公司——Google、亞馬遜、Meta和Microsoft——它們是科技業最財大氣粗的企業。
去年12月，半導體公司AMD推出了一款大型AI運算處理器，意圖與輝達競爭。
新創公司也在瞄準輝達。光是去年第三季度，創投就向AI晶片領域投入了超過8億美元。
因此，老黃永遠不會停下腳步。
講好故事才能做好企業
老黃：「我兩個是是史丹佛大學的校友。」
採訪記者：是的，沒錯。我讀的是新聞學，但你學的不是。
「我希望我也學過新聞學。」
問：為什麼這麼說？
「因為，我非常欽佩的一位領導者和人物，Adobe CEO Shantanu Narayen，他曾說他一直想成為一名記者，因為他熱愛講故事。」
「有效地講述公司故事似乎是建立企業的一個重要部分。制定策略就是講故事。建構文化也是講故事。」
問：你多次表示，你沒有用簡報的形式來銷售輝達的理念。
「確實如此。只要講好故事就行了。」
問：因此，我想從另一位科技主管對我說的話開始。他指出，輝達比Amazon多一歲，但在許多方面，輝達比亞馬遜更有「第一天」的感覺。你是如何保持這種心態的？
「這確實是一個非常好的表達。我每天醒來都覺得像是第一天，因為我們總是在做一些前所未有的事情。」
「這也涉及到脆弱性。我們很可能會失敗。就在剛才，我正參與一個會議，我們正在為公司嘗試一些全新的事物，我們還不確定如何正確執行。」
問：那個新事物是什麼？
「我們正在建立一種新型數據中心，我們稱之為AI工廠。與今天建造數據中心的方式不同，你有很多人共享一個計算機集群，並把他們的文件存儲在這樣一個大型數據中心裡。」
「AI工廠的概念更像是一個發電站。這是相當獨特的。我們已經在過去幾年裡建造了它，但現在我們需要將它轉化為一個產品。」
問：它將被命名為什麼？
「我們還沒有想好名字。但它將無處不在。雲端服務供應商將建造它們，我們也將建造它們。未來，每家生物技術公司都將需要它。每家零售公司、每家物流公司、未來的每家汽車公司都將擁有一個工廠——生產實體商品的工廠，以及一個為汽車生產AI的工廠。」
「實際上，你可以看到Elon Musk正在這樣做。他在思考工業公司未來形態的問題上遠遠超前於大多數人。」
問：你之前說過，你經營一個扁平化的組織，直接向你報告的高階主管有30到40人，因為你希望直接參與資訊流。最近有什麼事情吸引了你的注意，讓你認為，「我可能最終需要把輝達押注在這個上面」？
「資訊不必從組織的頂層向下流動，就像在我們沒有電子郵件和短信等工具的舊石器時代那樣。信息如今可以更快速地流動。因此，一個從上到下逐層傳遞信息的層級結構變得不再必要。一個扁平化的網路讓我們能夠更快地適應變化，這一點至關重要，因為我們的技術正在飛速發展。」
「如果你觀察輝達技術的發展軌跡，傳統上摩爾定律每隔幾年就會翻一番。然而，在過去的十年裡，我們已經將AI 的能力提高了大約一百萬倍。這遠遠超過了摩爾定律的增長速度。在一個指數增長的世界裡，你不希望信息從頂層逐層向下傳播。」
老黃眼中的未來：空間模型將統一一切
問：但我想問的是，你的「羅馬帝國」是什麼？這是一個比喻。今天的Transformer論文是什麼？現在正在發生什麼，你認為這將改變一切？
「有幾件事情。其中之一還沒有具體名稱，但它是我們在基礎機器人學方面所做的一些工作。」
「如果你可以生成文本，如果你可以生成圖像，那麼你是否也可以生成運動？答案很可能是肯定的。然後，如果你可以生成運動，你就可以理解意圖並產生一種泛化的表達形式。因此，人形機器人的出現應該指日可待。」
「我認為圍繞狀態空間模型（SSM）的工作，這種模型允許你學習極長的模式和序列而不會在計算上呈現二次方增長，可能就是下一個Transformer。」
問：這將使我們能做什麼？有沒有現實生活中的例子？
「你可以與電腦進行非常長時間的對話，而對話的上下文永遠不會被遺忘。你甚至可以暫時改變話題，然後回到之前的話題，那個上下文仍然能被保留。」
「你可能能夠理解一個非常長的鏈條，比如一個人類的基因組。僅僅通過觀察遺傳代碼，你就能理解它的含義。」
問：我們距離實現這一點還有多遠？
「過去，從我們有了AlexNet到實現超越人類水平的AlexNet，只花了大約五年的時間。一個機器人基礎模型很可能就在不遠的將來——我會說是明年的某個時候。從那時起，再過五年，你將看到一些非常了不起的事情發生。」
Q：哪個產業最有可能從一個廣泛訓練的機器人行為模式中受益？
「嗯，重工業代表了世界上最大的產業。移動電子相對容易，但移動原子則極為困難。」
「運輸、物流、從一個地方到另一個地方移動重物、發現下一種藥物——所有這些都需要對原子、分子、蛋白質有深刻的理解。這些是AI尚未觸及的巨大而令人驚嘆的行業。」
問：你提到了摩爾定律。現在它已經不再適用？
「摩爾定律現在更多的是一個系統問題，而不是單純的晶片問題。它更多關乎多個晶片之間的互聯互通。大約10到15年前，我們開始了解構計算機的旅程，這樣就可以將多個晶片連接在一起。」
Q：這就是你們在2019年收購以色列公司Mellanox的原因？輝達當時表示，現代運算對資料中心提出了巨大需求，而Mellanox的網路技術將使加速運算更加有效率。
「確實如此。我們收購Mellanox是為了能夠把我們的晶片擴展成一個整個資料中心的超級晶片，從而實現現代AI超級電腦。這實際上是基於對摩爾定律終結的認識，如果我們想要繼續擴大運算能力，我們必須在數據中心層面進行。」
「我們重新審視了摩爾定律的製定，認為：不要讓它成為限制。摩爾定律不是計算的極限。我們必須超越摩爾定律，尋找新的擴大規模的方式。」
Q：Mellanox現在被認為是輝達非常明智的收購。最近，你們嘗試收購全球最重要的晶片IP公司之一Arm，直到被監管機構阻止。
「原本會是一次很棒的收購。」
問：我不確定美國政府是否同意，但讓我們先不討論這個。當你現在考慮收購時，你關注哪些具體領域？
「這些大型系統的作業系統非常複雜。你如何創建一個作業系統和計算堆棧，以協調我們GPU中數以千萬計、數以億計、現在甚至接近數十億的微小處理器？這是一個非常棘手的問題。如果公司外部有團隊正在解決這個問題，我們可以選擇與他們合作，或採取更進一步的措施。」
問：因此，我從你的話中聽出，對輝達來說，擁有一個作業系統並將其發展成為一個更完整的平台至關重要。
「我們是一個平台型公司。」
Q：你成為平台的部分越多，你面臨的挑戰就越多。人們往往會對平台因其輸出而承擔更多的責任。自動駕駛汽車的行為、醫療設備的誤差範圍、AI 系統的偏差等問題。你是如何應對這些挑戰的？
「我們不是一個應用程式公司。這可能是最簡單的解釋。我們會盡我們所能，但盡可能少地為一個行業服務。例如，在醫療保健領域，藥物發現不是我們的強項，但計算是。」
「製造汽車不是我們的專長，但製造擅長AI的汽車計算機是我們的專長。老實說，很難有一家公司能在所有這些領域都做得很好，但我們可以在AI計算方面做得非常好。」
晶片短缺什時候是個頭？不知道，因為我們要發新產品了
Q：去年有報告指出，你們的一些客戶為了等待你們的AI GPU而等待了數月。現在情況如何？
「嗯，我認為我們今年可能會完不成訂單。可能明年也完不成。」
Q：目前的等待時間是多久？
「我不確定。但你知道，今年也標誌著我們迎來了一個新的時代。」
Q：你是指Blackwell，你們傳說中的新GPU？
「沒錯。一代新的GPU即將推出，Blackwell的性能非常驚人。這將是非常了不起的產品。」
Q：這是否意味著客戶將需要較少的GPU就夠了？
「這是我們的目標。目標是大幅降低模型訓練的成本。然後，人們就可以擴大他們想要訓練的模型。」
問：輝達在許多AI新創公司中進行了投資。去年有報導稱，你們投資了超過30家。這些新創公司是否在等待硬體方面得到了優先考慮？
「他們面臨與所有人一樣的GPU供應緊張，因為他們中的大多數人使用公有雲，因此他們必須自己與公有雲服務供應商談判。但他們確實獲得了對我們AI技術的支持，這意味著他們可以利用我們的工程能力和我們優化AI模型的特殊技巧。」
「我們使他們的工作更有效率。如果你的吞吐量提高了五倍，你實際上就獲得了五倍的GPU性能。這就是他們從我們這裡獲得的優勢。」
問：你認為自己在這方面是個風向標嗎？
「不。我們投資這些公司，因為他們在他們所做的事情上非常出色。對我們來說能夠投資他們是一種榮幸，而不是反過來。這些是世界上一些最聰明的人才。他們不需要我們來為他們背書。」
Q：當機器學習越來越多地轉向推理而不是訓練——基本上，如果AI工作變得在計算上不那麼密集——這是否會減少對你們GPU的需求？
「我們喜歡推理。實際上，我會說，輝達的業務今天可能是，70%的推理+30%訓練。」
「這是好事，因為這意味著AI最終實現了價值。如果輝達的業務是90%的訓練和10%的推理，你可能會認為AI 仍然處於研究階段。七八年前確實如此。」
「但今天，每當你在雲中輸入一個提示並生成某物時——無論是視頻、圖像、2D、3D、文本還是圖表——很可能背後都是輝達的GPU。」
「我認為我們正處於生成式AI革命的開始。今天，世界上完成的大多數計算仍然是基於檢索的。」
檢索意味著你在手機上發出指令，它發送一個訊號到雲，檢索一則訊息。它可能會結合幾種不同的元素來構成一個回應，然後使用Java技術，在你的手機上的漂亮螢幕上呈現給你。」
「未來，計算將更多地基於RAG。基於檢索的生成是一種框架，允許大型語言模型拉取其通常參數之外的數據。其中的檢索部分將會減少，個性化生成的部分將大大增加。」
「這一代將由某處的GPU完成。因此，我認為我們正處於這個基於檢索的、生成式計算革命的開始，生成式AI將成為幾乎所有事物不可或缺的一部分。」
出口管制
Q：最新的消息是，你們一直在與美國政府合作，制定了可以向中國出口的符合製裁要求的晶片。我的理解是，這些並不是最先進的晶片。你們與政府合作得有多緊密，以確保你們仍然可以在中國開展業務？
「嗯，退一步講，這是出口管制，而不是製裁。美國已經確定輝達的技術和這套AI計算基礎設施對國家具有戰略意義，因此適用出口管制。我們在第一時間遵守了出口管制— —2022年8月。」
「美國在2023年增加了更多的出口管制條款，這迫使我們再次對產品進行重新設計。因此，我們做到了。我們正在開發一套符合當前出口管制規定的新產品。我們與政府密切合作，確保我們的方案與他們的意圖一致。」
Q：這些限制可能會激勵中國加速發展競爭性AI晶片，你對此有多擔心？
「中國已經擁有具有競爭力的產品。」
「對。這不是數據中心規模的產品，但去年推出的華為Mate 60智慧型手機因其自研的晶片而受到關注。」
「華為確實是一家非常出色的公司。他們的限制來自於他們能夠使用的任何半導體加工技術，但他們仍然可以通過整合許多這樣的晶片來構建非常大的系統。」
問：不過，你整體上有多擔心中國將能夠在生成式AI方面趕上美國？
「這項規定將限制中國獲取最先進技術的能力，這意味著西方世界，那些不受出口控制限制的國家，將能夠使用更好的技術，這些技術正在迅速進步。」
「因此，我認為這種限制給中國帶來了巨大的成本壓力。你總是可以在技術上整合更多的晶片製造系統來完成工作。但這只會增加那些單元的成本。這可能是最簡單的思考方式。」
Q：你是否擔心，在中國銷售符合規定的晶片，會影響你與台灣半導體業的驕傲TSMC的關係？
「不會。因為這項規定是一個具體的措施，它和速度限制沒有區別。」
問：你曾多次說過，在你的超級電腦中有35000個元件，其中8個來自TSMC。當我聽到這個時，我認為這必定是一個很小的比例。你是否在輕描淡寫你對TSMC的依賴？
「不，絕對不是。」
問：那你想用那句話表達什麼？
「我只是在強調，為了建立一個AI超級計算機，需要涉及大量其他組件。實際上，在我們的AI超級計算機中，幾乎整個半導體行業都與我們合作。」
「我們已經與三星、SK海力士、英特爾、AMD、博通、Marvell等公司建立了非常緊密的合作關係。在我們的AI超級電腦中，當我們成功時，一大批公司與我們一同成功，我們對此感到高興。」
Q：你多久與TSMC的Morris Chang或Mark Liu交流一次？
「一直。不斷地。」
Q：你們的談話內容是什麼？
「這些天我們主要討論先進封裝技術、為未來幾年的先進運算能力規劃產能。CoWoS（TSMC的專有技術，用於將晶片模組和記憶體模組整合到單一的封裝中）需要新工廠、新生產線、新設備。因此，他們的支持至關重要。」
Q：我最近與一位專注於生成式AI的CEO交談。我問輝達未來可能的競爭對手是誰，這個人提到了Google的TPU。其他人提到了AMD。我想對你來說這可能還有其他答案，但你認為你最大的競爭對手是誰？誰讓你睡不安穩那種。
「他們都讓我睡不安。TPU團隊非常出色。TPU團隊真的很棒，AWSTrainium團隊和AWS Inferentia團隊也非常出色，非常優秀。」
「微軟有他們的內部ASIC開發，正在進行中，稱為Maia。」
「中國的每個雲端服務供應商都在開發內部晶片，然後還有一大批新創公司和現有的半導體公司都在製造出色的晶片。每個人都在製造晶片。」
「這不應該讓我夜不能寐，因為我應該確保我的工作讓我足夠疲憊，以至於沒有人能讓我夜不能寐。這真的是我唯一能控制的事情。」
「但讓我早上醒來的肯定是，我們必須繼續兌現我們的承諾，那就是，我們是世界上唯一一家每個人都可以與之合作，在數據中心規模和完整堆疊上構建AI超級計算機的公司。」
回到30年前，我會犧牲一切再創輝達
Q：我有一些個人問題想問你。我問ChatGPT了一個關於你的問題。我想知道你是否有任何紋身，因為我打算提議我們下次見面時給你紋一個。如果你有紋身，我也會紋一個。
「我也有一個。」
問：是的。這就是我從ChatGPT那裡了解到的。它說老黃在股價達到100美元時紋了公司logo的刺青。
然後它說，「然而，老黃表示，他不太可能再紋任何紋身了，注意到疼痛比他預期的要強烈。」它說你哭了。你真的哭了嗎？
「算是吧。我的建議是在你紋身之前喝一杯威士忌。或者服用Advil。我還認為女性可以承受更多的疼痛，因為我的女兒有一個相當大的紋身。」
Q：我想知道，你個人多久使用一次ChatGPT或Bard，或類似的工具？
我一直在使用Perplexity。我也很喜歡ChatGPT。我幾乎每天都在使用它們。
Q：用來幹什麼？
「研究。例如，電腦輔助的藥物發現。也許你想知道電腦輔助藥物發現的最新進展。」
「你可以選定整個主題，以便你可以有一個框架，從那個框架中，你可以提出越來越具體的問題。我真的很喜歡這些大型語言模型的特點。」
問：我聽說你過去常舉重。你還在堅持嗎？
「不行。我會嘗試每天做40個伏地挺身。這只用花幾分鐘的時間。我還會在刷牙時做深蹲。不過我是一個懶惰的鍛鍊者。」
Q：最近你在Acquired播客上發表的一則評論引起了熱議。主持人問，如果你今天30歲，正在考慮創辦一家公司，你會創辦什麼？你說你根本不會創辦公司。你對此有什麼補充嗎？
「那個問題可以用兩種方式回答，我選擇了這種方式：如果我那時知道我現在所知道的一切，我會太害怕去做。我會太害怕。我不會這麼做。」
「你必須有些執念和妄想才會想創辦一家企業。」
「這是無知的優勢。你不知道這將有多困難，你不知道會涉及多少痛苦和苦難。當我現在遇到企業家時，他們告訴我這將是多麼容易，我非常支持他們」
「我實際上並不嘗試戳破他們的幻想。但我在腦海中知道，「哦，男孩，這不會像他們想的那樣。」
Q：你認為在經營輝達過程中你必須做出的最大犧牲是什麼？
「與其他企業家所做的犧牲是一樣的。你要非常非常努力地工作。很長一段時間，沒有人認為你會成功。你獨自相信你會成功。不安全感、脆弱性，有時是羞辱，這都是真的。沒有人談論它，但這都是真的。CEO和企業家和其他人一樣是人。當他們在所有人面前失敗時，是很尷尬的。」
「但如果我那時知道輝達會成為今天這樣，我是否會創辦公司，你開玩笑嗎？我會犧牲一切去做。」（新智元）
參考資料：
https://www.wired.com/story/nvidia-hardware-is-eating-the-world-jensen-huang/