在Arm攜手美國全國公共媒體（NPM）精心打造的定製化播客系列《Tech Unheard》的首秀中，輝達首席執行官黃仁勳作為特邀嘉賓接受了Arm首席執行官雷內·哈斯（Rene Haas）的獨家專訪。哈斯對黃仁勳讚譽有加，認為他是一位名副其實的遠見卓識者。
訪談期間，哈斯與黃仁勳深入交流了後者的個人創業歷程、人工智慧的未來前景，以及輝達如何通過其獨特的持續創新精神與勃勃雄心，不斷推動技術邊界的拓展。此外，黃仁勳還闡述了如何重塑輝達使其聚焦於系統晶片領域，並引領人工智慧的工業革命的幕後故事，同時他還表達了對創新步伐能夠進一步加速的渴望。
《Tech Unheard》播客系列共計12集，哈斯將邀請行業領袖與政策制定者進行一對一的深度對話，分享他們的獨到見解、精彩故事以及對未來的展望。該系列自美國當地時間2024年10月9日起，每月播放一集，內容涵蓋從人工智慧的未來展望到建構當今頂尖技術與營運企業所需的思維模式。
以下為哈斯與黃仁勳對話全文：
如何招募合適的員工和高管？
哈斯：輝達如今已發展得如此龐大，關於你們的招聘我一直很好奇的是，你們是如何在眾多候選人中識別出那些將在輝達取得成功的人呢？畢竟，你們的公司文化獨特，行事風格也別具一格。
黃仁勳：說實話，我們在這方面並不總是能做得完美，這確實需要一些運氣。我認為傳統的面試過程並不總是判斷一個人是否適合的好方法。畢竟，每個人都可以通過觀看YouTube上的面試技巧視訊來準備一場看似建設性的對話。當然，技術問題是可以提前準備的，甚至有人分享過輝達的技術面試題。我們儘量讓面試顯得既嚴格又具有挑戰性，但說實話，這仍然很難精準評估一個人。因此，我的方法總是回到背景調查，我會去瞭解他們過去的工作經歷和表現。
我之所以這麼做，是因為一個人可以製造一個好的瞬間，但很難長期隱藏自己的過去和真實能力。所以我認為背景調查是一個很好的方法。我還會問一些深入的問題，然後觀察他們的推理過程和思維方式。但我認為，輝達之所以對很多人來說都很成功，一方面是因為我們找到了優秀的人，另一方面更在於我們創造了條件，讓這些人在這裡能夠超越自我，發揮出比他們自認為能做到的更好水平。這很大程度上取決於我們是否透明地解釋了輝達的願景、戰略以及我們的工作方式。我一直很重視這件事，並為此花了很多時間。我們公司一直以透明地解釋我們所面臨的挑戰、機遇以及我們正在執行的戰略而聞名。
我們的離職率很低，而且，這是一個非常多元化的環境，有很多背景各異的有趣的人，我們公司的人幾乎來自世界上所有偉大的公司。在公司內部，資訊流動得非常順暢，特別是關於公司戰略的資訊。我一直覺得奇怪的是，有些公司存在很多資訊壁壘，員工需要知道很多資訊才能參與決策。當然，人們不需要知道所有事情，但他們知道得越多，就越能夠代表公司做出明智的決策。所以我儘量保持透明，儘量讓人們擁有更多的權力和資訊。
因此，我認為輝達是世界上最小的大型公司之一，這得益於我們員工不可思議的生產力。我們現在大約有3萬名員工，也許現在稍微多一點。他們每天都需要做出數百個決策。如果這3萬人在統計上都在朝著一個方向前進，即使他們做出的決策往往是模糊的，但都是出於公司的長期利益考慮，那麼這些決策很快就會累積起來產生巨大的正面影響。
哈斯：我一直感到驚訝的是，無論是通過精心挑選還是自然選擇，輝達擁有那些對模糊性高度適應的高級領導者，並且這些領導者會深入到組織的各個層級，這一點至關重要。我想瞭解的是，這種情況是如何形成的？是不是隨著公司的發展，你逐漸找到了一批與你的願景相契合的高管，從而形成了這樣的氛圍？因為在輝達，很多現在身處高層的管理者，在我還在這裡工作或他們還在這裡任職時，就完全接受你會四處尋找合適的人來解決問題的做法。
黃仁勳：首先，我並沒有特意去徵求他們的意見。因為對於顯而易見的事情，你不應該請求許可。輝達從一開始就被定位為一個全端計算公司，我們的目標是製造GPU、CPU和網路晶片，甚至包括交換機。同時，我們還要負責晶片架構和設計、系統軟體的開發、演算法的建立，甚至是求解器的開發。
那麼，如何組織這樣一個既需要各部分協同工作，又需要分步驟建構的整體呢？我們的解決方案是，不設立組織壁壘，而是將組織視為一個領導者可以培養人才、為他們創造成功條件、提供服務、幫助他們排除障礙的平台。但關鍵在於，老闆需要堅守使命，這個使命要貫穿整個公司。
因此，它可以跨越系統、晶片、網路晶片、軟體和演算法等各個領域。通過這種組織方式，我們還實現了透明度，所有的壁壘都變得具有滲透性。當組織具有滲透性時，它往往會變得更好，因為會有更多的人來幫助你批評它、證明它。所以，我喜歡這種滲透性，如果你願意的話，也可以稱之為我們公司的開放性。我就喜歡一切都很透明，大家共同努力讓它變得更好。這與一切都被封閉在黑暗的壁壘中截然不同。
為何放棄Arm選擇併購Mellanox？
哈斯：輝達曾差點收購了Arm，但最終，你們選擇了收購Mellanox，這不僅是一次戰略上令人矚目的收購，而且從執行層面看，對於一個注重滲透性的組織來說，這次收購似乎無縫銜接，進行得異常順利。你是如何做到這一點的？我是說，併購通常都很難，你是如何讓這次併購如此順暢的？
黃仁勳：確實，文化融合總是併購中的一大挑戰。但幸運的是，在Mellanox的管理團隊和輝達以色列的管理團隊中，有多位我們的E-staff（執行團隊）成員。我們涵蓋了架構、研發、軟體系統、晶片、網路和交換機等多個領域，現在還加入了NVLink交換機業務。在合併後的短時間內，Mellanox的產品組合迅速擴展了四倍，並且已經深度融入到我們業務的各個方面。回顧這次收購，你可以看到我們的願景是如何推動這一切的。我們意識到，計算單元不再僅僅是像GPU這樣的外設，而Arm在很大程度上幫助我們完成了向建構SoC（系統級晶片）公司的轉型。你還記得SoC嗎？它基本上就是一台完整的電腦，而GPU只是其中的一部分。在SoC中，你必須自己負責整個系統的啟動。因此，這促使輝達從一家以演算法為核心的公司（這實際上是GPU公司的本質）轉變為一家真正的計算公司。這是我們的首次嘗試，一開始並不容易，但現在我們已經能夠製造出令人驚嘆的SoC產品。
接下來，我們的發展方向是建構系統。DGX-1是我們的第一個系統級產品。事實上，我仍然對SHIELD情有獨鍾，那是我們的Android TV電腦，我非常喜歡它，因為它是我們創造的第一個完整的輝達系統。從SHIELD到DGX-1，我們學到了很多。直到今天，我們仍然在維護SHIELD軟體的更新。
這正是輝達向系統公司轉型的開始。人們有時會問我DGX-1是怎麼來的，它如何改變了一切。其實，DGX-1隻是一個大型的SHIELD。SHIELD是用塑料做的，而DGX-1重達600磅（約272千克）。這種轉變對我們來說並不是什麼大問題，因為我們已經有了製造系統的經驗。真正重要的是，我們現在能夠建構完整的系統。當我們收購Mellanox時，我們的主要想法是電腦將不再是單個節點，而是整個資料中心將成為計算的單元。如果你沒有設計GPU、CPU、網路介面卡（NIC）、交換機以及所有的收發器，並且無法把它們連接在一起，從無到有地啟動整個系統，讓一切連接起來並運行起來，把工作負載分佈到各個部分，那麼你就不會真正理解建構這些人工智慧超級叢集以及這一轉型的意義所在。
這個願景非常清晰，對於激勵兩支團隊來說至關重要。為了激勵團隊，你必須有一個明確且令人振奮的願景。我們就有這樣的願景，而且它非常切實可行，因為你可以親眼看到它就在眼前——超級叢集以及從兩家公司獲得的所有裝置。那個願景既清晰又鼓舞人心，我們必須讓它變得切實可行。作為首席執行官，你們必須把抽象的事物具體化，然後我們開始著手建構它。此外，我還覺得Mellanox的企業文化非常出色，這也是我們併購能夠順利進行的重要原因之一。
哈斯：這種清晰度對於推動公司發展的確非常有幫助。再回到願景這個話題，當我講述公司故事時，我還注意到另一件事。比如SHIELD和早期的CUDA在石油和天然氣領域的應用，當時這些應用的終極形態或市場潛力並不明顯。
黃仁勳：確實，很多人並沒有意識到這些應用的潛力。事實上，那都是我們的初步嘗試。
哈斯：在當時，很難看出這些嘗試會演變成什麼真正的殺手級應用或最終形態，但你們展現出了令人難以置信的韌性和決心，在早期就去嘗試並測試各種想法，即使市場似乎還沒有準備好，或者應用場景還沒有被明確定義。你把這種能力歸功於什麼？是驚人的直覺嗎？還是預見未來的能力？
黃仁勳：輝達的優勢在於我們身邊聚集了很多傑出人才，他們是世界上最優秀的電腦科學家、戰略家和商業人才。他們不僅個人能力出眾，更重要的是，他們沒有個人主義傾向，都渴望為公司創造更大的價值。我認為，我們的成功首先是從這一點開始的。其次，我們在直覺方面也很擅長。我們對於需要解決什麼問題，以及如何從現在走向我們想要成為的公司，都有很好的直覺。因此，我們能夠準確地判斷出各種階段性目標。
當我們決定開發SHIELD時，很多人都不理解，認為我們在浪費時間。但我告訴他們，我們總有一天會成為一家系統公司。而SHIELD就是我們向這個目標邁進的第一步。所有這些系統都將連接到雲服務。為什麼我們不先從最大的系統入手呢？為什麼我們不首先開發這樣的系統呢？如果我們連這個都做不到，那更大的系統我們也做不出來。我們希望通過開發這樣的系統，讓公司學習到新的技能，去嘗試、去失敗，但又不至於傷筋動骨。這樣，我們才能為未來的挑戰做好充分的準備。
創始人模式 VS 經理人模式
哈斯：你是否認為，只有創始人領導的公司才能像你剛才描述的那樣，既擁有清晰的願景，又具備持續明確前進方向的韌性呢？因為最近關於創始人模式與經理人模式的討論很多，而你作為一位領導公司30年的創始人，已經取得了巨大的成功。但是，你所描述的這些，只能由創始人領導的公司做到嗎？
黃仁勳：我並不這麼認為。我覺得你在Arm就做得很好。你知道，每當我目睹你工作時，我的心中便充滿了無比的自豪感。我非常享受觀察你工作的過程，這總能帶給我極大的喜悅與驕傲。我深信，要想在工作上有所建樹，必須具備堅韌不拔的精神和堅定不移的毅力。我願將其形容為歷經痛苦與磨難的洗禮。在諸多方面，你必須學會去適應這樣的現實：成功之路絕非坦途，而是佈滿了痛苦與磨礪。它並非一系列成就的輕鬆累積，而是需要付出巨大的努力與堅持。
我當然希望一切都能發生，因為這無疑會對你大有裨益。然而，回顧那些充滿挑戰的時刻，儘管當時我可能並未完全意識到從中學到了什麼，但它們確實使我變得更加堅強。我深知自己能夠克服一切困難，儘管在經歷時可能並不喜歡那種感覺。然而，當我回首往事，那些艱難的時刻恰恰是我成長的見證，也是你與公司最為自豪的時刻，因為我們共同挺過了那些難關。因此，我認為我們的公司之所以強大，正是因為我們擁有眾多這樣的勵志故事。在公司的每一個角落，都流傳著無數次歷經挫折卻最終取得非凡成就的動人故事。它們如同寶貴的財富，助力公司度過了一個又一個艱難時期。
期待電腦能夠展現出智能行為
哈斯：我們都已經在這個行業中拚搏多年，關於人工智慧的發展，我有種感覺，彷彿有些場景是我之前從未設想過的。我甚至覺得，這種轉變可能要到下一代才能完全體驗到。這種感覺就像是觸碰到了《星際迷航》中的未來邊界，就我的認知而言，我難以想像在人工智慧如此廣泛應用的未來之後，還會有什麼新的變革。你對此有何看法？我們是否正在以驚人的速度推動行業的轉型，而這場轉型之後又會迎來什麼呢？眼前所發生的一切，真是令人難以置信。
黃仁勳：我一直都對電腦能夠展現出智能行為抱有期待。我們有能力創造出如此卓越的軟體，我認為我們終將編寫出那樣的軟體，讓演算法以看似智能的方式解決問題，彷彿電腦真的擁有了智慧。然而，我從未預料到這會引發一場工業革命。我曾多次提及，如今的電腦行業已經超越了傳統範疇，它不再僅僅是一個工具或器具，而是成為了一個全新的製造業。
在我與你交談的此刻，我的手機靜靜地躺在口袋裡，並未被使用；我的筆記型電腦也安靜地待在辦公室裡。大多數人的電腦也是如此，只有在需要時才會被啟用。但與此不同的是，這個新的人工智慧產業，即我們正在建構的產業，它們始終在運行。無論你是否在使用它們，它們都在不斷地處理資料、生成Token，並在這一過程中產生智能。智能正在被大規模地製造出來。曾經，電腦只是一個工具或器具，而現在，它已經成為了一個工廠，一個能夠大量生產極具價值物品的製造業。這對我們的行業來說，無疑是一個全新的時代。這是前所未有的變革。電腦現在成為了製造工具，是那些被稱為Token、特別是智能Token的驚人成果的創造者。這是一個非凡的觀念。因此，我認為我們正站在一場新工業革命的起跑線上。
哈斯：電腦行業的發展步伐是否超越了你原先的預想？作為這一領域最接近前沿的見證者，從AlexNet到DGX-1的每一次創新飛躍，你都親歷其中。自從我接手Arm以來，我們也在內部對此進行了深入的探索，發現其進步的速度遠遠超出了我兩年半前乃至一年前所能想像的範疇。那麼，對於你親身參與推動的這一切，你是否覺得它的發展比預期中還要迅猛？
黃仁勳：並非如此，我們實際上正在竭力加速其發展的步伐。我們的研發周期已經成功地縮短至一年，這一決策的背後，是源自於對這項技術擁有巨大發展潛力的深刻認識。而且，我們現今的努力已遠遠超越了單純製造晶片的範疇。我們深知，即便在最新的製程節點上，晶片的性能提升也僅僅是幾個百分點的量級，但這已是極為不易的成就。那麼，我們如何確保每一代產品都能實現性能的顯著飛躍呢？答案是，我們為每個系統設計了六到七款全新的晶片，並通過協同設計的方式，對整個系統進行徹底的革新，同時創造出諸如NVLink交換機和新型系統機架等革命性的發明。這些創新使得我們能夠在系統背部的主幹上，利用銅質導線將所有GPU緊密相連，從而實現了前所未有的大型封裝和3D封裝技術。
我們運用了多種先進的技術手段來實現這一目標。因此，我們得以在相同的能耗和成本約束下，每年提供兩到三倍的性能提升。這實際上意味著，我們每年都在以遠超摩爾定律的速度降低人工智慧的成本。若將這種複利效應持續五年、六年乃至十年，我們將會見證智能成本以令人驚嘆的速度下降。我們之所以如此全力以赴，是因為我們堅信，現在正是所有人深刻認識到其價值的關鍵時刻。如果我們能夠大幅度地降低智能的成本，那麼我們就可以在諸如推理等需要時間的場景中實現更多的可能。
當你今天使用ChatGPT這個令人讚嘆的服務時，我也每天都在使用它。今天早上我就體驗了它的魅力，你按下Enter鍵，提示被迅速載入，隨後它便生成了輸出。但在不遠的將來，它將通過迭代推理的方式尋找答案，或許還會採用樹搜尋等複雜方法，甚至進行某種形式的迭代和反思，最終呈現出更加優質的輸出。在這個過程中，它可能已經進行了上百次、上千次的推理，但答案的質量卻會顯著提升。我們渴望降低成本，以便在保持原有成本和響應速度的同時，提供這種新型、高效的推理推斷服務。
哈斯：我曾親眼目睹OpenAI模型的演示，其推理能力著實令人震撼，正如你所描述的那樣。它彷彿經歷了一棵邏輯樹的探索，展現出與人類相似的權衡過程，但其速度卻遠超人類。然而，當我深入思考當前正在發生的變革時，我深感著迷。正如你所言，你正在以前所未有的速度引入全新的系統、資料集以及基礎設施。過去，人們每兩三年購買的CPU最終都會面臨貶值。而現在，你卻以每年一次的頻率建構新的系統。人們迫切希望盡快採購並部署這些系統。
黃仁勳：雖然說起來簡單，但我們每年都在交付像這個房間一樣龐大的新型電腦，包括所有的布線、網路、交換機和軟體。這確實令人難以置信。
哈斯：你明白我的意思嗎？我並不是在讓你預測未來。這更多是一個關於技術普及的問題。它能否保持當前的發展速度繼續前行？
黃仁勳：我認為可以。但這必須以一種系統化的方式進行，也就是說，我們所做的每一項工作，都是基於一種架構思維。這意味著，為昨天的叢集（例如Hopper）開發的軟體，將能夠無縫地在Blackwell和Rubin上運行。同樣，為Rubin建立的軟體，也將能夠在Hopper上運行。這種架構相容性至關重要，因為行業在軟體上的投資遠超硬體，甚至達到上千倍。更不用說，軟體具有永恆的生命力。一旦開發或發佈了軟體，就必須在其整個生命周期內進行維護。CUDA的理念並非為了讓數百萬人學習程式設計，而是為了讓數百萬個GPU能夠與之相容。
因此，你在一個GPU上的投資，將能夠延續到所有其他GPU上，而你今天編寫的軟體，在明天將會變得更加出色。我們未來編寫的所有軟體都將在已安裝的基礎設施上運行。因此，首先，我們必須具備架構意識，並且對此保持高度的自律。其次，即使在系統層面，我們現在也極具架構意識。我們會採用新的技術來推動系統設計的發展，同時確保不會放棄你昨天所做的工作。例如，當我們首次進入資料中心業務時，一個超大規模資料中心的配電是每個機架12千瓦，而到了Blackwell時代，每個機架的配電已經達到了120千瓦。密度提升了十倍，這意味著數百萬美元的伺服器被壓縮到了一個機架中。因此，所節省的金額、能源和空間都是難以估量的。
哈斯：我們的故事有著諸多相似之處。Arm架構歷經30載，我們為其傾注了數十年的心血軟體編寫，這一點有時並未得到人們的充分理解。
黃仁勳：對於每一塊Arm晶片，我們所做的每一項工作都備受關注。前幾天，我們剛展示了一些成果。有基準測試顯示，Grace在每瓦性能上比全球頂尖的CPU高出四倍，這凸顯了能源效率的重要性，它無處不在，至關重要。
哈斯：當你從500兆瓦的資料中心規模擴展到5吉瓦時，從網路延遲等相關因素考慮，你是否觀察到某些架構層面的問題開始浮現？當然，我們無需深入探討具體技術細節，但從物理學的基本原理出發，你是否發現了一些開始不再適用的東西？
黃仁勳：確實，一切都會失效，因為物理定律是鐵律，無法違背，而失效是必然的過程。當然，我們正沿著功率密度曲線迅速攀升，增長態勢呈指數級。從12千瓦到40千瓦，再到120千瓦、200千瓦，甚至更高，我們不斷壓縮、密集化計算資源。在此過程中，液冷技術的效率顯著提升。同時，我們儘可能延長銅線的使用壽命，因為只要條件允許，使用銅線傳輸電力就更為有利，無需在電訊號和光訊號之間轉換。儘管最終我們不得不轉向光學技術，但我們會儘可能長時間地利用電訊號的優勢。在大多數資料中心中，使用電訊號在成本效益、能源效率和可靠性方面更具優勢。因此，我們選擇了密集化策略。密集化的另一個顯著優勢是，特定機架或相鄰機架中的所有GPU可以作為一個巨型GPU協同工作，這確實令人驚嘆不已。
沒時間練習演講，只能硬著頭皮上
哈斯：我一直很好奇，記得你在Computex的演講內容之豐富簡直令人歎為觀止，尤其是我觀看的時候還是周日晚上。作為另一個經常做演講但無論是深度還是長度都遠不及你的人，我很想知道你是如何做到這一點的。你是否進行了大量的排練？我記得我們以前共事時，有時甚至在演講前一晚你還在調整內容，但你總是能出色地完成演講。現在，你的演講內容之深入，特別是當涉及到資料中心架構的詳細闡述時，你的準備過程是怎樣的？
黃仁勳：其實，我們每天都在為這樣的演講做準備。你知道嗎，我們的工作有一個獨特的優勢，那就是我們不是專業的演員。所以，這些內容真的是我們日常工作的真實反映。我們每天都沉浸在這些領域裡。首先，我們每天都在學習和準備。但很多時候，我們做的事情，坦白說，都是在教學。為了推動一個行業的發展，為了塑造市場，並引入我們正在探索的新理念，其中很多都涉及到教學的成分。這不是在做廣告，你明白嗎？我們是一家平台公司，這意味著我們不能單打獨鬥。我們需要其他人的合作與支援。所以，我們的工作就是教學、啟發、展示，也許還有演示，希望越來越多的人能夠相信CUDA，相信輝達在加速計算領域的實力，今天就能加入我們的行列，共同推動人工智慧的發展。我們現在正在研究的下一個重大項目是物理AI，以及我們如何讓人工智慧一方面學習遵守物理定律，另一方面又能深入理解這些定律。我認為這將是一個漫長的旅程。所以，GTC和Computex這樣的活動對我們來說，都是進行這些工作的重要機會，慶祝我們的生態系統以及合作夥伴所取得的成就，向他們傳授我們的理念，激勵他們展望未來。
哈斯：這確實很相似。當我做QBU演講時，我的首席助理會說：“哇，這些幻燈片好簡潔啊！”但其實這就是我整天都在談論的內容。我在想，怎麼可能不這樣呢？
黃仁勳：說實話，這仍然很有挑戰性。因為我們沒有專門的時間去排練。所以，這並不是因為我們故意不排練，等到我們把所有的內容都準備好之後，通常就沒有多餘的時間去排練了。因此，最後我只能硬著頭皮上。（騰訊科技）