今年3月,輝達創始人兼CEO黃仁勳與 Mistral CEO Arthur Mensch接受a16z播客訪談,本次對話中深入討論了AI的通用性與專業化、AI與國家基礎設施、AI採用的風險與挑戰、開放原始碼的重要性等內容,黃仁勳還透漏Nvidia是如何運作的以及投資的理念。
以下是本次訪談實錄經數字開物團隊編譯整理
主持人提問:
1.AI到底是不是一種通用技術?
2.如果AI 是一種通用技術,為什麼不是少數人建構,而是每個人都需要參與?
Arthur Mensch :
AI 是一種通用技術,因為它徹底改變了我們建立軟體和使用機器的方式。正如網際網路是一種通用技術一樣,AI 也是一種通用技術。它可以建構代表您執行操作的AI Agent,因此,它可以應用於工業的任何垂直領域,包括服務業、公共服務業。它可以用於改變公民的生活,也可以用於農業,也可以用於國防目的,它涵蓋了一個國家需要關注的所有事情。所以,任何國家優先發展AI 並制定專門的國家AI 戰略,都是很自然的事。
Jensen Huang:
Arthur 所說的完全正確。但這正是每個人都放棄的原因。而這是完全錯誤的。原因是如果它是一種通用技術,而一家公司可以建構出終極的通用技術,那麼為什麼其他任何人都需要這樣做呢?這就是缺陷所在。這其實是一個思維陷阱,目的是讓每個人都相信,這是一種只有少數人才應該去建構的技術。其他人都應該袖手旁觀,靜待其成。我建議每個人都應該積極參與AI 領域。 AI 不是少數人的特權,智慧屬於每個人,不應該只是世界上少數幾家公司來建構它,每個人都應該參與建構。沒有人會比瑞典更關心瑞典的文化、語言、人民和生態系統。沒有人會比沙烏地阿拉伯更關心沙烏地阿拉伯的生態系統,也沒有人會比以色列更關心以色列。儘管這項技術是通用的,但它也是高度專業化的。我不認為我會坐等一個通用的聊天機器人成為特定疾病領域的專家。我更希望有一個在該領域高度專業化的人來微調、訓練,或者說,「後期訓練」一個AI 模型,讓它專注於這個特定領域。
Arthur Mensch :
AI 是一種通用技術,就像程式語言是一種通用技術一樣。除此之外,它還是一種承載文化的技術。這意味著它依賴於底層的基礎設施。其中,晶片的製造顯然並非每個國家都能勝任。而像是基礎模型、基於網路資料壓縮的這類通用模型,最終會走向開源,它們可以為建構專用系統奠定堅實的基礎。但在此之上,組織、企業和國家需要建立各自所需的特定應用。
要讓AI 發揮效用,一種可行的方式是採用通用模型(例如開源模型),並融入你所獨有的知識。你可以讓你的公民或員工將他們的專業知識提煉到系統中,融入那些將代表你執行任務的AI Agent 中。這樣,這些AI Agent 就能逐步變得更準確,更符合國家或企業在建構AI 系統時的特定指令和規範。因此,你需要垂直領域的專家、文化專家,或具備特定國家發展目標的人才,與那些能夠以易用、易定製的方式提供開源基礎設施的技術公司展開合作。
我認為這就是AI 發展的關鍵。 AI 技術本身是高度水平化的,但要從中獲得實際的應用價值,就需要水平技術提供者與垂直領域專家之間的緊密合作。
主持人提問:
1.與歷史上的通用技術(如電力)相比,AI 浪潮有什麼不同?
2.如果AI 是重要基礎設施,是否必須控制整個技術堆疊?
3.訓練資料中存在大量「規範」是軟性的?
4.AI是文化基礎設施嗎?如果認同「必須將AI 視為數字勞動力」的觀點,那麼,如果另一個國家,或者並非我所屬主權國家的實體,可以決定我的勞動力能做什麼?
5.如果AI 需要本地定製,從技術能力角度,如何建議小國建構技術堆疊?
Arthur Mensch :
AI與電力相比,我認為AI 與電力類似,因為它將在未來幾年內對每個國家的GDP 產生兩位數的影響。這意味著,從經濟角度來看,每個國家都需要關注它,因為如果他們不能建立基礎設施,不能在適當的地方建立自己的主權能力,就意味著這筆資金可能會流向其他國家。這在一定程度上改變了全球的經濟平衡。在這個意義上,AI 與電力並沒有什麼不同,100 年前,如果你不建造發電廠,你就是在準備向你的鄰居購買電力。這最終並不好,因為它會產生某種依賴性。所以,我認為在這個意義上,AI 與電力是相似的。但有兩點非常不同。首先,AI 是一種形態不固定的技術。如果你想用它來創造數字勞動力,你需要塑造它。你需要基礎設施、人才和軟體。人才需要在本地培養。我認為這一點非常重要。原因是,與電力不同,AI 是一種內容生產技術。 AI Agent 生產內容,產生文字、圖像、語音,並與人互動。當你生產內容並與社會互動時,你就成為一種社會建構。在這方面,社會建構理論、文化,都承載著企業或國家的價值觀。因此,如果你希望這些價值觀不消失,不依賴某個中央提供者,你就需要比使用電力更深入地參與其中。
Jensen Huang:
可以從多個角度來看待這個問題。首先,你所在國家的數字智能,不太可能是在不經過深思熟慮的情況下就外包給第三方的東西。數字智慧現在已經成為一種新的國家基礎設施,就像電信、醫療、教育、交通和電力一樣。現在出現了一個新的層次——數字智能。你有責任決定希望本國的數字智慧如何發展,是選擇外包,從此無需擔憂智慧問題,還是希望參與其中,甚至掌控並將其塑造為國家基礎設施的一部分。當然,它包含了Arthur 所說的所有要素:AI 工廠、基礎設施等等。
我們也可以從另一個角度來看待,那就是將AI視為數字勞動力。 這是一個新的層級,你必須做出抉擇:是把國家或公司的數字勞動力外包出去,期望它按照你設想的方式發展,還是希望參與其中,甚至決定去掌控、培養和提升它。我們一直在招募通用型員工,從學校選拔人才。他們中有些人更具通用性,有些人則更聰明。但是,一旦他們成為我們的員工,我們就會引導他們入職、培訓他們、設定行為邊界、對他們進行評估,並不斷提升他們的能力。我們會進行必要的投入,將通用智能轉化為能為我們所使用的超級智慧。
因此,我認為從數字勞動力的角度來看,無論那種情況,AI 都能促進國家經濟發展、社會進步和文化繁榮。我認為在這兩種情況下,國家都需要發揮非常積極的作用。所以,這又回到了最初關於主權AI的問題:如何看待它?是的,AI 毫無疑問是一種通用技術,但你必須決定如何塑造它。你所在國家的數字資料屬於你,你的國家圖書館,你的歷史,只要你想將其數字化,你可以選擇與全世界共享,也可以選擇提供給你自己國家的企業、研究人員和機構。這些都屬於你。當然,這些概念是無形的,非常「軟性」。但它確實屬於你。你可以認為它屬於你,因為這是你的根基所在。它屬於你,你可以決定如何運用它來造福人民;它屬於你,你也有責任塑造它的未來。這就是主權AI的意義所在,這是你的責任。
Arthur Mensch :
是否必須控制整個技術堆疊的每個部分, Jensen 提到了數字勞動力。我認為這是一個非常好的類比,你需要一個AI 勞動力的入職平台。將儲存在國家圖書館中的知識注入其中,使它能夠更好地使用本國語言進行表達。你需要確保系統理解本國的法律法規,這樣在你部署AI 軟件時所設定的行為邊界才能符合先前的規定。因此,這個「入職」平台需要具備定製、設定行為邊界、評估,並在發現問題時進行修復和調試的能力。這正是我們正在建構的平台。一旦定製化的系統完成,關鍵在於你能否自主維護。這意味著你能夠在自己的基礎設施上部署這些系統,並且能夠讓你的技術合作夥伴在必要時退出。
Jensen Huang:
未來,你的IT部門將轉變為數字勞動力的HR部門。 他們將使用Arthur 剛才描述的工具來引導AI 「入職」、微調AI、設定行為邊界、評估並持續改進它們。這個「飛輪」將由IT 部門的全新版本,也就是現代化版本來管理。我們將同時擁有生物勞動力和數字勞動力,這將是一個非常棒的局面。所以,沒有人能替你完成這項工作,你必須親力親為。這就是為什麼即使世界上有這麼多科技公司,每家公司仍然擁有自己的IT 部門。我也有我自己的IT 部門,我不會把它外包給其他人。未來,IT 部門對我而言將更加重要,因為它們將協助我們管理這些數字勞動力。每個國家、每個國家內的每家公司都將如此。因此,Arthur 所描述的這個領域,即採用通用技術,並對其進行精細化調整,使其成為領域專家、國家專家、行業專家或企業專家,這些職能專家,將是AI 的未來,一個潛力巨大的未來空間。
Jensen Huang:
關於訓練資料中的“規範”,你說“規範”是對的,恰恰表明它是“軟性”的,而不是“規則”。 「規則」比較「硬」一些。或者說,演算法和法律,它們是非常具體的。
Arthur Mensch :
你希望將各種不同的元素整合到你的AI 系統中。有一些風格和知識元素,你無法通過嚴格的行為邊界來強制執行。但你可以透過持續訓練模型等方式來實現。例如,你可以利用國家圖書館的資源,獲得人們的偏好,然後將這些偏好提煉並融入模型中。此外,你還會有一套法律法規,或是在企業內部,會有一套政策,這些都是具有強制性的。因此,通常的建構方式是,將模型與這些嚴格的規則相關聯,並確保每次模型生成內容時,都驗證其是否符合這些規則。所以,這裡實際上包含了兩個方面。一方面,你以一種「軟性」的方式將知識注入並壓縮到模型中;另一方面,你要確保一定數量的政策和規則得到嚴格執行,並保證100% 的精確性。前者是「軟性」的,是偏好,是文化。
Jensen Huang:
是偏好。一個人的偏好是多維度的。你喜歡什麼?這要視情況而定。界定我的偏好的特徵實在太多了。這需要AI 才能精準地實現Arthur 剛才所描述的那種「符合」。你能想像讓人用Python 來寫這些規則嗎?或用C++ 來描述和捕捉每一個特徵? 「基於這個,我更傾向於那個,但如果你那樣做了,我又更傾向於另一個…」這樣一來,規則的數量將變得極其龐大。正因如此,AI 才有能力對所有這些偏好和特徵進行編碼。這是一種全新的程式設計模型,能夠處理現實生活中的模糊性。
Arthur Mensch :
是否是一種文化基礎設施?沒錯。關鍵在於確保你的文化基礎設施以及你公司或國家所擁有的人類專業知識,能夠融入AI 系統。文化反映價值觀。
我們剛才談到,不同的AI 模型、AI 服務,會對提出的問題做出不同的反應。這是因為它們將自身的服務價值或公司的價值觀融入了每項服務中。你能想像這種情況放大到全球會是怎樣的景像嗎?
在我看來,這是集中式AI 模型的一個固有限制。你可能會認為,可以將一些普世的價值觀和通用的專業知識編碼到一個通用模型中。但在某些時候,你需要採用通用模型,並且去理解特定員工或公民群體的偏好和期望。你需要透過規則、文化和偏好,以「軟性」和「硬性」相結合的方式對模型進行專業化定製。因此,作為一個國家,這部分工作是你無法外包的;作為一家企業,這部分工作同樣是你無法外包的。你必須自己掌握。
Jensen Huang:
關於AI本地定製,有些能力是通用的。例如,某些公司可以為世界各地的國家、社會和企業提供服務,因為這些能力具有普遍適用性。但這不能成為唯一的社會結構,唯一的層級,唯一的數字智慧層,它必須得到區域性特色的一些補充。就好比,麥當勞在全球都很受歡迎,肯德基也是如此,星巴克在各地也都不錯。但是,在這些基礎上,你仍然希望融入當地的特色和風味。
當地的咖啡館,那些溫馨的夫妻店,它們定義了文化,定義了社會,定義了我們。因此,我認為沃爾瑪遍佈全球,在任何地方你都可以信賴它,這很棒。但是,仍然需要融入當地的口味、風格、偏好、特色,以及提供在地化的服務。
未來,在我們的數字勞動力中,很可能會有一些通用的數字工作者,他們非常擅長做基礎研究之類的工作。
或者說,它們對每家公司都有用。有些東西我沒必要去創造新的,例如,Excel 就很好用。 Microsoft Office 在全球範圍內都非常出色,我完全認可。
然後是特定行業的工具和專業知識,這非常重要。例如,我們使用Synopsys 和Cadence 的工具。 Arthur 不必使用,因為這些工具是特定於我們這個行業,而不是他的。但我們可能都會使用Excel,都使用PDF,都使用瀏覽器。所以,有一些通用的東西我們可以利用,也會有通用的數字工作者我們可以利用。然後是行業特定的,公司特定的。在我們公司內部,我們有一些對我們非常重要的特殊技能,這些技能定義了我們。如果你願意,可以說它們帶有很強的主觀性。它們傾向於按照我的要求去做事,並且有很強的安全護欄來完成非常具體的工作,高度偏向我們公司的需求和專長。因此,我們在這些領域變得非常強大。你的數字勞動力也將如此,AI 也將如此。有一些AI 你可以直接拿來使用。新的搜尋很可能就是某種AI,新的研究也可能是某種AI。但是,然後會有工業版本的AI,我們可能會從Cadence 和其他公司那裡得到,然後我們將不得不使用Arthur 的工具來訓練我們自己的AI。我們將不得不對它們進行微調,引導它們,讓它們變得更強大。
Arthur Mensch :
我非常贊同他的觀點,即擁有一個通用模型,然後有一些針對行業的專業化層,再下一層是針對公司和國家的專業化。你將擁有一個越來越專業化的AI 系統層次結構。舉一個我們最近的例子,我們在1 月發布了一個名為Mistral Small 的模型,它是一個通用模型,能說多種語言,理解大多數事情。但是我們所做的是,我們以此為基礎,並啟動了一個新的專業化模型系列,這些模型專門針對特定語言。我們增加了阿拉伯語和印度語的語言數量,重新訓練了模型,並提煉了初始模型沒有接觸過的額外知識。這樣做之後,模型在說阿拉伯語和印度半島的語言時,表達更加地道。語言實際上是一個非常好的切入點,可能是你專門化模型時可以做的第一件事。好消息是,對於給定規模的模型,如果你選擇將其專門化為語言,你可以獲得一個性能好得多的模型。所以今天,我們的模型,24B 參數的Mistral Saba,是一個針對阿拉伯語微調的模型。它的表現優於其他所有大五倍規模的語言模型。原因就在於我們進行了這種專業化。這是第一層。如果你考慮第二層,可以考慮垂直領域。如果你想建立一個模型,它不僅擅長阿拉伯語,而且還擅長處理沙烏地阿拉伯的法律案件,你需要再次對其進行專業化。
因此,需要與相關公司合作完成一些額外的工作,以確保現在你的系統不僅擅長說某種語言,而且擅長說某種語言並理解以這種語言完成的法律工作。對於你能想到的垂直領域和語言的任何組合來說,都是如此。例如,你想用法語提供一個醫療診斷助理,你需要讓模型擅長法語,但你也需要讓它理解如何用地道的法語和醫生交流。這兩件事,作為通用模型提供者是很難做到的。
小企業或小國家如何建構,我會說你需要擁有、購買和設定技術堆疊的水平部分。你需要基礎設施、推理原語、定製原語、可觀察性、將安全護欄連接到模型的能力,將模型連接到即時資訊來源的能力。這些是在不同國家,不同企業之間相當通用的原語。一旦你擁有了這些,你就可以購買它們。然後你就可以開始工作了。然後你可以根據你的價值觀,根據你的專業知識,並藉助你的本地人才,從這些原語進行建構。問題在於,什麼是通用的(如果你是一個小企業或小國家,你可能應該購買),什麼是垂直的並且特定於你的(這絕對是你需要建造的。
Jensen Huang:
你必須明白,這並不像你想像的那麼難。首先,因為技術越來越好,它也變得更容易了。你能想像五年前做這件事嗎?不可能。你能想像五年後做這件事嗎?這將是輕而易舉的。所以我們正處於這個過程之中。唯一的問題是,你是否必須這樣做?事實是,我討厭新員工入職。原因是這需要大量的工作。但是,一旦你建立了一個人力資源組織、領導力、指導組織和流程,那麼你吸納新員工的能力就會更容易,並且對每個人來說都更系統化、更愉快。但在最開始的時候總是很難的。這和AI 沒什麼不同。唯一的問題是,你是否需要這樣做?如果你想成為未來的一部分,而這是有史以來最重要的技術——不僅僅是我們這個時代,而是有史以來——數字智能,還有什麼能比這更有價值,更重要呢?因此,如果你認為這對你很重要,那麼你必須盡快參與其中,不斷學習,並且要知道它一直在變得越來越容易。
事實是,即使在三年前,我們也嘗試做自主代理系統,這非常困難。但是今天,自主代理系統要容易得多。所有必要的工具,用於整理資料集,用於引導數字員工,用於評估員工,用於設置安全護欄,所有這些工具都一直在變得更好。關於技術的另一件事是,當它變得更快時,它就更容易了。你能想像在過去嗎?當然,我有幸見證了電腦從最早期開始的樣子,那時的電腦效能非常慢,你做的每件事都很困難。但是現在,我們所做的事情是神奇的,因為電腦的速度也很快。因此,無論是出於你需要參與有史以來最重要的技術的迫切需求,還是因為技術一直在變得更好,所以這並不難,我認為已經沒有太多藉口了。
主持人提問:
1.民族國家領導人在思考過快採用AI 的風險時,最常問的問題是什麼?
2.如何看待AI縮小技術鴻溝?
Arthur Mensch :
我聽到了幾個問題,其中一個風險是看到你的人口開始害怕這項技術,因為害怕它會取代他們,而這實際上是可以預防的。如果我們集體確保每個人都能獲得這項技術並接受使用它的培訓。因此,對公民和民眾的技能訓練非常重要。並將AI 視為他們提高工作效率的機會,並通過應用程序、通過他們可以安裝在智能手機上的東西、通過公共服務來展示它的目的,例如,我們正在與法國失業系統合作,通過AI Agent將工作機會與失業人員聯繫起來,這些AI 助理顯然是由該機構內的人工操作員驅動的。這是一個機會。對於人們來說,這是一個更容易找到工作的機會。因此,這可以確保人們理解這個機會,以及AI 實際上只是他們採用的一個新機會,就像他們在90 年代必須採用個人電腦和在2000 年代採用互聯網一樣。這些變化的共同點是,你需要人們接受這項技術。我認為民族國家可能面臨的最大問題是看到AI擴大了數字鴻溝, 這已經相對較大,但如果我們共同努力,如果以正確的方式完成,我們可以確保AI 實際上正在縮小數字鴻溝。
Jensen Huang:
AI 是一種新的電腦程式設計方式。通過輸入一些單詞,你可以讓電腦做一些事情。就像我們過去所做的那樣。我們過去常常輸入單詞,然後讓電腦做一些事情。
現在你可以和它說話了。你可以用很多方式與它互動。與以前相比,你現在可以讓電腦為你做的事情容易得多。能夠提示ChatGPT 並做一些富有成效的事情的人數,僅從人類潛力的角度來看,就遠遠大於能夠編寫C++ 的人數。因此,我們已經縮小了技術鴻溝。
這可能是我們見過的最偉大的均衡器。從定義上來說就是這樣。有史以來最偉大的技術均衡器。但是你仍然需要讓公民理解它。我認為這就是問題所在。我只是在描述事實。事實是,今天使用ChatGPT 程式設計電腦的人數比使用C++ 程式設計電腦的人數要多。這是一個事實。在短短三四年內。這是千真萬確的事實。因此,事實是,這是世界上已知的縮小技術鴻溝的最大力量。只是人們的認知,正如Arthur 所說,透過某些管道,我不知道我在和誰談論它,我也不知道如何談論它,但事實是,它並沒有停止。它沒有停止任何事情。今天積極使用ChatGPT 的人數非常多。我認為這太棒了。這簡直太棒了。任何談論其他事情的人,顯然都沒有在工作。因此,我認為人們意識到了AI 的不可思議的能力,以及它如何幫助他們工作。我每天都使用它。我今天早上就用了。所以每天我都使用它。我認為,深入研究是不可思議的。 Arthur 和世界各地的所有電腦科學家所做的工作是不可思議的。人們知道這一點。人們正在接受它,顯然,看看活躍使用者的數量就知道了。
主持人提問:
1.為什麼開放模型是你們關注的重點?
2.如何看待「開源威脅國家安全」的說法?
3.開源能帶來大規模的紅隊演練 (mass red teaming)。全世界的人都可以幫助你進行紅隊演練?
Arthur Mensch :
因為它是一種通用技術,企業和國家最終將願意將其部署在自己的基礎設施上。從主權的角度來看,擁有這種開放性非常重要。這是第一點。第二點,發布開源模型是加速進步的一種方式。我們建立Mistral 的基礎是,我們在2010 年至2020 年間從事AI 工作的早期職業生涯中所看到的,是進步的加速,因為每個實驗室都在彼此的基礎上進行構建。而這在某種程度上消失了,特別是來自OpenAI 的第一個大語言模式。因此,重新啟動開放的成長飛輪,我貢獻了一些東西,然後另一個實驗室貢獻了另一些東西。然後我們從中迭代,這就是我們建立Mistral 的原因。我認為我們做得很好,因為我們開始發布模型,然後Meta 也開始發布模型。然後我們有像DeepSeek 這樣的中國公司發布的更強大的模型,每個人都從中受益。
所以回到Mistral Nemo,以開放方式建立AI 模型的一個困難是,這不像是一個開放的集市,它更像是一個精心打造的大教堂,因為你需要花費大量的資金來建造模型。因此,我們與Nvidia 團隊所做的實際上是將兩個團隊融合在一起,讓他們在相同的基礎設施、相同的程式碼上工作,遇到相同的問題,並結合他們的專業知識來建立相同的模型。這是非常成功的,因為Nvidia 帶來了很多我們不知道的東西。我認為我們帶來了一些Nvidia 不知道的東西。最終,我們創造了當時同等規模下最好的模型。因此,我們真的相信這種合作,我們認為,我們應該更多地、更大規模地進行合作,不僅只有兩家公司,可能還有三、四家公司,這就是開源將佔上風的方式。
Jensen Huang:
是的,我完全同意。除了加速和提升基礎科學、所有通用模型和通用能力的基本工作之外,開源版本還啟動了大量的利基市場和利基創新。突然之間,在醫療保健、生命科學、物理科學、機器人技術、交通運輸領域,由於開源能力足夠好而被啟動的行業數量是不可思議的。不要忽視開放原始碼的強大能力,特別是在邊緣和利基領域。那些資料可能很敏感的利基市場和任務關鍵型領域。例如,它可能在能源開採領域。誰會去建立一家AI 公司來開採能源呢?能源非常重要,但能源開採並不是一個很大的市場。因此,開源啟動了其中的每一個這樣的領域。
事實證明,金融服務業啟動了它們,醫療保健、國防也是。你可以選擇你感興趣的領域,任何關鍵任務型的、很酷的,並且需要進行自主部署的領域,甚至可能需要在邊緣進行部署的領域。還有任何需要強有力的審計並能夠對其進行全面評估的領域。如果你可以存取模型權重,你可以更好地評估模型,而不僅僅是訪問API。因此,如果你想確保你的系統100% 精準,我認為你不應該使用閉源模型,你必須將它連接到你自己的增長飛輪(flywheel)中。你將如何連接你的本地資料?對,將它連接到你自己的本地資料和經驗。你使用得越多,飛輪效應就越好。沒有開源,你無法做到這一點。
Arthur Mensch :
實驗室之間的合作對於人類的成功至關重要。如果一個國家決定封閉,唯一會發生的事情是另一個國家將取得領先地位。因為將自己從開放的增長飛輪中切斷的成本太高,這樣做你將無法保持競爭力。這是在美國發生的一場爭論。實際上,如果對權重進行出口管制,這不會阻止歐洲的任何國家,亞洲的任何國家繼續前進,他們將合作加速這一進展。所以,我認為我們只需要接受這樣一個事實,即這是一種通用技術,非常類似於程式語言。程式語言都是開放原始碼的,對吧?所以,我認為AI 在這方面只需要開源。我們很高興看到,例如在上周舉行的AI 峰會上,這一點被高度重視。我們意識到,透過對我們建構技術的方式更加開放,我們可以共同加速進步。很高興看到開源還有很多光明的未來。
Jensen Huang:
這是無法控制的,軟件本身就難以駕馭。如果你試圖強行控制,那麼其他人就會崛起並成為新的行業標準,就像Arthur 所說的那樣。那麼,問題來了,開源是否更安全?開源提供了更高的透明度,讓更多研究人員和大眾能夠監督並審查代碼。為什麼世界上每一家公司、每一個雲端服務供應商都建立在開源之上?這是因為它提供了極高的安全性保障。你能舉出一個當今的公共雲是建立在非開源基礎設施之上的例子嗎?你可以從開源著手,然後進行個性化定製。沒錯,開放原始碼的優勢在於眾多貢獻者的參與,以及嚴格的審查機制。非常重要的一點是,你不能隨便把任何東西放進開源專案裡,否則你會被整個網路社區嘲笑。你必須貢獻高品質的內容,因為審查是非常嚴格的。所以,我認為開源具備所有這些優點:促進廣泛協作,加速創新處理程序,提升整體水平,確保公開透明,接受各方監督,所有這些都有助於提高安全性。
關於“紅隊演練”,相比僅僅依賴公司內部的一小群研究人員,你的技術優勢更加明顯。
Arthur Mensch :
沒錯。透過匯集眾多組織的力量,共同開發一項大家都能使用的技術,並在各自的領域進行深耕,你實際上是在促使這項技術對每個參與者都有益。這意味著你正在消除偏見,確保你正在建立的通用模型盡可能地好,並且不會出現故障。從這個角度來看,我認為開源也是減少故障點的方法。作為一家公司,如果我今天決定完全依賴某一個機構,依賴它的安全原則以及它的紅隊演練 (red teaming) 組織,我就有些過於信任它了。然而,如果我基於開源模型來建立我的技術,我實際上是信任整個世界來確保我所依賴的基礎是安全的。所以,這減少了潛在的故障點,顯然,這是你作為一個企業或一個國家需要去做的。
主持人提問:
1. Nvidia 是世界上最小的大公司,是如何運作的?
2 .如何在客戶同時也是競爭對手的環境中取得成功?(你們的客戶中,有些同時也是你們的競爭對手,這些競爭對手都是規模龐大、資金雄厚的科技巨頭。Nvidia 向AWS 出售GPU,而AWS 正在構建自己的晶片,名為Trainium;Arthur,你也在訓練模型,並通過AWS 和Azure 銷售,而這兩家公司又資助了像Anthropic 和OpenAIth )
3 . Nvidia 投資初創公司的理念是什麼?
Jensen Huang:
我們的架構設計考慮了多個因素,它旨在適應不斷變化的世界,無論這種變化是我們造成的,還是影響到我們的。原因在於技術變化日新月異。如果你過分強調可控性,那麼你就會犧牲系統的敏捷性和適應性。因此,我們公司更傾向於使用「對齊」這樣的詞彙,而不是「控制」。
我不記得我曾經用過「控制」這個詞來描述公司的運作方式。我們注重的是盡可能減少官僚主義。我們希望讓公司的流程盡可能地輕量化。所有這些都是為了提高效率,增強靈活性等等。我們會避免使用像“部門”這樣的詞彙。當Nvidia 剛創立的時候,談論「部門」是很時髦的。但我討厭「分割」這個詞,為什麼要建立一個本質上就存在分割的組織?我討厭「業務單元」這個詞,因為,為什麼每個人都要獨立存在?為什麼不盡可能地利用公司的資源呢?我希望建立一個更像計算單元的組織系統,就像一台電腦一樣,以盡可能有效率的方式交付成果。因此,公司的組織結構看起來有點像一個計算堆疊。我們試圖建立的這種機制是什麼?我們又試圖在什麼樣的環境中生存?是更像寧靜的鄉村,還是更像是鋼筋水泥的叢林?你所處的環境是什麼樣的?因為你想要建立的系統類型應該與環境相適應。讓我一直感到奇怪的是,每家公司的組織結構圖看起來都非常相似,但它們實際上代表著不同的事物。一個是蛇,另一個是大象,再一個是獵豹,每個物種都應該在森林中有所不同,但不知何故,它們的結構卻完全相同,組織形式也完全一樣,這在我看來毫無道理。
Arthur Mensch:
我同意公司是有個性的,儘管它們的組織形式有時很相似。我必須說,顯然我們還有很多東西要學習,Mistral 成立還不到兩年。所以我想,Mistral 面臨的一個挑戰,同時,我認為我們的競爭對手也面臨著同樣的挑戰,那就是,這是第一次,一家軟件公司實際上是一家由科學驅動的深度科技公司。科學和軟件的時間尺度是不同的,你需要以月為單位來運作。有時你無法確切地知道什麼時候才能準備好。但另一方面,你的客戶會問,下一個模型什麼時候會發布?這個功能什麼時候可用?等等,所以你需要管理好各方的期望。我認為,對我們來說,最大的挑戰,我們已經開始做得不錯了,就是協調好產品需求和科學能力之間的關鍵環節。研究和產品,沒錯。你不希望研究團隊完全為了讓產品運作而工作,你需要努力,而且我認為我們已經開始這樣做了,確保你的公司內部有不同的工作節奏。在產品端,你可以保持快節奏,每周進行迭代;而在科學端,你可以保持慢節奏,深入研究為什麼產品在某些領域會失敗,以及如何通過研究、通過新的數據、通過新的架構、通過新的範式來解決這些問題。我認為這是相當新的,這在典型的SaaS 公司中是找不到的,因為這本質上就是科學問題。
Jensen Huang:
Nvidia 是最成功的公司之一,在過去30 多年的時間裡,它找到了一種方法,使得科學和研究能夠領先於世界其他地方,無論是2012 年的CUDA,它進行了基礎的系統研究,還是現在的Cosmos,它代表著當前最先進的模擬技術發展方向。
我們在公司內部實現了這種協同。我們有基礎研究、應用研究,然後是架構設計,最後是產品開發,我們有多個層級,這些層級都是不可或缺的,而且它們都有各自的時間表。在基礎研究領域,時間頻率可能會相當低。然而,一直到產品端,我們有整個行業的客戶都在依賴我們,所以我們必須非常精確。一方面,我們需要進行基礎研究,並行現那些希望是出人意料的驚喜;另一方面,我們需要能夠可靠地交付每個人所期望的成果。這兩個極端,我們在公司內部進行和諧的管理。
Arthur Mensch:
關於如何在客戶同時也是競爭對手的環境中取得成功,正如Jensen 所說,你需要放棄控制,但要努力實現一致的目標。儘管有時你可能會遇到這樣的情況:某些公司可能是競爭對手,但你們可能有共同的利益,你們可以為了共同的目標而合作。
Jensen Huang:
你必須有自己的定位。很明顯,這些雲服務供應商 (CSP) 與Arthur 合作,並不是因為他們已經擁有了相同的東西,而是因為Arthur 和Mistral 在世界上擁有獨一無二的地位,他們在特定的領域提供了獨特的價值。我們今天進行的許多對話,都涉及Mistral 以及他們的工作和他們在世界上的定位,這些都使得他們在這些領域表現得特別出色。我們是與眾不同的,我們不僅僅是另一個ASIC 供應商,我們可以為CSP 做一些事情,並與CSP 一起做一些他們自己無法做到的事情。
例如,Nvidia 的架構遍佈每一個雲平台。在很多方面,我們是那些令人驚嘆的未來初創公司進入雲端平台的第一個入口。原因在於,透過採用Nvidia 的技術,這些初創公司不必對某個主要的雲端平台做出戰略、業務或其他方面的承諾。他們可以選擇任何一個雲端平台,甚至可以決定建立自己的系統,如果他們願意的話,因為在某個時刻,自建系統在經濟上對他們來說更划算,或者他們希望獲得我們所擁有的某些能力,而這些能力在雲端平台中是受到一定程度保護的。所以,無論出於什麼原因,要成為一個優秀的合作夥伴,你仍然需要有獨特的定位,你需要提供獨特的產品或服務。
我認為Mistral 提供了非常獨特的產品,我們也提供了非常獨特的產品,我們在世界上的地位,即使對於我們的競爭對手來說,也是至關重要的。因此,當我們對自身定位感到滿意,並且對自己的能力充滿信心時,我們就可以成為所有CSP 的優秀合作夥伴,我們也希望看到他們成功。我知道,當你把他們視為競爭對手時,說這句話可能有些奇怪,這正是我們不把他們視為競爭對手的原因。我們把他們視為合作者,只是他們剛好也與我們有競爭關係而已。因此,我們為所有CSP 所做的最重要的一件事,可能就是為他們帶來業務,這正是一個偉大的計算平台所應該做的。我們為人們帶來商機。
關於Nvidia投資初創企業,我想說有兩個原因。首先,我很少稱呼我們為GPU 公司。我們生產的是GPU,但我認為Nvidia 是一家計算公司。如果你是一家計算公司,你最關心的就是開發者。如果你是一家晶片公司,你最關心的就是晶片。我們所有的策略、所有的行動、所有的優先順序、所有的關注點、所有的投資,100% 都與「開發者至上」的態度保持一致。這是計算平台的首要地位,另一種說法就是生態系統。所以,一切都從這裡開始,一切也都結束於這裡。 GTC 就是一個開發者大會,我們公司內部的所有舉措都是以開發者為中心的。這是第一點。
第二點是,我們正在開創一種全新的計算方法,這種方法對於通用計算的世界來說是非常陌生的。因此,這種加速計算方法相當另類,違反直覺,而且在很長一段時間內都顯得相當笨拙。所以我們一直在不斷地尋找,尋找下一個令人難以置信的突破,下一個如果沒有加速計算就無法實現的目標。因此,我自然會去尋找研究人員和像Arthur 這樣偉大的思想家,因為我在尋找下一個殺手級應用程式。所以這是一種自然的直覺,也是創造新事物的人的自然本能。所以,如果有一位傑出的電腦科學思想家,而我們還沒有接觸過,那一定是我的失職,我們必須立即行動起來。
主持人提問:
從計算的角度來看,你認為未來最重要的趨勢是什麼?面向一些可能正在領導、可能是世界上成長最快的市場的總理、總統或IT 部長,他們試圖理解計算技術的發展方向,你會如何引導他們?
Arthur Mensch :
我們正在朝著越來越非同步的工作負載發展。也就是說,你給AI 系統分配一個任務,然後你需要等待它完成20 分鐘的研究,然後才能得到結果。所以這肯定會在一定程度上改變你看待基礎設施的方式,因為這會產生更多的負載。所以,這對資料中心和Nvidia 來說都是一個好消息。正如我在本集開始時所說的,如果你沒有為AI Agent 準備好合適的接入基礎設施,所有這些都不會順利發生。如果你沒有一個合適的方法讓你的AI 系統理解與它們互動的人,並向這些人學習,從人機互動中學習,這一方面在未來幾年將會變得極其重要。另一個面向是關於個性化的,我指的是讓模型和系統整合它們對使用者的理解,從而儘可能地發揮作用。我認為我們正處於這個階段的早期,但這將再次深刻地改變我們與機器的互動方式,機器將更理解我們,更理解我們的喜好,以及如何儘可能地為我們提供幫助。最後,我想說,作為一位總理或一個國家的領導人,我需要考慮教育問題,確保我擁有一個理解AI 的本地人才庫,從而能夠建立專門的AI 系統。我需要考慮基礎設施,包括實體層面和軟體層面。那麼,什麼是正確的API ?什麼是正確的合作夥伴,能夠提供你接取平台?所以這兩件事非常重要。如果你擁有這些,你擁有人才,如果你建立了深入的合作關係,你所在國家的經濟將會發生深刻的變革。
Jensen Huang:
在過去的10 年裡,我們見證了計算領域的巨大變革,從手工編碼到機器學習,從CPU 到GPU,從軟體到AI。我們正在經歷整個技術堆疊的變革,整個行業已經徹底轉型,我們仍然在經歷這個過程。接下來的10 年將會是不可思議的。當然,整個行業一直都在討論Scaling Law,預訓練非常重要,當然,而且還會繼續如此。現在,我們有了後訓練,後訓練包括思想實驗、實踐、輔導和指導,以及我們人類用來學習的所有技能。 Agentic 和機器人系統即將到來的想法,真的非常令人興奮。
所以,計算的意義非常深遠,這就是我們過去所投入的。人們感到驚訝,Blackwell 相比Hopper 有如此巨大的飛躍,原因是,我們為推理建構了Blackwell,而且恰逢其時,因為突然之間,思考變成了一項如此巨大的計算負載。所以這是一層,計算層。下一層是我們將會看到的AI 類型,有Agentic AI,資訊化的數字工作者AI,但我們現在還有物理AI 正在取得巨大進展。當然,物理AI 是指那些遵守和理解物理定律、原子定律、化學定律以及所有各種物理科學的事物,這些領域將會出現一些偉大的突破,我對此感到非常興奮。這將影響工業,影響科學,影響高等教育和研究。然後是物理AI,AI 理解物理世界的本質,從摩擦到慣性,因果關係,物體恆存性,那些人類擁有常識的基本概念,但大多數AI 卻沒有。因此,我認為這將催生一系列的機器人系統,這些系統將在製造業和其他領域產生深遠的影響。
美國經濟非常依賴知識工作者,然而,許多其他國家的經濟則非常依賴製造業。因此,我認為對於許多總理和國家領導人來說,他們需要意識到,能夠改變和革新對他們至關重要的產業(無論是能源還是製造業)的AI 已經近在咫尺,他們應該對此保持高度警惕。我鼓勵人們不要過分敬畏技術,有時,當你過分崇拜一項技術,過分敬畏一項技術時,你最終反而不會去使用它,你在某種程度上害怕它。不要這樣,我們今天所說的關於AI 縮小技術差距的一些觀點,是真正應該被重視的。這有如此重大的國家利益,你有責任參與其中。總之,激動人心的時代即將來臨。 (數字開物)