11月13日，微軟AI CEO Mustafa Suleyman接受了海外播客Big Technology 的訪談，Mustafa Suleyman目前同時負責微軟新成立的超級智慧團隊。本次對話深入探討了超級智慧的定義、實現路徑、現實瓶頸，AI 進展的速度，LLMs 範式是否遭遇瓶頸，電力與數據限制的真相以及微軟在與OpenAI 達成新協議後的戰略轉向。Mustafa Suleyman堅信，通往超級智慧的路徑就是深度學習和Transformer，業界並不需要等待一個全新的典範出現。他預測，下一輪指數級飛躍將來自三個關鍵的突破：模型利用工作記憶的能力、更好的記憶能力以及模型可預測的任務步驟長度。他指出，超級智慧必須是通用的（具備AGI 的知識遷移和通用推理能力），否則無法實現；另一方面，應用需要是垂直化的（如醫療超級智慧），其自主性、目標設定和自我修改能力必須嚴格限制在特定領域，以防止安全風險。Mustafa Suleyman認為，模型能從文字、影片等中學習並產生高度逼真的內容已足夠「令人驚奇」。他認為在未來幾年內，物理數據不會成為主要的差異化因素，更多的合成數據和人類回饋才是關鍵。他指出，AI 領域的競爭（如微軟、Google、OpenAI 等）將導致智能的邊際成本趨近於零，實現“智能的廉價和充裕”，這對人類文明是巨大的福祉；而AI 的未來差異化，將越來越多地體現在“個性化”上。01. 奔向超級智慧的悖論許多實驗室在競相追逐“超級智慧”，但研究界正在討論當前LLM 範式正遭遇邊際收益遞減，對其可行性存在疑問。既然我們不確定目前方法能否達到AGI（超級智慧的前一步），為什麼現在卻有這麼多關於超級智慧的討論？這種差異如何解釋？Mustafa Suleyman: 超級智慧和AGI 更多是目標，而非方法。我認為我們的雄心壯志是在大多數或所有人類任務上，實現超越人類的表現。我們希望擁有醫療領域的超級智慧。我們希望讓醫療診斷的頂尖專業知識變得便宜、充足，讓全球數十億人都能獲得。我們也希望隨時能夠獲得世界級的法律建議，而成本幾乎為零，每月只需幾美元。我們想要財務建議，我們想要情感支援，我們想要軟體工程師能隨時調用。我認為超級智慧這個項目，關乎我們究竟要建構什麼樣的、極為強大的智慧系統。我試圖提議的是，我們應該用一個非常簡單的標準來檢驗這些新技術中的每一種：它在實踐中是否真正改善了人類文明的前景？它是否總是讓人類處於食物鏈的頂端？這聽起來像是一個無需多言或理所當然的聲明，但在我看來，科學和技術的目標是推動人類文明進步，保持人類的控制權，並為全人類創造福祉。我認為，在過去幾年的某些論調中，你可以感覺到一種悄然蔓行的假設，即這類系統不可避免地會超越我們的控制和能力，超越我們作為人類這個物種。我正試圖用「人文主義超級智慧」這個框架來反駁這種觀點。我認為這是截然不同的。02. 超級智慧必須是通用的，但其應用是受限的您的觀點是否意味著超級智慧將是特定學科的（例如頂尖醫學，而非會計），而不是一種寬泛的智慧？有沒有可能一個系統是超級智慧的，但卻不是通用智慧的（即在沒有AGI 的情況下實現超級智慧）？Mustafa Suleyman: 我們可以這樣理解：目前我們訓練這些模型的方式，是按垂直領域進行的。我們確保我們擁有訓練資料、知識、專業技能、推理軌跡、思維鏈，這些都反映了人類專家在各個學科中為建立其整體專業知識所從事的活動。所以，我們其實是從一個垂直化的起點來訓練通用模型的。我們從一開始就明確我們要優化的具體任務是什麼。而人文主義超級智慧這個項目，首先要明確的是：這項技術將帶來什麼好處？它將如何變得安全、可控，並符合人類利益。安全性的維度之一就是垂直化。如果一個模型被明確設計用於實現醫療領域的超級智能，那麼根據定義，它就不會是世界上最頂級的軟體工程師，也不會是最頂級的數學家或物理學家。因此，縮小其應用領域——不是過度縮小，也不是完全封閉，因為你無法將其完全壓縮——但限制其領域並降低其通用性，是我認為有助於實現更多控制權的方法之一。這不是唯一的解決方案，我們還有許多其他方法來實現遏制和對齊，但特定領域的模型是其中的一個組成部分。(關於超級智能是否必須通用)我認為這不可能。我認為它們必須是通用的。它們需要能將知識從一個領域遷移到另一個領域，它們需要具備通用的推理能力。但是，當你應用它、將它投入生產環境時，你允許它擁有更多自主權來做決策，或者允許它生成任意代碼來解決特定問題，或者允許它編寫自己的評估，以便修改自身代碼，並生成新提示，進而生成新訓練數據，再編寫新的評估，然後迭代提升自身性能。這些能力：自主性、目標設定、寫程式、自我修改，如果你再把這些能力與一個完全通用的模型，或稱通用目的模型，結合起來，那將是一個極其、極其、極其強大的系統。我認為時至今日，還沒有人真正知道我們該如何遏製或對齊那樣的東西。這並不是說我們不應該去探索這些維度中的任何一個，而只是想勾勒出一個我們都在努力的能力路線圖。這些能力會帶來更多風險，尤其是當它們相互疊加、組合在一起時。因此，我的主張是，我們應該謹慎對待這一切，要記住，我們不希望將所有這些能力捆綁在一起，從而增加出現「遞歸自我改進、指數級爆發式增長並最終取代我們物種」的風險。從我今天所見來看，我認為這種情況發生的機率非常低，但這是我們在未來10 年左右必須認真對待的問題。03. 我們目前並未受到數據或電力的根本限制研究人員普遍在談論目前的方法正進入平台期：數據並非取之不盡，合成數據不實用，電力資源即將耗盡。鑑於LLMs 的這些侷限性，您看到了那些足以鋪平通往超級智慧之路的因素？您打算如何從現況抵達？Mustafa Suleyman: 我認為我們受限於電力，但這並非根本性的瓶頸。顯然，業界有巨大的動力去建造更大的資料中心，並在規模更大、更連續的叢集、更全連接的叢集，即所有晶片都相互連接的叢集，中進行訓練。但目前那並不是瓶頸，並沒有阻礙進展。當然，如果我們現在擁有更多資源，肯定會有幫助，但在技術堆疊中還有許多其他因素在拖慢進度。我們目前也沒有受到數據約束。我們正在產生大量高品質的合成數據，並且事實證明它們是有效的。當然，同理，能有更多高品質數據固然是好事。但我沒有看到進展因為這兩者中的任何一個而放緩。恰恰相反，過去五年的進展速度一直是驚人的。我們現在的基礎已經很高了，訓練最大模型所使用的叢集功耗通常是50 兆瓦、100 兆瓦，很快就會達到500 兆瓦。在這種基礎上，你不能指望叢集規模每六個月還翻一番。物理定律確實會帶來限制，我們談論的可是價值數百億美元的叢集。步伐可能會放慢一點，也許。但同樣清晰的是，客觀來講，這個步伐仍將快得令人難以置信。所以我目前並未察覺任何事情在放緩，或者我們正在失去動力。情況恰恰相反。04. 通往超級智慧的路徑您認為LLMs 是實現超級智慧的路徑嗎？我們是否不需要另一個不同模型型態的突破，也能走向超級智慧？Mustafa Suleyman: 我認為需要考慮的一點是，在過去幾年裡，這個領域每年都會有重大的新貢獻。雖然原則上仍是基於Transformer 架構，但我們一直在將Transformer 架構改造出新的形態。三年前，在我們的預訓練模型基礎上出現了微調，用於使模型適應特定用例。現在它們已經是完全多模態的了，這需要進一步的改變，並引入了擴散模型。然後在過去的12 個月裡，我們又有了推理模型，它同樣從根本上基於相同的核心架構，只是組件的排列方式略有不同。所以，即使Scaling Law 未能像早期從低基數開始時那樣保持指數級增長，新的方法也會在這些基礎之上湧現，例如推理。而且新的方法，甚至更新的方法，也很快就會到來。舉個例子，我預計在遞歸(recurrency) 很快就會有很大進展。目前，模型在訓練時並不能很好地利用它們的工作記憶。因此，我認為人們正在試驗許多不同類型的損失函數和許多訓練目標。另一個是記憶。我認為記憶能力正變得越來越好，而且我認為這將徹底改變能力的邊界。再一個是可預測的「任務跨度」的長度。目前可能只有幾個步驟，但很快將能準確預測數萬、數十萬個步驟。這將意味著模型可以使用API、查詢人類、檢查其他資料庫或呼叫另一個AI。因此，當這三者，即遞歸、記憶、任務跨度，中的任何一個取得突破時，都會帶來另一次指數級的飛躍。你會在進展中看到再一次的猛然加速。我不認為LLM 架構有任何根本性問題，也不認為我們從根本上受到了算力或資料的約束。我認為現在有這麼多的人專注於這個問題，未來只會出現越來越多的突破。(關於是否需要新模型形態)到目前為止，我不這麼認為。到目前為止，深度學習和Transformer 模型一直是主力，大概有12 年了，自從Krizhevsky 和AlexNet 以來。雖然一直有各種“大同小異的變種”，但它一直在產生成果。而且，說它目前沒有產出成果是不公平的。我認為它正在取得巨大的進展。05. 現實的瓶頸與世界模型Satya Nadella 曾評論說，有些GPU 因為電力問題還沒插電。如果您在訓練上沒有受到電力限制，這又該如何解釋呢？此外，關於世界模型，一個無法駕駛汽車、不真正理解物理世界（如重力）的LLM，如何成為超級智慧？搞清楚物理世界是否是你們的優先事項？Mustafa Suleyman: 我認為他指的是我們在推理需求上受到了電力限制。我們並沒有受到電力限制，至少從Microsoft AI 團隊的角度來看，在訓練晶片上是如此。我的團隊目前主要專注於訓練。所以，Copilot 受到了推理算力的限制，迫切需要更多晶片來擴展，M365 和我們的其他產品也是如此。(關於世界模型與物理現實)正如您所說，目前的情況確實令人驚奇：模型可以從現實的壓縮表示中學習，然後生成一個與被壓縮的源頭看起來非常相似的現實版本。就像文字，文字描述了物理世界及其屬性，模型從未親眼見過那個世界，但它實際上卻能產出非常引人入勝的故事、代碼、商業計劃、視頻等等。我們能用這種結構取得如此大的進展，是令人驚訝的。對於機器人技術和來自現實世界的輸入流，我持開放態度。我的直覺是，你不能只是粗暴地將這些資料堆積到現有的預訓練運行中，因為那些運行已經以某種方式對文字資料進行了Token 化或說描述。要將這些資料與例如來自機械手臂的遙測資料融合，你必須仔細考慮應該在那個抽象層次上進行。已經有很棒的專業模型在這方面做得相當不錯了。但我認為至少在目前，這並不是阻礙我們前進的因素。我認為總的來說，更多的數據總是更好的，但我並不認為在未來幾年內，這將成為主要的差異化因素。更多的合成數據、更多的人類回饋以及高品質數據，才是未來的差異化。06. AI將在閉環中實現自我改進OpenAI 曾表示希望在2028 年前建立一個“自動化的AI 研究員”，每個實驗室似乎都在試圖建立能夠自我改進的AI。您是否也有此興趣？這現實嗎？這到底算不算一個雄心勃勃的目標？我很難想像AI 能夠自己發現下一個新方法（例如推理能力），是我的想像力太侷限了嗎？Mustafa Suleyman: 我認為在某些方面，強化學習循環已經在這樣做了。目前，這個循環中有人類工程師，他們負責產生數據、編寫評估、決定那些其他數據可以進入訓練運行，並對這些數據進行消融實驗。你完全可以想像，在未來，那個技術堆疊的不同部分會被AI 的子元件自動化。這並不一定意味著由單一系統來完成這一切。今天我們有了人類回饋強化學習(RLHF)，它後來發展為AI 回饋強化學習(RLAIF)，即我們使用AI 評判者或AI 評分者來判斷同為AI 生成的數據的品質和有效性。在許多情況下，用於產生多樣化訓練資料的提示也是AI 產生的。我們今天所處的階段是：數據，這個推動模型進展的核心商品，其生產管線中的各個部分，已經由LLMs 在承擔了，儘管還不是在大規模上以完全自動化的閉環方式運行。因此，說在幾年之後，這將以顯著的規模實現閉環，這似乎並非遙不可及。屆時會發生什麼，品質標準是否能保持，性能是否會真的提升，這將非常值得觀察。我認為會的。但這絕對是一件需要非常謹慎對待的事情，因為那樣的系統最終可能會變得極其、極其強大。(關於這個目標的雄心程度)我認為我們在DeepMind 大約六七年前用AlphaZero 所做的自我博弈工作，那顯然為第一次大規模的自我改進努力鋪平了道路。我認為這個領域的每個人都清楚，在一個特定領域裡，例如有可驗證獎勵機制、處於閉環的遊戲或模擬環境中，這是可以實現的。而且人們正在深入思考，如何才能在這種更廣泛的設定下重現其中的某些組件。我確實認為這將在未來幾年推動巨大的進展。這是每個人都在高度關注的重要領域。因為從根本上來說，規模最終總是勝過一切。如果你能讓模型以一種算力高效的方式，去探索所有可能的組合空間，那麼它很可能自己發現推理能力。它可能會發現我們自己甚至從未想過、甚至在任何訓練資料中都未曾見識過的新知識。但是，這是非常低效率的。使用監督微調之類的東西從監督範例中學習，即模仿學習，效率是非常高的，而且效果顯然很好。因為這些模型從網路文字中就學到了難以置信的東西，而網路文字實際上只是人類互動的產物或記錄。但這兩種路徑將同時並存。涉及更多從經驗流中進行線上學習的強化學習範式也很有前途，它與模仿學習是相鄰的，甚至可能是正交的(orthogonal)。因此，這兩種實驗在未來幾年都會加速發展。07. 我們必須讓人類開發者參與決策環在遞歸自我改進方面，可能會在那些環節出錯呢？Mustafa Suleyman: 我認為，讓人類開發者參與決策環(in the loop) 會增加一道必要的「摩擦」機制，這種監督至關重要。如果這樣一個系統擁有無限的算力，它最終將變得極其強大。我們必須設法確保這些模型使用我們人類能夠理解的語言進行溝通。這是一個非常明確的安全措施，目的在於規範它所使用的語言。我們已經看到一些例子，有人稱之為“欺騙”，但這實際上只是“獎勵駭客”。 「駭客」這個詞在某種程度上暗示了太多的主觀意圖，所以這只是一個意外的利用。它找到了一條透過非預期的方式來滿足或達成獎勵的路徑。因此，我們不應該將其擬人化。它沒有欺騙我們，也沒有故意試圖攻擊我們。它只是找到了一個漏洞。這是一個訓練目標和獎勵函數定義不清的問題。因此，我們使其更安全的方法是，更清晰地闡明我們的實際訓練目標、我們試圖實現什麼、我們試圖阻止什麼，然後在訓練期間就監控輸出、推理軌跡、思維鍊等等，而不僅僅是在最後階段才監控。所以，隨著我們賦予這些模型更多自我改進的能力，我們將必須改變在訓練期間監督它們所使用的框架。08. 微軟的策略轉向：為何自建超級智能微軟剛和OpenAI 達成了一項協議，讓你們可以著手嘗試自己建構AGI，而你們現在又決定要組建一個超級智慧團隊。這是一個巧合嗎？還是兩者是直接相關的？此外，一家大型科技公司的CTO 告訴我他們決定不自建LLM，因為這極其昂貴且資源密集，回報不成正比，購買或使用開源似乎更合理，這也是你們很長一段時間的策略。為什麼您不同意這種看法？為什麼建構自己的模型如此重要？Mustafa Suleyman: 不，我認為這是直接相關的。我認為Microsoft 與OpenAI 的合作關係將作為科技史上對雙方而言最成功的合作典範之一載入史冊。 Satya 在一個特定時機達成了這筆交易，當時存在巨大風險，但也蘊藏著巨大的上升空間，而且我認為過去五年對Microsoft 來說結果非常出色。但隨後Satya 做出了決斷，我們必須確保我們在AI 領域能夠自給自足。對於我們這樣規模的公司來說，僅僅依賴一家新創公司、一家第三方公司來為我們提供如此重要的IP，是難以想像的。因此，我們基本上的看法是，我們應該將IP 許可延長至2032 年。我們將繼續從OpenAI 獲得新發布的模型和他們所有的IP。我們將繼續作為他們的主要算力提供商，規模高達數十億甚至上百億美元。同時，我們也移除了合約中那條禁止我們建構超級智慧或AGI 的條款。該條款實際上是以一個FLOPS 閾值的形式表述的，即針對特定規模訓練運行的每秒FLOPS 閾值。所以，這對我們過去能做的事情是一個巨大的限制。既然那個限制不復存在，我們的團隊正在圍繞「人文主義超級智慧」 (humanist superintelligence) 這一理念進行重組。我們正在追求絕對的前沿，訓練所有尺寸、所有權重級別的全能模型，使其達到能力的絕對極限。在未來的兩三年裡，你會看到我們真正努力打造出世界頂級實驗室之一。我們想要訓練這個星球上最頂尖的AI 模型。而且，我們是一個非常年輕的實驗室，成立才剛滿一年，但我們已經在排行榜上有了一些不錯的模型，現在涵蓋了文字、圖像和音訊領域，在未來幾年，我們將努力做到最好。(關於為何必須自建模型)我們正在經歷軟體領域一場基礎性的平台變革，從操作系統到應用程序，從瀏覽器、搜尋引擎，到移動和社交。 AI 是下一個主要平台，而且它將比所有其他平台加起來的規模都要大。所以，對於一家市值3 兆美元、年收入3000 億美元、並且有80% 的標準普爾500 強企業在使用我們的Azure 堆疊和M365 堆疊的公司來說，要永久性地依賴一個第三方，是根本說不通的。這是一家已經成立50 年的公司，並且非常出色地駕馭了過去的多次平台變革，而這正是我們當下的旅程。我們必須實現AI 自給自足。這是Satya 去年定下的一個重要使命，我認為我們現在正走在實現這一目標的道路上。所以這就是你們組超級智慧團隊的原因？Mustafa Suleyman: 完全正確。我們正在啟動這個超級智慧團隊。我們將專注於所有層面的SOTA，但同時也將推動研究的前沿。機器學習中有許多難題，而幾個月前我們並沒有真正注意到這些問題。持續學習就是其中之一。例如，我們如何以一種可被不同網路修改的方式來儲存知識表示，讓它們能夠像人類一樣隨時間累積知識，而不是必須從頭開始重新訓練？這只是我們的超級智慧團隊現在要花時間研究的眾多更基礎研究問題中的一個例子。09. 讓智能變得廉價和充裕Meta 的Nick Clegg 認為，超級智慧無法被“囤積”，它會快速商品化。因為如果Meta 造出來了，微軟和OpenAI 也會造出來，很快就會有快速跟進者。一旦有多家公司都造出了它，它在經濟上是否還可行？Mustafa Suleyman: 它無疑正在商品化。在過去兩年裡，每個Token 的成本下降了1000 倍，這簡直是難以想像的。所以，事情正變得極其便宜和高效，而且排名前四或前五的模型在性能上彼此只相差零點幾個百分點。但這並不意味著我們就可以把這件事交給市場，然後指望有人將其開源，我們就可以使用他們的開源模型。對於我們這樣規模的公司來說，我們必須具備自建的能力。而且我認為Microsoft 是一個「平台之平台」。我們的API 至關重要，許許多多的人都依賴它。而我認為，如果你是一家規模較小的軟體公司，或任何類型的科技公司，你完全可以依賴市場，這是截然不同的。所以，Amazon, Google, 我們，Anthropic，當然還有OpenAI，都在提供世界上最好的語言模型的API。這意味著你作為買家，即使你是一家大型上市公司，你也可以非常放心，從長遠來看，會有健康的競爭力量在推動價格下降、提升質量，讓你能夠通過API 來使用這些模型。如果有多家公司都這麼做，似乎不可避免地會有一場價格戰。Mustafa Suleyman: 我認為價格戰對消費者和企業來說是件大好事。我們正在降低智能的成本。我認為，這對人類來說是一個了不起的過程。獲取知識的能力、利用知識完成工作的能力、編寫新程式、做出新科學發現、獲得AI 伴侶和情感支援。在十年內，這些東西的邊際成本將趨近於零。這是一種富足。在我看來，這是社會和文明的願景。這很偉大，這就是我投身AI 事業的原因，就是為了讓智能變得廉價、充裕。而市場力量將會推動其成本下降。所以，我認為這非常酷。從商業角度來看，如果邊際成本為零，這如何獲利呢？Mustafa Suleyman: 聽著，我們仍然會為此收取可觀的費用。正如我所說，我們有3000 億美元的收入。我們是一家提供巨大價值的巨型公司。重點是，只要我們能為客戶提供價值，客戶就會樂意為此付費。而價值就體現在：M365 內部的良好整合，GitHub 和VS Code 內部的優秀模型。我們在LinkedIn 上部署了Copilot，在遊戲領域也有Copilot。我們的消費級產品正日益壯大。我們所有Copilot 介面的周活躍用戶剛剛突破了1 億。所以所有產品都在高速成長，在這次轉型中毫無疑問能獲得豐厚收入。10. AI伴侶與人性的未來您曾經列出過幾種想要的智慧形態，其一是個人伴侶。大約一年前您說AI 將依靠個性實現差異化，現在還這麼認為嗎？人們擁有一個可以按自己意願定製的新“朋友”，這是件好事嗎？這是否會對真正的友誼產生不切實際的期望？有人擔心這種AI 提供的「允許犯錯的安全空間」（例如可以無限次提問）模式會「溢出」到人際關係中，那將意味著什麼？Mustafa Suleyman: 當然。我們正處於這些高度差異化的個性湧現的最初階段。因為所有這些模型都將擁有出色的專業知識，它們將擁有強大的能力，並且它們將能夠執行我們剛才提到的類似操作。但人們喜歡不同的個性。他們喜歡不同的品牌，喜歡不同的名人，他們有不同的價值觀。而這些東西現在是高度可控的。我們上星期剛在Copilot 中發布了一個名為RealTalk 的功能。它真的非常酷。與任何其他模型相比，這都是一種截然不同的體驗。它更具哲學思辨性，態度鮮明，甚至有點俏皮無禮，它擁有真正的個性。而且它的使用量遠高於常規Copilot 的平均會話。事實上，它的建造方式也非常非常不同。所以，我認為這只是邁向真正個性化的首次嘗試，而且我認為我們將看到更多此類功能即將推出。(關於AI 朋友對人際關係的影響)我認為這確實提高了門檻。而且我認為我們必須對此保持謹慎，因為AI 能夠按需立即提供高品質、準確的資訊。它們正日益提供高品質的情感支援。很自然地，當我們越來越習慣於此，我們作為人類就會感受到壓力，需要向其他人類提供同等的支援，向其他人類提供同等的知識，並隨時準備幫助他們完成任務。這將是一個有趣的影響。這將在很大程度上從根本上改變「作為人意味著什麼」。 「人性」將更體現在我們的缺陷，而非我們的能力。(關於AI 模式「溢出」到人際關係)我認為這是一個非常有趣的觀點。在某些方面，AI 為我們提供了一個「允許犯錯的安全空間」。這也許有點令人尷尬，但我們可以一遍又一遍地問同一個問題，用10 種不同的方式提問。而這正是我們變得更聰明的方式。所以，這是一個值得反思的很好的哲學問題，因為它真的將改變「作為一個人意味著什麼」。您說過：「科技的目的是幫助推動人類文明進步。它應該幫助每個人過著更快樂、更健康的生活。」 我的問題是，科技兌現了這個承諾嗎？Mustafa Suleyman: 我認為科學和技術已經兌現了那個承諾。我認為是這樣。我認為我們正處於一個不可思議的時代。我們在250 年裡將預期壽命延長了一倍。我們正在治癒各種疾病。我們可以透過這些設備彼此交流。我認為這太棒了。我們完全有理由對技術、科學以及「進步」這項事業保持樂觀。而且我真的認為AI 將為我們所有人提供獲取充裕智能的途徑，這將使我們更有生產力和創造力。而且我認為我們已經開始看到這一點了。所以，我對此感到樂觀。 （數位開物）
