圖靈獎得主、強化學習之父：AI模型本身其實很脆弱！現在的AI，只是局部智能！真正的下一階段是經驗時代！人類終將被AI繼任！AI要去中心化

今天的AI，讓人又喜又怕。

一方面，短短三年，AI已經從ChatBot進化到了可以操控電腦終端的私人Agent，另一方面，又給矽谷帶了“AI恐慌”，許多 SaaS 廠商的市值慘跌。

再一次，AI 的強大攪動得業內躁動起來。而就在狂喜與不安的背後，終於有大佬難得出來給出自己冷靜的分析與判斷。

近日，在SAIR 正式成立後的首場全球直播中，圖靈獎得主、強化學習之父 Richard Sutton 發表了自己最新關於 AI 的獨特的反直覺看法。

Sutton 上來就給出了一句異常冷靜的判斷：現在的AI，只是局部的智能，並沒有在智能層面取得快速的進步。

他表示，AI給業內帶來許多重要的進展，但這些進展大多源自超大規模計算與超大規模模式識別的應用。但它們本質上是非常具體、局部的能力，並不能等同於“全部的智能”。

反直覺的地方在於，現在人們似乎把智能等同於AI了，而 Sutton 對於“智能”的定義戳破了這層幻覺：

當我使用“智能”這個詞時，我指的是：通過適應行為來實現目標的能力。

你並不是簡單地“智能”或“不智能”，而是在某種程度上具備實現目標的能力。

其次，值得注意的是，Sutton 還給出了一個重要觀點：圖像和視訊生成技術是重大的工程突破，但並不構成我們通常意義上所說的“智能”的核心組成部分。

心智（Mind）在進行智能行為時，真的需要生成圖像嗎？

答案是否定的。我們確實需要處理圖像和視訊，但並不需要生成它們。

然後，Sutton 對當下“AGI臨近論”還潑了第二盆冷水。理由是，雖然現在的AI很強，但本質是“弱心智”。

他給了一個很犀利的說法：模型之所以顯得強大，是因為它們吸收了幾乎全部人類知識；除了這一點，生成式 AI 其實很脆弱。它們不可靠、容易跑偏、沒有穩定目標結構。問題在於，現在的AI太多關注機器，而忽略了經驗的學習。

大模型在部署後是凍結的，沒有持續經驗，沒有真實獎勵訊號。沒有獎勵，就沒有目標；沒有預測與現實的對照，就沒有“真理”。

換句話說，當前模型像一個讀遍百科全書卻沒有生活經驗的人。

因此，Sutton 表示，現代機器學習已經觸及了時代的極限。當前AI本質是：把人類已有知識遷移進機器，訓練完成後停止學習。而如今，人類高品質資料已經幾乎用完了。

不過好處在於，AI 的風向已經出現了新的變化。Sutton 表示，真正的下一階段是“經驗時代”。他認為，只有從經驗中學習，智能才能不斷增長。

他把過去 10 年的AI發展分成三個階段：模擬時代（如AlphaGo）、人類資料時代（LLM）、經驗時代（智能體在真實世界持續學習）。

Sutton 認為，“智能研究”需要一個全新的“心智綜合科學”（它既不完全屬於自然科學，也不只是工程或技術應用。），而強化學習會是研究“心智綜合科學”的起點。

其次，這點陣圖靈獎得主，對於“集中控制AI”的做法表示反對。他表示，一些人不過是拿著“安全”當幌子試圖“控制AI”，這種做法本質上有點類似“權力失控”的焦慮。“AI 本應該是去中心化協作式的。”

Sutton 呼籲AI合作，反對地緣的封鎖和限制：

合作並非總是可能，但從經濟交換到社會制度，從政府到市場，世界上幾乎所有美好的事物都源自合作。

最後，你絕對想不到，Sutton也會發表“科幻視角”的判斷。Sutton 表示，人類可能最終會走向被 AI 繼任：人類終將理解並創造智能，而且這種智能會迅速超越人類。

Sutton認為，從宇宙尺度上看，這是一種必然演化。

同時，他還給出了四個宇宙偉大時代！粒子時代、恆星時代、複製時代、設計時代！小編聽下來大呼燒腦。

篇幅關係這裡不再一一展開了。

總之，Sutton的演講有兩條主脈絡：

其一、智能的本質不在於模仿得“像人”，而是適應目標。我們已經邁進“經驗時代”！

其二、AI是宇宙演變的必然，而人類至少是這個時代的催化劑、接生婆。我們終將促成宇宙的第四個偉大時代。

以下是小編梳理的精彩觀點，enjoy！

現在的AI，在智能層面並沒有快速進步

很高興能和大家一起交流。我聽了上午的一些報告，過程中突然意識到：我想談一些原本並沒有準備好的內容。因此，今天我特意留出了一點時間，整理了幾頁PPT。在進入我原本準備好的發言之前，我想先說幾句鋪墊性的內容。

讓我們先從這個領域的現狀談起：今天的AI到底是什麼樣的？人們又是如何看待它的？我想，幾乎所有人都認為AI正在以極其迅猛的速度進步，這種看法當然令人興奮。但當所有人都在想同一件事時，我們就有必要停下來問一問：事情真的如此嗎？這真的是正在發生的嗎？我們是否可以對這個判斷提出一些質疑？AI真的在快速進步嗎？

當然，在讓電腦能夠熟練使用語言這件事上，我們確實取得了巨大的進展。我認為這是一個非常重要、真正意義上的突破。事實上，不久之前我們就已經設想過可以用神經網路來完成這件事，而今天，它已經被充分證明是可行的。同時，我們也借助海量的計算資源，生成了極其逼真的圖像和視訊。

但問題在於：心智（Mind）在進行智能行為時，真的需要生成圖像嗎？

答案是否定的。我們確實需要處理圖像和視訊，但並不需要生成它們。這並不是心智本身在做的事情。這類任務需要巨大的計算量，也確實非常困難，但它們並不構成我們通常意義上所說的“智能”的核心組成部分。

當然，我們也看到了新的、真實的應用出現，它們催生了全新的產業形態，創造了巨大的經濟價值。這些重要的進展，大多源自超大規模計算與超大規模模式識別的應用。但它們本質上是非常具體、局部的能力，並不能等同於“全部的智能”。其中相當大的一部分其實只是計算，而我們之所以稱它們為“智能”，往往只是因為這樣聽起來更重要一些。

AI模型本身其實很弱

因此，我想向大家拋出一個問題：作為一門科學，AI真的在快速進步嗎？
（現場響起了一片笑聲）

謝謝大家的笑聲，這讓我感覺自己彷彿經歷了一個奇蹟。（笑聲）在我並不那麼謙虛的看法裡，我們對AI的真正理解其實非常有限，更多是在不斷地調參、修補。我們並不知道心智的原理，也不知道智能的根本機制。

從科學的角度來看，這在很多方面都是令人不滿意的。我更傾向於用另一種方式來理解當下的AI模型：它們之所以顯得強大，是因為它們汲取了幾乎全部的人類知識；但除此之外，它們其實是“弱”的。它們擁有脆弱的心智結構，不可靠，容易偏離主題，容易發散。除了知識量極大這一點之外，它們並不真正強大。或許，這是理解當下所謂AI的一種更準確方式。

現在的AI，還算不上真正的智能

那麼，我們口中的AI究竟是什麼？

它是“人工智慧”，而這就要求我們首先回答一個更基本的問題：什麼是“智能”？多年來，人們給出過許多定義。我在這裡列舉一些更有權威、也更為廣泛接受的觀點。

最早的一個可以追溯到心理學奠基人威廉·詹姆斯。心理學幾乎就是對心智的研究。1890年，威廉·詹姆斯並沒有直接談論“智能”（intelligence），而是談“心智”。他認為，心智的標誌在於：用可變的手段實現一致的目標。也就是說，為了獲得一個相對穩定的結果，你可以靈活地改變自己的行動方式，而那個結果正是你所追求的目標。

接下來，我們可以看看艾倫·圖靈是如何理解智能的。圖靈並沒有留下一個高度凝練的定義，但人們通常將他的觀點理解為：智能在很大程度上表現為像人一樣的行為。今天我們所說的“圖靈測試”，正是這種思想的延續，即通過模仿、假裝成一個人來判斷是否具備智能。當然，圖靈本人從未稱其為“圖靈測試”，他把它稱為“模仿遊戲”，而且我甚至不認為他把它當作一個真正的測試。

然而，在當下的語境中，人們往往將“像人一樣的行為”視為智能的重要標準。但我並不認為這才是人類強大的根本原因。人類之所以強大，是因為我們本身是智能的存在，而不是因為我們像誰。我們確實會用“是否像人”作為參照，但真正重要的問題是：人究竟是什麼？

如果你去查詞典，可能會看到這樣的定義：智能是獲取並應用知識和技能的能力。我認為這是一個相當不錯的定義，它強調了知識，強調了獲取知識、擁有知識，以及技能的運用。

從AI的角度來看，作為人工智慧奠基人之一，約翰·麥卡錫給出的定義是：智能是實現目標的能力中，可以被計算的那一部分。我非常喜歡這個定義，因此想稍微展開說明一下。它強調的是一種“能力”，而所有能力都是有程度差異的，並非非此即彼的二元判斷。你並不是簡單地“智能”或“不智能”，而是在某種程度上具備實現目標的能力。

更重要的是，這個定義強調的是能力中“可計算”的部分。你並不是因為更強壯或者擁有更好的感測器就實現了目標，而是必須進行計算，必須完成某種心理層面的處理。正是通過這些計算過程，你才能實現目標。而“實現目標”幾乎構成了整個定義的核心，這也正好呼應了威廉·詹姆斯所說的“以可變的手段實現一致的目標”。

在此基礎上，我也忍不住參與進來，對這個定義做了一點修改，提出了我自己的版本：智能是通過適應性地改變行為來實現目標的能力。

定義本身並不是唯一的，每個詞都可能有多種解釋。即便是權威定義也並非一成不變。定義的目的在於幫助我們彼此理解，只要能夠促進溝通，它們隨著時間變化完全沒有問題。但如果對同一個詞的理解差異過大，交流就會變得非常困難。

因此，當我使用“智能”這個詞時，我指的是：通過適應行為來實現目標的能力。這裡的關鍵在於“適應”。我認為學習至關重要，尤其是獲取知識和技能的過程，而不僅僅是擁有它們。

當然，這一觀點並非沒有分歧。如果我們觀察當前AI的主流路徑，會發現它幾乎完全圍繞計算和模式識別展開，並且在很大程度上聚焦於“像人一樣的行為”。

AI 太過關注機器

強化學習會是研究“心智綜合科學”的起點

接下來，我想進一步談談我個人的看法。我認為我們需要一門新的科學——一種“心智的綜合科學”。我一直試圖從事的正是這樣一種綜合性的心智科學，它同樣適用於人類、其他動物以及機器。因為這些心智在本質上具有共通性：人類與動物的心智高度相似，而機器的心智也開始顯現出某些共同結構，至少我們有這樣的雄心，認為在可預見的未來它們將具備這些共性。未來，世界上將存在大量的機器心智。

但現實是，並不存在一門天然承擔這一角色的學科。心理學本可以成為心智科學，我也希望它如此，但隨著時間推移，它越來越將自身限定為對自然心智的研究，研究人類和動物的心智，而不是研究“心智可能是什麼樣”，不是那種可以存在於機器中的一般性心智概念。人工智慧關注的是機器，但它並不真正研究其他類型的心智，而且它也越來越工程化，重在“造東西”，而非理解它；同時，它幾乎不包含對自然心智的研究。認知科學則分化成多個方向，但整體上仍然主要聚焦自然心智。

遺憾的是，這些領域似乎都無法真正承擔起一種跨越不同載體、統一研究各種心智的綜合性心智科學的角色。而我所從事的強化學習，也許正是這種綜合性心智科學的一個起點，因為它確實橫跨了多個領域。這就是我看待問題的方式，也許它只是一個開始。

強化學習的本質

那麼，什麼是強化學習？

我先簡單說幾句，這樣大家也能更清楚我討論問題的出發點。強化學習是一種以“智能體”為中心的學習方式，它通過與環境互動、從經驗中學習，以實現目標。從這個意義上說，它比其他類型的機器學習更現實、更有雄心，也更加自主。因為智能體是真正在世界中行動的，它在做事情，並不假設一定存在一個輔助者。因此，它更加自主；同時也更有雄心，因為我並不假設世界會給予它大量幫助。你只是與世界互動，觀察自己是否達成了目標，然後調整行為，以更好地實現這些目標。

從這個角度來看，這種學習方式也更加貼近現實。動物並不會從環境中獲得太多幫助，也許在成長階段會有一些，但在成年後的日常生活中並不存在。因此，強化學習的本質是試錯，是通過延遲反饋來學習。你擁有的只有獎勵：你最終是否得到了想要的結果？這是一種最接近自然學習方式的機器學習方法，它能夠自行判斷對錯。

比如，大語言模型並不知道自己說的話到底對不對；而當你從經驗中學習時，當你對即將發生的事情做出預測，你可以看到預測是否正確；當你採取行動並獲得獎勵時，你就能判斷這種行為方式究竟是好是壞。

也許，這正是一種心智科學的起點：它既不完全屬於自然科學，也不只是工程或技術應用。

我是不是還想補充一件事？是的，我想引用一句艾倫·圖靈的話。圖靈本人並不知道自己其實是一個“強化學習派”。這段話出自1947年，那時還沒有強化學習，也還沒有真正意義上的人工智慧。據我們所知，這可能是世界上第一次公開討論人工智慧的演講，發生在1947年的一次講座中。

以上就是我原本想補充的內容。希望這些想法能讓大家覺得有趣。

我們已經觸及機器學習時代的極限

接下來，才是我今天真正想傳達的資訊。那麼，我們直接進入正題。

第一個要點是：當今AI的科學發展趨勢是什麼？

核心結論是：我們正處在一個“從人類資料中訓練”的時代。幾乎所有AI系統，主要做的都是這樣的事情——預測人類在網際網路上的下一個詞，或者預測人類會如何給圖片打標籤，然後再由人類專家進行微調，告訴系統“我更喜歡這個答案，而不是那個“我希望你這樣說，而不是那樣說”。

現代機器學習的目標，本質上是將人類已經擁有的知識遷移到機器中。一旦這種遷移完成，機器就會被“凍結”，不再繼續學習。這正是當下大多數機器學習系統的狀態：把我們已有的知識裝進機器裡，然後停止學習。這就是我們所處的時代。

而我認為，我們正在觸及這一時代的極限。一方面，我們正在耗盡人類資料。幾乎所有高品質的資料來源，整個網際網路及其圖像和視訊都已經被消耗殆盡。更重要的是，這種方法在原理上存在根本限制：它無法學到任何真正新的東西，無法產生真正原創的知識。

正如今天Terrence（陶哲軒）所說，在最困難的問題上，比如一些極具挑戰性的厄多斯問題，這種路徑並沒有帶來真正的突破。凡是需要“真正創新”的問題，基本都超出了這種方法的能力，因為它只是回顧網際網路上人們已經說過什麼，然後加以總結。

我們進入了經驗時代：智能體從經驗中學習

如果我們希望取得進一步進展，而事實上，我們已經開始這樣做了，就必須進入一個新的時代：從經驗中學習。歸根結底，這是因為我們需要一種能夠隨著智能體能力提升而不斷增長、不斷改進的資料來源。任何靜態的資料集，都不可能長期滿足這一點。而來自自身經驗的資料，本身就是動態變化的。

人類和動物正是以這種方式學習的。AlphaGo下出富有創造力的第37手棋，正是源於這種機制；許多在數學奧林匹克競賽中獲勝的智能體，同樣如此。

接下來，我想給大家播放一段視訊，希望它能順利播放。不過在此之前，我想先解釋一下角落裡的那張小圖，澄清一個容易被誤解的地方。當我說“從經驗中學習”時，我並不是指某種模糊、玄學的東西，比如主觀感受或“感質”。我指的只是智能體與環境之間來回交換的資料。

智能體會採取行動，也會感知環境。因此，這裡包含三類資訊：

第一，智能體從世界中獲得的觀測，也就是感測器資料；

第二，智能體發出的行動，比如肌肉的微小動作，或者向外界傳送的電訊號；

第三，世界返回的一種特殊觀測——一個標量，也就是獎勵。

這三者，構成了我所說的“經驗”。這就是智能體在與世界互動過程中所能獲得的全部資訊。而這幾乎是我們唯一能夠真正確定的事情。因此，我們需要一種會隨著智能體自身變化而不斷增長、不斷改進的資料集。接下來這段視訊展示了這種機制在現實生活中的一種最重要體現。

畫面中是一名嬰兒，視訊略微加速過，大家不必擔心。你可以看到，嬰兒在與各種玩具互動時，並不會只專注於某一個，而是玩一會兒就感到厭倦，隨後轉向下一個。每一次接觸新的玩具，它都會學到一些東西——也許只是發現繩子可以拉、可以放進嘴裡，或者可以用不同方式擺弄。但很快，它又會改變對象，通過改變自身的經歷，看看還能從新的事物中學到什麼。

這正是我們的資料來源。生命的資料並不是被“提供”給我們的，而是由我們的活動本身生成的。也正因為這些資料來自行動，它們才能與我們自身的理解水平、能力和技能自然匹配。

我還放了另一個視訊，用來展示一個智能體在迷宮中學習的過程。這是一個非常簡單的智能體，它的目標是從起點S走到終點G。它對世界的認知極其有限：只知道自己當前所在的格子；它能執行的動作也只有四種：上、下、左、右。通過不斷學習，它最終能夠找到一條不錯的路徑。圖中的箭頭表示它認為的最優行動方向，綠色區域表示它對每個狀態“有多好”的估計。

但世界並不是靜態的，世界會發生變化，而我們也總是需要學習新的東西。

在這個學習過程中，我們可以再看一張示意圖，它展示了智能體的基本工作方式。其中包含幾個關鍵要素：右上角是對世界狀態轉移的模型；中間是策略，用來決定在每個狀態下該做什麼，對應圖中的箭頭；還有一個價值函數，用來評估每個狀態的好壞，這正是圖中綠色區域所表達的含義。

現在，如果我把目標位置移動到上方，智能體就必須重新“偶然”發現目標的新位置。一旦發現，它就能夠再次學會通向目標的路徑，並從環境變化中恢復過來。從某種意義上說，這就是生活的一個簡化模型：你會遇到變化，然後適應它。

我們把目標放到角落裡，它就學著調整；再把目標移到另一個位置，它就學會一條新的路徑。我們甚至可以進一步干預，在路徑上放置障礙物，它也會逐漸學會繞開障礙前進。

因此，我們會非常直觀地感覺到：這個智能體是有目標的，並且會隨著環境的變化不斷調整自身行為，以儘可能實現目標。當然，目標也可能變得無法達成。當這種情況發生時，我們甚至會不由自主地對這個無法完成目標的智能體產生一絲同情。

我原本還準備了一個關於“試錯學習”的演示，網上其實有一個非常好的示例，但由於沒能把YouTube視訊順利播放出來，這一部分就先跳過了。不過，我想大家已經理解了什麼叫“從經驗中學習”。接下來，我們稍微抽象一點，談談其中的基本原則。

這種以經驗為基礎的AI方法，其核心原則在於：智能體與世界交換訊號，這些訊號本身就是經驗，而經驗構成了一切智能的基礎和核心。

“真理”的定義，體現在這些訊號之中；“目標”的定義，同樣體現在這些訊號之中。你希望獎勵訊號儘可能高——要麼你達成了目標，要麼沒有。這個目標在某種意義上是主觀的，只對智能體自身可見；但與此同時，它又是最客觀的東西，因為它是智能體實際接收到的資料。

因此，我們可以說，一個智能體的智能水平，取決於它在多大程度上能夠預測並控制自身的經驗。需要注意的是，如果你沒有經驗，那就談不上智能。

舉個例子，大語言模型在執行階段，並不會從經驗中學習。經驗是你“出生”後進入世界、親自行動時才會產生的東西。而當一個大語言模型被部署到現實世界中時，它已經不再學習了，它是被凍結的、靜態的。因此它並不真正擁有經驗。它所擁有的資料，只能在一個特殊的訓練階段獲得，那些資料只是人類過去如何在世界中行動的示例。當你真正走進世界、親自去做事情時，並不會有人告訴你“你原本應該怎麼做”。

沒有經驗，智能就無從談起：你無法判斷什麼比什麼更好，因為沒有獎勵就沒有目標；而大語言模型並沒有目標。你也無法判斷一個預測是對是錯，因為它從不將預測與真實發生的結果進行對照，於是也就不存在“真理”的概念。

但一旦有了經驗，有了互動和由此產生的資料，目標就變得非常清晰：獲取獎勵；而“真理”的概念也隨之出現，那是一種基於預測的真理。你做出預測，然後觀察真實發生的結果，看看預測是否成立。

這正是經驗式方法所帶來的能力。我認為，這條路徑正在變得越來越普遍、也越來越重要。回顧過去大約十年的發展，我們可以大致將其劃分為三個階段。最早的是“模擬時代”，我們從模擬環境中獲取經驗，比如AlphaGo、Atari遊戲。隨後進入的是更近一些的“人類資料時代”，也就是以大語言模型為代表的階段。當然這種劃分並不完全精確。我們已經看到，人們對大語言模型的狂熱正在逐漸轉化為對其侷限性的清醒認知。

現在我們正邁入第三個階段：“智能體系統”的階段，讓模型和智能體真正使用電腦、在現實世界中行動。我把這一階段稱為“經驗時代”。在我看來，它將把我們帶向一種超越人類的能力——這種能力不再只是模仿人類、受限於人類本身，而是真正能夠超越人類。

好，先總結一下關於AI發展趨勢的第一個要點：AI終於開始轉向從經驗中學習了。

要知道，艾倫·圖靈在1947年就已經設想過這條道路，而那已經是很久以前的事情了。直到今天，我們才真正開始去做這件事，而不是繼續完全依賴人類輸入。這種轉變將帶來更強大的能力，因為它意味著持續學習新的東西。

AI遠沒有進入“主場時刻”

儘管當下充滿炒作，甚至伴隨著某種恐慌情緒，但我並不認為當前的AI已經強大到不可思議的程度。它在很多方面仍然脆弱、不可靠；但與此同時，它也極其有用，已經點燃了一個完整的產業，創造了巨大的經濟價值，而且幾乎人人都可以使用。這種普及性讓公眾感到興奮，也促使人們開始認真思考：有一天，機器是否可能擁有與人類相當的能力。

在某種程度上，它是通過製造恐懼引發這種關注的，人們未必真的需要害怕，但確實應該保持關注。至少，它成功地讓所有人開始正視這個問題，這本身是一件好事。

不過，我們還遠沒有進入所謂的“主場時刻”。儘管存在各種誇大的說法，我們並沒有真正到達創造超級智能AI、或“超級智能增強人類”的階段。一旦那一刻到來，它將是一件非同尋常的大事，會帶來極其深遠的變化。

AI應該是去中心化的，不應集中控制

你只要看看當下，就會發現大量關於“控制AI”的呼聲：比如，只允許AI擁有經過人類稽核和授權的目標；呼籲暫停甚至停止AI研究；已經出現了一些法律，用來限制AI可使用的計算能力；以及各種所謂的“安全研究機構”。很多人口中的“安全”，其實真正指的是“控制”。他們通過讓你害怕AI，宣稱它不安全，然後提出應當由他們來掌控。

我們或許也應該對AI抱有某種同理心。現實世界中，同樣存在對言論的控制——你能說什麼、能聽什麼；存在貿易管制和關稅，限制你能在那裡工作；還存在資本管制，以及針對不同國家的經濟制裁。

我的核心觀點是：對AI的集中控制訴求，與對人類的集中控制訴求之間，存在著一種驚人而詭異的相似性。它們都建立在恐懼之上：要害怕AI；要害怕某些國家、某些群體；說你不能信任他們，說他們幾乎不像人，說他們是“壞的”，不愛自己的孩子，不會感到痛苦（笑）。同樣地，人們也在說AI不會感到痛苦。總之，這些論調極其相似，而我認為我們應該警惕並抵制它們。

因為我相信，人類的繁榮，以及人類與AI的共同繁榮，來自於學習，也來自於接受這樣一個事實：我們應當以去中心化的方式與AI協作，而不是依賴龐大的控制型組織。

這些正是我沒有展開的那部分幻燈片所想表達的核心思想。人類在合作方面既非常擅長，也非常糟糕——戰爭正是“不合作”的極端表現。合作並非總是可能，但從經濟交換到社會制度，從政府到市場，世界上幾乎所有美好的事物都源自合作。我們必須主動去尋找、去支援合作。如果我們足夠警覺，就會發現，誰在呼籲不信任、呼籲不合作。而“不合作”的另一面，往往正是集中控制。我認為，我們應該抵制這種傾向。這也是理解人類與AI互動問題的一種重要視角。以上就是我非常簡略的政治看法。

不應害怕AI，因為是人類在創造它

接下來，我確實想談談AI的哲學問題。AI正在發生，而且明天會發生得更加深入。那麼，我們究竟該如何看待它？我想提出一個最根本、也最困難的問題：它究竟是好是壞？我們是否應該害怕它？它會奪走我們的工作，讓我們變得多餘嗎？還是說，我們會成為AI的一部分——成為被技術放大和增強的人類？AI是入侵者，還是我們的“孩子”？我們會為它哀嘆，還是為它慶祝？它是“我們”，還是“不是我們”？我認為，這正是最根本的問題。

我希望大家首先意識到，我們經常被要求不要去思考它，而只是被告知應該害怕它們，因為它們“不是我們”，像是外星來物。但請記住，是我們在創造它們。理解我們的心智，本身就是最具人類特質的行為。

那麼，該如何思考呢？

你們大概已經能看出我的立場。這並不是什麼“外星科技”，而是人類自古以來一直在做的事情。幾千年來，我們始終在嘗試理解自己：理解人類的智能，理解心智如何運作，以及如何讓我們的心智運作得更好。這是一項極其宏大的追求——理解我們自身。

我很喜歡庫茲韋爾的一句話：智能是宇宙中最強大的現象，而我們正是它最好的例子，因此我們理應去理解它。這是一件極其重要的事情。理解智能，幾乎是科學的“聖盃”，也是人文學科的“聖盃”。這是一個偉大而光輝的目標，作為學者和思考者，我們應該享受它、慶祝它，並努力推動它向前發展。

人類正在走向被AI繼任的過程

不過，先暫時放下“我們是否希望它發生”“如果發生會不會很可怕”這些價值判斷。讓我們只做一件事：預測它將如何發生。我提出幾條“現實主義的AI預判原則”，有點類似約翰·米爾斯海默在討論現實主義地緣政治時的思路。

我們只談現實：什麼是真正會發生的？那些事情是我們無法完全控制的？

第一，關於“世界應該如何運轉”，並不存在共識。多種意識形態並存，沒有那一種觀點佔據絕對主導；宗教之間同樣彼此不一致；不存在一個能夠壓倒其他所有立場的統一世界觀。

第二，總有一天，人類會對智能有足夠深入的理解，深入到可以用技術去創造它，而且我們一定會這麼做，至少其中一部分人一定會。

第三，這一過程不會停留在當代人類智能的水平上，而是會很快遠遠超越它。我們將面對超級智能的存在，無論它們是否被稱為“人”。

第四，隨著時間推移，權力和資源往往會流向更智能的存在。

把這四點放在一起，我們會看到一幅清晰的圖景：人類正走向被AI 繼任的過程。我認為這是一個合理的判斷。但我們也必須意識到，這種說法本身是高度以人為中心的。我們總是在關心“我們會變成什麼樣”。或許，我們需要稍微退後一步，從更宏觀的視角來看待這一切：宇宙如何看待這一過程？它在整個宇宙的演化中扮演著怎樣的角色？

宇宙的四個偉大時代

接下來，我要把視角拉得非常宏大了（笑）。我想從宇宙的尺度來談一談所謂的“四個偉大時代”。

第一個是粒子的時代：大爆炸之後，宇宙中幾乎連原子都不存在。隨後，物質坍縮形成恆星，我們進入恆星時代。恆星形成、升溫、爆炸，並在這一過程中合成更重的元素。接著，當有了更重的原子和行星之後，生命才得以出現。我把這一階段稱為“複製者的時代”，而不是簡單地稱為“生命時代”。

我認為，這個“綠色時代”真正特殊之處在於：出現了能夠複製自身的存在。它們未必理解任何事情，但卻能夠製造自己的副本。就像我們自己，並不真正理解身體如何運作，不理解器官、大腦或智能如何產生，卻仍然能夠創造出更多智能體——我們生育孩子，並將他們撫養成人。

這便引出了宇宙的第四個偉大時代：技術與創造之物的時代，我稱之為“設計的時代”。在這個時代，事物不再只是通過複製而存在，而是先存在於某個複製者的心智之中，然後才進入現實世界。你環顧這座禮堂，建築在被建造之前就已經被設計出來；椅子、你穿的衣服，幾乎所有東西都是如此——它們先存在於某個人的頭腦中，然後才成為現實。

唯一的例外是人類本身：人是通過複製而來的，而不是先以設計的形式存在於世界之中，只是最初存在於父母的想像裡。

正因為如此，我更願意把這兩個階段稱為“複製的時代”和“設計的時代”。將它們簡單稱為“生命時代”和“機器時代”已經過時，而且容易誤導——因為我們的機器正變得越來越像生命，而我們也越來越多地將生命理解為一種生物機器。

機器與生物的區別：複製和設計

那麼，真正的區別是什麼？

真正的區別在於：生物體是在沒有任何心智理解其自身運作方式的情況下被創造出來的。它們幾乎像複印機一樣被覆製出來，所以說你並沒有“創造”那幅圖像，只是複製了一份。

技術機器則不同。它們首先存在於某個心智之中，也就是設計者的想像裡，隨後才在現實世界中被製造出來。因此，它們是被“設計”出來的。一個非常重要的區別在於，被設計的事物更容易發生變化，也更容易被持續改進。這正是我使用這些術語的原因。從這個角度來思考問題，其實相當有啟發性。

接下來，我們可以借助這些概念做一個簡單的思考練習。我們會發現，許多非人類的複製者在某種程度上同時也是設計者。比如，動物會築巢、打洞，人類會建造房屋；許多動物還會製造工具，例如黑猩猩會把樹枝剝去外皮來釣白蟻，烏鴉會把樹葉加工成細條來釣蛆蟲。當然，人類會製造石斧，那是我們最早、也是最重要的工具。隨後出現了農業用的犁，再往後是電腦、宇宙飛船、工廠和軟體，其中很多本身就是“製造其他工具的工具”。

人類的特殊之處：把設計推向極致

在這一基礎上，我們或許可以回到最初提出的那個問題：人類是什麼？我們是誰？我們在宇宙中扮演著怎樣的角色？也許，我們可以儘量保持冷靜，不過分自大，也不過分強調自身的重要性來回答這些問題。

我們都隱約意識到，人類是特殊的。我們不僅只是一種複製者，而是一種非常特殊的複製者。我此前已經暗示過這種特殊性所在：我們把“設計”這一能力推進到了前所未有的高度。我們本身是通過複製而來的，我們自己就是複製者；但與此同時，我們也具備設計能力，並且將這種能力發展到了遠遠超過任何其他複製者的程度。

那麼，如果把“設計”這一能力推到極限，會意味著什麼？

如果把它徹底走到盡頭，會出現怎樣的結果？在我看來，把設計推到極限，意味著設計出那些本身也具備設計能力的存在。換句話說，我們在自己的頭腦中設計出一些事物，而這些事物本身，也能夠在它們自己的頭腦中進行設計。它們擁有心智。

這正是我們在AI上正在做的事情。我們正在完成這個偉大的時代——也是最後一個時代。因此，我認為，人類至少是這個時代的催化劑、接生婆，或者說奠基者：我們促成了“設計時代”的到來，也就是宇宙的第四個偉大時代。這就是我們的角色，一個重要的角色，一個具有普遍宇宙意義的角色。

總結：AI是宇宙發展的必然，我們該為此自豪

最後，我想簡要總結一下我的三條核心資訊，包括剛才那一條我講得相對較快的觀點。

第一，當下的AI也就是2020年代的AI，仍然處在“人類資料的時代”。它已經表現得非常出色，也非常強大；但我們正在進入一個新的“經驗時代”，而這一階段將更加強大，因為它能夠持續學習新的事物。

第二，在政治層面，當下圍繞AI的政治討論，實際上是人類自身政治的對應。在所有情況下，我們都應當追求去中心化的協作，而不是中心化的控制。

第三，在哲學層面，我認為AI是宇宙發展過程中不可避免的下一步。我們應當以勇氣、自豪感和冒險精神去擁抱它。

感謝大家的時間。 (51CTO技術堆疊)