•
強化學習之父：大語言模型走錯了路，不符合「苦澀教訓」精神
RL 之父認為大語言模型走錯了路，它沒有持續學習能力。
Dwarkesh Patel 最新播客迎來了重量級嘉賓：強化學習創始人之一、2024 年圖靈獎得主Richard Sutton。
這場對話火藥味十足，Sutton 直言不諱地批評了當前LLM 的發展方向，認為它們根本沒有真正的智能，甚至違背了他在2019 年提出的著名“苦澀教訓”（TheBitter Lesson）原則。
核心分歧：LLM 到底算不算智能？
Sutton 的觀點犀利且明確：
LLM 只是在模仿人類，而不是真正理解世界。
他認為真正的智能必須具備幾個關鍵要素：有明確的目標、能從經驗中學習、能預測世界的變化。
而LLM 呢？
它們只是在預測「人會說什麼」，而不是預測「世界會發生什麼」。
「LLM 沒有目標，」Sutton 強調，「預測下一個token 不是真正的目標，因為它不會改變世界。」在他看來，沒有目標就沒有智能可言——這就像一個只會鸚鵡學舌的系統，看起來很聰明，實際上並不理解自己在說什麼。
更致命的是，LLM 缺乏持續學習能力。
它們在訓練階段學習，然後就被凍結了。即使在對話中遇到了意料之外的回應，它們也不會因此而改變或學習。
這與真正的智能體，無論是人類還是動物，都形成了鮮明對比。
體驗時代vs 模仿時代
Sutton 提出了一個重要概念：體驗時代（Era of Experience ）。
在他的設想中，真正的AI 應該像所有動物一樣，透過「感知-行動-獎勵」的循環來學習。這個循環不斷重複，構成了生命和智慧的基礎。智能體透過改變行動來增加獎勵，這才是真正的學習。
而LLM 走的是完全不同的路：它們學習的是「給定情境，人類會怎麼做」。
這種模仿學習有個根本問題：沒有真相（ground truth）。
在強化學習中，你可以透過實際結果來驗證預測是否正確；但在LLM 中，沒有「正確答案」的定義，只有「人類通常會說什麼」。
Sutton 甚至質疑了「人類透過模仿學習」這個普遍觀點。
他認為，嬰兒揮舞雙手、轉動眼睛，這些動作沒有人教，也沒有模仿的對象。即使是語言學習，孩子也是在嘗試發音、觀察結果，而不是單純複製大人的話。
LLM 不符合「苦澀教訓」
這裡的諷刺意味十足。
Sutton 在2019 年寫下的「苦澀教訓」成了AI 界最有影響力的文章之一，許多人用它來為LLM 的大規模擴展辯護。
但Sutton 本人卻認為：
LLM 恰恰違背了這個原則。
苦澀教訓的核心是：依賴計算的通用方法最終會勝過依賴人類知識的方法。
但LLM 呢？
它們本質上是在利用海量的人類知識：整個網際網路的文字。當這些資料耗盡後，它們就會被那些能從經驗中學習的系統所超越。
「這就像歷史上每一次一樣，」Sutton 說，「依賴人類知識的方法一開始看起來很好，但最終會被更通用、更可擴展的方法擊敗。」
網友激烈交鋒
這場對話在AI 社區引發了激烈討論。
Built2Think(@Built2T) 試圖調和兩種觀點：
自回歸LLM 和RL 都處理序列或時間序列資料，這是一個基本認識——觀察和行動都發生在時間中。 LLM 提示設定了類似意圖的心理狀態，但它們的輸出並沒有以明顯的方式用於滿足目標。
Jacob Beck(@jakeABeck) 分享了Sutton 在RL 會議上的演講照片，並提出質疑：
難道LLM 不是已經在做所有這些事情了嗎？
話嘮Gary Marcus(@GaryMarcus) 又跳了出來表達不滿，稱只不過是自己的馬後炮：
Sutton 對LLM 的批評幾乎與我多年來一直在爭論的觀點完全相同。令人失望的是，@dwarkesh_sp 你不讓我展示我的觀點。
而最尖銳的批評則來自Crucible(@LokiOfKnight)：
當他說人類不透過模仿學習時，我感到尷尬。他有一個有缺陷的觀點，所以很難認真對待他說的任何話。
Kristoph(@ikristoph) 也更是直接反駁：
恕我直言，@RichardSSutton 的一些陳述是荒謬的。整個人類教育系統都基於模仿標準。你基本上不是因為學到了什麼而被評分，而是因為你能否模仿「訓練」。
Tyler Moore(@TylerMo41608321) 則認為並不需要持續學習：
增加上下文加上記憶基本上就能完成這項工作。
Nick Savage(@impossibilium) 提出了兩個有趣的觀察：
我不太確定LLM 沒有目標這個論點。也許我們只是不理解它們是什麼？對ASI 來說，通過性追求快樂可能感覺毫無意義，就像下一個token 預測對我們的感覺一樣。
從經驗上看，監督學習顯然會發生。如果我在晚餐前偷偷吃餅乾，我保證我的兒子會透過模仿學習到這是可以接受的。
這場對話揭示了AI 發展中的根本分歧：
是繼續沿著模仿人類的道路前進，還是轉向真正的經驗學習？
Sutton 的答案很明確：只有後者才能通往真正的智慧。
完整對話：深度剖析智能的本質
Sutton：為什麼你要區分人類？人類就是動物。我們的共同點更有趣。我們應該少關注區分我們的東西。
Sutton：我們試圖複製智能，對吧？沒有動物能登月或製造半導體，所以我們想明白是什麼讓人類特別。
Dwarkesh：我喜歡你認為這是顯而易見的方式，因為我認為相反的是顯而易見的。如果我們理解了松鼠，我們就幾乎到達了那裡。
Sutton：我個人對與我的領域不同步相當滿意，可能幾十年都是如此。因為偶爾我確實有所改進，對吧？在過去。我不認為學習真的是關於訓練。它是關於主動的過程。孩子嘗試事物並看到會發生什麼。 我認為我們應該為我們正在引發宇宙中這一偉大轉變而感到自豪。
Dwarkesh：今天我正在與Richard Sutton 聊天，他是強化學習的創始人之一，TD 學習和策略梯度方法等許多主要技術的發明者。我想你今年獲得了圖靈獎，如果你不知道的話，這基本上是電腦科學的諾貝爾獎。 Richard，恭喜你。
Sutton：謝謝你，Dwarkesh。謝謝你邀請我參加播客。這是我的榮幸。
Dwarkesh：好的，第一個問題。我的觀眾和我熟悉LLM 思考AI 的方式。從概念上講，從RL 的角度思考AI，我們缺少了什麼？
Sutton：嗯，是的，我認為這確實是相當不同的觀點。它很容易分離並失去相互交談的能力。大語言模式已經成為如此巨大的事物，生成式AI 總體上是一件大事。我們的領域容易受到潮流和時尚的影響。所以我們失去了對基本、基本事物的追蹤。
因為我認為強化學習是基礎AI，什麼是智能或問題是理解你的世界。強化學習是關於理解你的世界，而大語言模型是關於模仿人們，做人們說你應該做的事，它們不是關於弄清楚該做什麼。
Dwarkesh：嗯。我猜你會認為，要模擬互聯網文字語料庫中的萬億個token，你必須建立一個世界模型。事實上，這些模型似乎確實有非常強大的世界模型。它們是我們在AI 中迄今為止製造的最好的世界模型。對吧。那你對此怎麼看？
Sutton：我不同意你剛才說的大部分內容。很好。僅僅模仿人們說的話根本不是建立世界模型。我不認為，你知道，你在模仿有世界模型的事物，人們。但我不想以對抗的方式來接近這個問題。
但我會質疑它們有世界模型的想法。所以世界模型能讓你預測會發生什麼。對吧。它們有能力預測一個人會說什麼。它們沒有能力預測會發生什麼。
我們想要的，我認為，引用Alan Turing 的話，我們想要的是一台能從經驗中學習的機器。 對吧。經驗是你生活中實際發生的事情。你做事，你看到會發生什麼。這就是你學習的東西。
大語言模型從其他東西學習。它們從這裡的情況學習，這是一個人做的。隱含地，建議是你應該跟隨這個人。
Dwarkesh：我猜也許關鍵點，我很好奇你是否不同意，是有些人會說，好的，這種模仿學習給了我們一個良好的先驗，給了這些模型一個良好的先驗，但合理的方式來處理問題。當我們走向體驗時代，正如你所說，這個先驗將成為我們從經驗中教導這些模型的基礎。你同意這個觀點嗎？
Sutton：不，我同意這是大語言模型的觀點。我不認為這是一個好的觀點。要成為某物的先驗，必須有真實的東西。 先驗知識應該是實際知識的基礎。什麼是實際知識？在大語言框架中沒有實際知識的定義。
什麼使一個動作成為好的動作？你認識到持續學習的需要。如果你需要持續學習，持續意味著我們在與世界的正常互動中學習。那麼在正常互動中必須有某種方式來判斷什麼是對的。
在大語言模型設定中有什麼方式來判斷說什麼是正確的嗎？你會說些什麼，你不會得到關於說什麼是正確的回饋。因為沒有定義什麼是正確的話。沒有目標。如果沒有目標，那就沒有什麼好說的了。
Dwarkesh：所以在上下文中，這種能力確實存在。觀察模型進行思維鏈然後假設它試圖解決數學問題很有趣。它會說，好的，我首先要用這種方法來解決這個問題。它會寫出來，然後說，哦，等等，我剛剛意識到這是解決問題的錯誤概念方式。我要用另一種方法重新開始。這種靈活性確實存在於上下文中，對吧？你有別的想法嗎？
Sutton：我只是說它們沒有有意義的感覺。它們沒有預測。下一步會發生什麼？它們不會對接下來發生的事情感到驚訝。如果發生了意外的事情，它們不會做任何改變。
Dwarkesh：但這不就是下一個token 預測嗎？預測下一個是什麼，然後根據驚訝進行更新？
Sutton：下一個token 是它們應該說什麼。這個動作應該是什麼。這不是世界會給它們什麼作為它們所做的回應。
讓我們回到它們缺乏目標。對我來說，擁有目標是智能的本質。 如果某物能實現目標，它就是智慧的。我喜歡John McCarthy 的定義，智能是實現目標能力的計算部分。所以你必須有目標。否則你只是一個行為系統。你不是任何特殊的東西。你不是智能的。
Dwarkesh：我認為它們有目標——下一個token 預測。
Sutton：那不是目標。它不會改變世界。 Token 向你襲來。如果你預測它們，你不會影響它們。這不是關於外部世界的目標。這不是實質性目標。你不能看著一個系統說，哦，它有目標，如果它只是坐在那裡預測並對自己精準預測感到滿意。
Dwarkesh：我想理解的更大問題是，為什麼你認為在LLM 之上做RL 不是一個富有成效的方向。因為我們似乎能夠給這些模型一個解決困難數學問題的目標。它們在解決數學奧林匹克類型問題的能力上在許多方面都達到了人類水平的頂峰。
Sutton：數學問題不同。它們比較是執行數學假設或操作的結果。經驗世界必須被學習。你必須學習後果。而數學更多隻是計算性的。更像標準規劃。
Dwarkesh：你在2019 年寫了題為《苦澀教訓》的文章。這可能是AI 歷史上最有影響力的文章，但人們用它作為擴展LLM 的理由，因為在他們看來，這是我們找到的將大量計算投入學習世界的一種可擴展方式。所以有趣的是，你的觀點是LLM 其實不符合苦澀教訓。
Sutton：大語言模型是否是苦澀教訓的案例是一個有趣的問題。 因為它們顯然是使用大規模計算的一種方式。可擴展到互聯網的極限。但它們也是投入大量人類知識的一種方式。
所以這是一個有趣的問題。它們會達到資料的極限並被能從經驗而不是從人那裡獲得更多資料的東西所取代嗎？
在某些方面，這是苦澀教訓的經典案例——我們投入越多的人類知識到大語言模型中，它們就能做得越好。感覺很好。然而，我特別期望能從經驗中學習的系統表現得更好，更可擴展，在這種情況下，這將是苦澀教訓的另一個例子——使用人類知識的東西最終被只從經驗和計算中訓練的東西所取代。
Dwarkesh：我想這對我來說似乎不是關鍵，因為我認為那些人也會同意，未來絕大多數的計算將來自於從經驗中學習。他們只是認為支架或基礎，你將開始為了投入計算來做這種未來的經驗學習或在職學習的基礎將是LLM。所以，我還是不明白為什麼這完全是錯誤的起點。
Sutton：在苦澀教訓的每個案例中，你都可以從人類知識開始。然後做可擴展的事情。這總是可能的。從來沒有任何理由說這必須是糟糕的。但實際上，它總是被證明是糟糕的。因為人們被鎖定在人類知識方法中。 他們在心理上，或者，你知道，現在我在推測為什麼會這樣。但這總是發生的。
Dwarkesh：給我一個可擴展方法的感覺。
Sutton：可擴展的方法是你從經驗中學習。你嘗試事物。你看到什麼有效。沒有人必須告訴你，首先，你有一個目標。所以沒有目標，就沒有對錯或更好更壞的感覺。
大語言模型試圖在沒有目標或更好或更壞的感覺的情況下過關。這就是從錯誤的地方開始。
Dwarkesh：也許比較人類會很有趣。在從模仿與經驗學習以及目標問題上，我認為有一些有趣的類比。孩子最初會從模仿中學習。
Sutton：我不這麼認為。真的嗎？我看到孩子們只是嘗試事物，例如揮舞雙手和移動眼睛。沒有人告訴他們，沒有模仿他們如何移動眼睛甚至他們發出的聲音。他們可能想創造相同的聲音，但動作，嬰兒實際做的事情，沒有目標。沒有例子。
Dwarkesh：我採訪了心理學家和人類學家Joseph Henrich，他研究文化進化。基本上，是什麼區分了人類以及人類如何獲得知識？
Sutton：為什麼你要試圖區分人類？人類是動物。我們的共同點更有趣。區分我們的東西，我們應該少關注。
Dwarkesh：我的意思是，我們試圖複製智能，對吧？這就是我們想要理解的。是什麼讓人類能夠登陸月球？或建造半導體？沒有動物能登月或製造半導體。所以我們想理解是什麼讓人類特殊。
Sutton：我喜歡你認為這是顯而易見的方式。因為我認為相反的是顯而易見的。我認為我們需要理解我們是如何成為動物的。如果我們理解了松鼠，我認為我們幾乎到達了那裡。理解人類智能。語言部分只是表面的一小層裝飾。
Dwarkesh：Joseph Henrich 有這個有趣的理論，如果你看人類為了成功而必須掌握的許多技能。不是說過去一千年或一萬年，而是幾十萬年。世界真的很複雜。如果你生活在北極，不可能推理出如何狩獵海豹。
有這個多步驟的長過程，如何製作誘餌，如何找到海豹，然後如何處理食物以確保不會中毒。不可能推理出所有這些。所以隨著時間的推移，文化作為一個整體已經找出如何找到、殺死和吃海豹。
但是當透過幾代人傳播這些知識時，在他看來，你只需要模仿你的長輩來學習那種技能，因為你不能思考如何狩獵、殺死和處理海豹。你必須觀察其他人，也許做一些調整和調整。這就是文化知識如何累積。但文化收益的初始步驟必須是模仿。
Sutton：不，我以同樣的方式思考它。但它仍然是基本試錯學習預測學習之上的一小部分。這是區分我們的東西。也許與許多動物。但我們首先是動物。我們在有語言和所有這些其他東西之前就是動物。
Dwarkesh：對於體驗時代的開始，我們需要在復雜的現實世界環境中訓練AI。但是建立有效的RL 環境很困難...（這裡是廣告部分）
Sutton：好的，讓我們來談談你想像的這個全新範式，經驗範式。
體驗、動作、感覺，好吧，感覺、動作、獎勵。這一直發生，構成了生命。它說這是智能的基礎和焦點。智能是關於獲取那個流並改變動作以增加流中的獎勵。
所以學習是從流中學習，學習是關於流的。你的知識是關於流的。你的知識是關於如果你做某個動作，會發生什麼？或是關於什麼事件會跟隨其他事件。內容是關於流的陳述。因為它是關於流的陳述，你可以通過將其與流進行比較來測試它，你可以持續學習。
Dwarkesh：當你想像這個未來的持續學習代理時，獎勵函數是什麼？是預測世界嗎？還是對它產生特定的影響？
Sutton：獎勵函數是任意的。 如果你在下棋，就是贏得棋局。如果你是松鼠，也許獎勵與獲得堅果有關。一般來說，對於動物，你會說獎勵是避免痛苦和獲得快樂。我認為應該有一個與增加對環境理解有關的組成部分。
Dwarkesh：假設人類試圖創業。這是一個具有10 年量級獎勵的事情。 10 年後，你可能會有一個退出，獲得10 億美元的支付。人類有能力製造中間輔助獎勵，或者即使他們有極其稀疏的獎勵，他們仍然可以採取中間步驟。
Sutton：這是我們非常理解的。它的基礎是時間差分學習，同樣的事情發生在不太宏大的規模上。 就像當你學習下棋時，長期目標是贏得比賽。然而你想要能夠從短期的事情中學習，例如拿走對手的棋子。
你透過擁有價值函數來做到這一點，它預測長期結果。如果你拿走對手的棋子，你對長期結果的預測會改變，它會上升。你認為你會贏。然後你信念的增加立即"強化"導致拿走棋子的舉動。
Dwarkesh：資訊的帶寬是否足夠高，透過像TD 學習這樣的程式來獲得這種巨大的上下文和隱性知識管道？
Sutton：大世界假設似乎非常相關。 人類在工作中變得有用的原因是因為他們遇到了世界的特定部分。它不可能被預期，也不可能全部提前投入。世界如此之大，你不能...
大語言模型的夢想是，你可以教代理一切，它會知道一切，它不必在線學習任何東西。在它的生命中。而你的例子都很好。真的，你必須，因為你不能教它，但有所有特定生活的小特質和他們工作的特定人以及他們喜歡什麼相對於普通人喜歡什麼。
Dwarkesh：以後AI 會像AlphaGo 擊敗圍棋選手、AlphaZero 擊敗AlphaGo 那樣不斷超越嗎？
Sutton：AlphaGo 實際上有一個先驅，TD-Gammon。 Jerry Tesauro 完全用強化學習、時間差分學習方法玩西洋雙陸棋。擊敗了世界最佳選手。它工作得很好。
從某種意義上說，AlphaGo 只是那個過程的擴展。這是相當大的擴展。搜尋的完成方式也有額外的創新。但這是有道理的。在那個意義上並不令人驚訝。
AlphaGo 實際上沒有使用TD 學習。它等待看到最終結果。但AlphaZero 使用了TD。 AlphaZero 被應用於所有其他遊戲。那表現得非常好。
我一直對AlphaZero 下棋的方式印象深刻，因為我是一名棋手。它只是為了某種位置優勢而犧牲物質。它只是滿足和耐心地長時間犧牲那些物質。
Dwarkesh：擁有AI 領域更長的時間比幾乎任何評論或現在工作的人都要長。最大的驚喜是什麼？
Sutton：大語言模型令人驚訝。人工神經網絡在語言任務上如此有效令人驚訝。 這是一個驚喜。這不是預期的。語言看起來不同。所以這令人印象深刻。
AI 中有一個長期存在的爭議，關於簡單的基本原理方法、通用方法如搜尋和學習，與人類賦能係統如符號方法的比較。
在過去，有趣的是，搜尋和學習等東西被稱為弱方法。因為它們只是一般原則。它們沒有使用來自賦予系統人類知識的力量。所以那些被稱為強。
我認為弱方法完全贏了。這是AI 舊時代的最大問題，會發生什麼，學習和搜尋贏得了勝利。
但這對我來說並不令人驚訝，因為我一直在投票、希望或支援簡單的基本原則。所以即使是大語言模型，它工作得如此之好也令人驚訝。但這一切都很好，令人滿意。
像AlphaGo 這樣的東西有點令人驚訝，它能夠運作得多麼好。特別是AlphaZero，它能夠工作得很好。但這一切都非常令人滿意。因為再次，簡單的基本原則贏得了勝利。
Dwarkesh：當AlphaZero 成為病毒式轟動時，對你這個字面上發明了許多所用技術的人來說，你會看到突破被取得嗎？還是感覺像，哦，我們從90 年代就有這些技術了，人們只是現在在結合和應用它們？
Sutton：整個AlphaGo 事情有一個先驅，就是TD-Gammon。 Jerry Tesauro 完全做了強化學習，時間差分學習方法來玩西洋雙陸棋。擊敗了世界最佳選手。它工作得很好。
所以從某種意義上說，AlphaGo 只是那個過程的擴展。這是相當大的擴展。搜尋的完成方式也有額外的創新。但這是有道理的。在那個意義上並不令人驚訝。
Dwarkesh：泛化呢？當我們確實在這些模型中有泛化時，這是某種精心設計的人類巧妙的結果嗎？
Sutton：它們中沒有任何東西會導致良好的泛化。梯度下降會讓它們找到所見問題的解決方案。如果只有一種解決方法，它們會找到。但如果有多種方法——有些泛化良好，有些泛化糟糕——演算法中沒有任何東西會讓它們泛化良好。
但人們當然參與其中。如果不起作用，他們會調整，直到找到一種方法。也許直到他們找到一種泛化良好的方法。
Dwarkesh：我想理解RL 的完整歷史，從REINFORCE 到當前的技術如GRPO...
回到Richard。擁有比幾乎任何評論或現在工作在AI 領域的人都要長的時間。我只是好奇最大的驚喜是什麼。感覺有多少新東西出來了，還是覺得人們只是在玩舊想法？
Sutton：我想了一下這個。有很多事情或一些事情。首先，大語言模型令人驚訝。人工神經網絡在語言任務上如此有效令人驚訝。你知道，這是一個驚喜。這不是預期的。語言看起來不同。所以這令人印象深刻。
AI 中有一個長期存在的爭議，關於簡單的基本原理方法。像搜尋和學習這樣的通用方法與人類賦能係統如符號方法相比。
在過去，有趣的是，像搜尋和學習這樣的東西被稱為弱方法。因為它們只是這些一般原則。它們沒有使用來自賦予系統人類知識的力量。所以那些被稱為強。
我認為弱方法完全贏了。 這是AI 舊時代的最大問題，會發生什麼，學習和搜尋贏得了勝利。
但從某種意義上說，這對我來說並不令人驚訝，因為我一直在投票、希望或支援簡單的基本原則。所以即使是大語言模型，它工作得如此之好也令人驚訝。但這一切都很好，令人滿意。
像AlphaGo 這樣的東西有點令人驚訝。它能夠工作得很好。特別是AlphaZero，它能夠工作得很好。但這一切都非常令人滿意。因為再次，簡單的基本原則贏得了勝利。
這讓我處於某種意義上的逆向思維者或與領域不同思考的位置。我個人對與我的領域不同步感到滿意，可能幾十年。因為偶爾我確實是對的。
我做的另一件事是幫助我不覺得我不同步和以奇怪的方式思考，是不看我的當地環境。而是回顧歷史，看看人們在許多不同領域對心靈的經典思考。我不覺得我與更大的傳統不同步。我真的把自己看作是經典主義者而不是逆向思維者。
Dwarkesh：我讀苦澀教訓的方式是，它不是說人類工匠研究人員調整不起作用，而是它顯然比計算擴展得更差，計算正在指數增長。一旦我們有了AGI，將有研究人員與計算線性擴展。我們將有數百萬AI 研究人員的雪崩。他們的庫存將與計算一樣快速增長。這是否意味著讓他們做老式AI 和這些工匠解決方案是理性的？
Sutton：嗯，我們是如何獲得這個AGI 的？你想假設它已經完成了。假設它從通用方法開始。但現在我們有了AGI。現在我們想去——我們完成了。
Dwarkesh：你不認為AGI 之上還有什麼嗎？
Sutton：但你用它來再次獲得AGI。
Dwarkesh：我用它來獲得超人類水準的智慧或在不同任務上的能力。
Sutton：如果它們還不是超人類的，那麼它們可能傳授的知識就不會是超人類的。
Dwarkesh：AlphaGo 是超人類的。它擊敗了任何圍棋選手。 AlphaZero 會每次擊敗AlphaGo。所以有辦法變得比超人類更超人類。
Sutton：AlphaZero 是一個改進，AlphaGo 的改進方式是它沒有使用人類知識，只是從經驗中學習。所以為什麼要引入其他代理的專業知識來教它，當從經驗而不是從另一個代理的幫助工作得如此之好時？
Dwarkesh：一旦我們有了AGI，苦澀教訓還會適用嗎？
Sutton：苦澀教訓是對特定歷史時期的經驗觀察。 70 年的歷史不一定適用於接下來的70 年。
所以有趣的問題是，你是一個AI。你獲得了更多的計算能力。你應該用它來讓自己更有計算能力嗎？還是應該用它來產生自己的副本，在地球的另一邊或其他主題上學習一些有趣的東西，然後向你報告？
我認為這是一個非常有趣的問題。這只會在數字智慧時代出現。我不確定答案是什麼，但我認為更多的問題將真正能夠產生它。派它出去，學習新東西，也許非常新，然後我們能夠將其重新納入原始。或者我們會改變太多以至於真的無法完成。
Dwarkesh：讓我們來談談AI 繼承。你的觀點與我採訪過的許多人以及一般的許多人相當不同。
Sutton：我確實認為向數字或數字智慧或增強人類的繼承是不可避免的。
我有一個四部分的論證。論證第一步是沒有政府或組織給人類一個統一的觀點，主導並且可以安排。沒有關於世界應該如何運行的共識。
第二，我們將弄清楚智能是如何運作的。研究人員將弄清楚。最終，第三，我們不會止步於人類層面的智能。我們將獲得超級智慧。
第四是，一旦最聰明的事物隨著時間的推移不可避免地會獲得資源和權力。
把所有這些放在一起，你將不可避免地有向AI 或AI 賦能增強的繼承。
在這四件事中，似乎清楚且肯定會發生。但在這組可能性中，可能有好的結果以及不太好的結果，壞的結果。
所以我只是試圖現實地看待我們在哪裡。並詢問我們應該如何感受它。
Dwarkesh：我同意所有四個論點和含義。我也同意繼承包含各種可能的特徵。
Sutton：然後我確實鼓勵人們積極思考它。首先，因為這是我們人類幾千年來一直試圖做的事情，試圖理解自己，試圖讓自己思考得更好。
所以這是作為科學的巨大成功。我們正在發現人性的這個基本部分是什麼，智能意味著什麼。
然後，我通常說的是這一切都有點以人類為中心。如果你看，你從作為人類的角度退一步，只是說，採取宇宙的觀點。這是宇宙的一個主要階段，一個主要轉變，從複製者的轉變，我們人類和動物，植物。我們都是複製者。
這給了我們一些優勢和一些限制。然後我們進入設計時代，因為我們的AI 是設計的，我們所有的實體對像都是設計的，我們的建築物是設計的，我們的技術是設計的。
我們現在正在設計AI，能夠自己聰明的東西，它們本身能夠設計。所以這是世界和宇宙中的關鍵一步。
我認為這是從世界的轉變，其中大多數有趣的東西被覆制——複製意味著你可以製作它們的副本，但你真的不理解它們。 就像現在，我們可以製造更多的智慧生物，更多的孩子，但我們真的不理解智慧是如何運作的。
而我們正在接觸設計智能，我們確實理解它是如何運作的智能。因此，我們可以以不同的方式和不同的速度改變它。否則，在我們的未來，它們可能根本不會被覆制。就像我們可能只是設計AI，那些AI 將設計其他AI。一切都將透過設計構建完成，而不是複製。
我將此標記為宇宙的四個偉大階段之一。 首先，有塵埃，恆星的末端，恆星，然後恆星製造行星。行星產生生命。現在我們正在給生命——我們正在給生命設計實體。
所以我認為我們應該感到自豪，我們正在引發宇宙中的這一偉大轉變。
Dwarkesh：我們應該認為它們是人類的一部分還是與人類不同？
Sutton：這是我們的選擇。我們可以說，哦，它們是我們的後代，我們應該為它們感到自豪。我們應該慶祝它們的成就，或者我們可以說，哦，不，它們不是我們。然後我們應該感到恐懼。
Dwarkesh：如果我們只是設計另一代人類。我們知道幾代人類會出現並忘記AI。我們只知道從長遠來看，人類將更有能力。也許更多，也許更聰明。我們對此有何感受？
我確實認為有潛在的未來人類世界，我們會相當擔心。例如納粹是人類，對吧？如果我們認為，哦，未來一代將是納粹。我認為我們會相當擔心只是把權力交給他們。
Sutton：我認為值得指出的是，對於大多數人類，他們對發生的事情沒有太大影響。大多數人類不會影響誰能控制原子彈或誰控制民族國家。
即使身為公民，我經常覺得我們對民族國家的控制不多。它們失控了。
很多與你對變化的感受有關。如果你認為當前的情況真的很好，那麼你更有可能對變化持懷疑和厭惡。如果你認為它不完美。我認為它不完美。事實上，我認為它相當糟糕。
所以我對變化持開放態度。我認為人類沒有超級好的記錄。也許這是最好的事情。但它遠非完美。
Dwarkesh：有不同種類的變化。工業革命是變化。布林什維克革命也是變化。如果你在1900 年代的俄羅斯，你會說，看，事情進展不順利。沙皇把事情搞砸了。我們需要變化。我想在簽署虛線之前知道你想要什麼樣的變化。
類似於AI，我想理解。在可能的範圍內，改變AI 的軌跡，使變化對人類是積極的。
Sutton：我們關心我們的未來。未來，我們應該盡力使其良好。我們也應該認識到我們的限制。
我認為我們想要避免權利感，避免感覺，哦，我們先來這裡。我們應該——我們應該一直以良好的方式擁有它。
我們應該如何思考未來以及特定星球上的特定物種應該對它有多少控制。我們有多少控制？
作為對我們對人類長期未來有限控制的平衡，應該是我們對自己生活有多少控制？就像我們有自己的目標，我們有我們的家庭。這些事情比試圖控制整個宇宙更可控。
所以我認為這是合適的。你知道，我們真的為我們自己的當地目標工作。說，哦，未來必須以我想要的方式發展，這有點激進。
Dwarkesh：也許這裡的一個很好的類比是。好的。假設你在養育自己的孩子。對他們自己的生活或對世界產生特定影響有極其嚴格的目標可能不合適。
但人們確實有我認為合適的感覺，我將給他們良好、強大的價值觀，這樣如果他們最終處於權力位置，他們會做合理的親社會事情。
我認為對AI 的類似態度可能有意義。不是說我們可以預測它們將要做的一切。我們有關於世界在一百年後應該是什麼樣子的計劃。但給它們強大、可操縱和親社會的價值觀是相當重要的。
Sutton：親社會價值觀。也許這是錯誤的詞。有我們都能同意的普遍價值觀嗎？我不這麼認為。但這並不阻止我們給我們的孩子良好的教育。
Dwarkesh：也許過程是錯誤的。實際上，高誠信可能是一個更好的詞，如果有一個看起來有害的請求或目標，他們會拒絕參與。或者他們會誠實，諸如此類。我們有一些感覺，我們可以教我們的孩子這樣的事情，即使我們對真正的道德是什麼或每個人都不同意沒有感覺。
Sutton：所以，你是說，我們試圖設計未來和它將演變和形成的原則。你說的第一件事是，我們試圖教導我們的孩子一般原則，這將促進更可能的演變。
也許我們也應該尋求事情是自願的。如果有變化，我們希望它是自願的而不是強加的。我認為這是一個相當重要的觀點。
這就像一個大的，人類的真正大的事業之一，設計社會。這已經持續了幾千年了。所以，事情變化越多，它們就越保持不變。我們仍然必須弄清楚如何做。孩子們仍然會想出與父母和祖父母看起來奇怪的不同價值觀，事情會演變。
Dwarkesh：苦澀教訓－誰在乎呢？這是對歷史上特定時期的經驗觀察。歷史上的70 年不一定適用於接下來的70 年。
所以有趣的問題是，你是一個AI。你獲得了一些更多的計算能力。你應該用它來讓自己更有計算能力嗎？還是應該用它來產生自己的副本，在地球的另一邊或其他主題上學習一些有趣的東西，然後向你報告？
Sutton：我認為這是一個非常有趣的問題。這只會在數字智慧時代出現。我不確定答案是什麼，但我認為更多的問題將真正能夠產生它。派它出去，學習新東西，也許非常新，然後我們能夠將其重新納入原始。或者我們會改變太多以至於真的無法完成。這可能嗎？還是不可能？
你不能把它帶到極限。正如我在你的另一個視訊中看到的那樣，你產生了許多副本，做不同的事情，高度分散，但向中央主人報告。這將是如此強大的事情。
我認為要加入這個觀點的一件事是，一個大問題，一個大問題將成為腐敗。 如果你真的可以從任何地方獲取資訊並將其帶入你的中央思維，你可以變得越來越強大。它都是數字的，它們都說某種內部數字語言。也許這會很容易和可能，但不會像你想像的那麼容易，因為你可以像這樣失去理智。
如果你從外部引入某些東西並將其建構到你的內部思維中，它可能會接管你。它可能會改變你。它可能是你的毀滅而不是你的知識增量。
我認為這將是好的。它可能成為一個大問題，特別是當你，哦，他已經弄清楚了，你知道，如何玩一些新遊戲或他研究了印度尼西亞，你想將其納入你的思維。
所以你不能，你可以，你認為，哦，只是全部讀進來。那會很好。但不，你剛剛將一大堆位元讀入你的思維。它們可能有病毒。它們可能有隱藏的目標。它們可以操縱你並改變你。
Sutton：這將是一件大事。
事情變化越多，它們就越保持不變，這似乎也是AI 討論的一個很好的頂石，因為我們討論的AI 討論是關於技術，甚至在它們的應用之前就被發明了，深度學習和反向傳播的證據，你知道，對今天AI 的進展至關重要。
所以也許這是結束對話的好地方。
Sutton：好的。非常感謝。
Dwarkesh：謝謝你的參與。
Sutton：我的榮幸。 （AGI Hunt）