Ilya 大神現身最新採訪，整個採訪持續1個半小時，全文2萬字原汁原味呈現，這是最好的傳達大神思想的方式，不用任何總結，強烈建議收藏逐字反覆閱讀當然為了最快感受大神的思想，我隨便挑了一些重點：Ilya認為當前的方法會“走一段路，然後就走下坡路”，它們會不斷改進，但無法實現通用人工智慧那種行之有效的系統是“我們目前還不知道如何建構的”預計未來幾年將對勞動力市場產生重大影響主要瓶頸：泛化能力。模型在這方面遠遜於人類你可以訓練模型解決所有競技程式設計問題，但模型仍然無法培養出真正的“品味”，而一個青少年大約 10 個小時就能學會開車評估分數看起來很棒，但實際性能卻很差，因為強化學習訓練最終會針對評估本身進行最佳化真正的獎勵駭客是那些設計這些基準和訓練循環的研究人員他說他知道還缺少什麼，但不會公開分享他預測，這種擁有“大陸級算力”的超級智能將在 5 到 20 年內誕生“你知道最瘋狂的是什麼嗎？這一切都是真的，我們生活在科幻中”這句話讓我感同身受在這1個半小時中Ilya 和主持人討論了 SSI（Ilya的超級智能公司） 的戰略、預訓練存在的問題、如何提高 AI 模型的泛化能力，以及如何確保AGI的順利發展正文Ilya Sutskever你知道最瘋狂的是什麼嗎？這這一切都是真實的。Dwarkesh Patel是指什麼？Ilya Sutskever你不覺得嗎？所有這些關於 AI 的事情，整個灣區的現狀……它正在發生。這難道不像是科幻小說裡的情節嗎？Dwarkesh Patel另一件瘋狂的事是，“慢速起飛”（slow takeoff）的感覺是如此平常。以前覺得如果我們把 GDP 的 1% 投入到 AI 中，那感覺會是一件驚天動地的大事，但現在感覺就像是……Ilya Sutskever事實證明，我們適應得很快。而且這也有點抽象。這到底意味著什麼？意味著你在新聞裡看到某某公司宣佈了某某金額的投資。你只能看到這些。到目前為止，還沒有在其他方面真正感受到它。Dwarkesh Patel我們要從這裡開始聊嗎？我覺得這是個有趣的討論。Ilya Sutskever當然。Dwarkesh Patel我認為你的觀點——即從普通人的角度來看，沒什麼太大的不同——甚至在奇點到來時也會繼續成立。Ilya Sutskever不，我不這麼認為。Dwarkesh Patel好吧，這很有趣。Ilya Sutskever我剛才指的“感覺沒什麼不同”，是因為比如某家公司宣佈了一個難以理解的巨額投資數字。我覺得沒人知道這意味這什麼。但我認為 AI 的影響將會被切實感受到。AI 將滲透到整個經濟中。會有非常強大的經濟力量推動這一點，我認為這種影響會被非常強烈地感受到。Dwarkesh Patel你預計這種影響什麼時候會出現？我覺得現在的模型看起來比它們實際產生的經濟影響要聰明得多。Ilya Sutskever是的。這是目前關於模型最令人困惑的事情之一。如何調和“它們在評估測試（evals）中表現如此出色”這一事實？你看那些測試，你會想，“這些題目挺難的。”它們做得很好。但經濟影響似乎大大滯後。很難理解，為什麼模型一方面能做這些驚人的事情，另一方面卻會在某些情況下重複犯錯？舉個例子，假設你用“感覺程式設計”（vibe coding）做點什麼。你做到某一步，然後遇到了一個 bug。你告訴模型：“能不能幫我修一下這個 bug？”模型說：“天那，你太對了。確實有個 bug。讓我來修好它。”然後它引入了第二個 bug。你告訴它：“你有這個新的第二個 bug，”它又告訴你：“天那，我怎麼會這樣？你又說對了，”然後它又把第一個 bug 帶回來了，你就在這兩個 bug 之間來回折騰。這怎麼可能？我不確定，但這確實表明有一些奇怪的事情正在發生。我有兩個可能的解釋。比較異想天開的解釋是，也許強化學習（RL）訓練讓模型變得有點過於一根筋和狹隘，有點過於缺乏意識，即使它在其他方面讓它們變得更有意識。正因為如此，它們無法完成一些基本的事情。但還有另一種解釋。以前人們做預訓練（pre-training）時，“用什麼資料訓練”這個問題是有答案的，因為答案是“所有資料”。當你做預訓練時，你需要所有的資料。所以你不用糾結是用這個資料還是那個資料。但是當人們做 RL 訓練時，他們確實需要思考。他們會說，“好吧，我們要為這個東西做這種 RL 訓練，為那個東西做那種 RL 訓練。”據我所知，所有公司都有團隊專門製作新的 RL 環境，並將其加入到訓練組合中。問題是，那些環境是什麼？自由度太高了。你可以製作的 RL 環境種類繁多。有一件事是可以做的，而且我認為這是無意中發生的，就是人們從評估測試中汲取靈感。你會說，“嘿，我希望我們的模型在發佈時表現得非常好。我想讓評估分數看起來很棒。什麼樣的 RL 訓練能在這個任務上有所幫助？”我認為這種事情確實發生了，這可以解釋很多正在發生的事情。如果你把這一點與“模型的泛化能力實際上並不夠好”結合起來，這就有可能解釋我們看到的許多現象，即評估表現與實際現實世界表現之間的脫節，這是我們今天甚至還沒完全理解其含義的事情。Dwarkesh Patel我喜歡這個觀點，真正的“獎勵駭客”（reward hacking）其實是那些過於關注評估分數的人類研究員。我認為有兩種方式來理解，或者試圖思考你剛才指出的問題。一種是，如果僅僅通過在程式設計競賽中變得超人般強大，模型並不會自動變得更有品味、在改進程式碼庫時表現出更好的判斷力，那麼你就應該擴展環境套件，這樣你就不只是測試它在程式設計競賽中的表現。它還應該能夠為 X、Y 或 Z 製作最好的應用程式。另一種，也許這正是你暗示的，就是問：“為什麼在程式設計競賽中變得超人般強大，卻不能讓你在更廣泛的意義上成為一個更有品味的程式設計師？”也許我們要做的不應該是不斷堆疊環境的數量和多樣性，而是要找到一種方法，讓你能從一個環境中學習，並在其他事情上提高表現。Ilya Sutskever我有一個人類的類比可能會有幫助。讓我們以程式設計競賽為例，既然你提到了。假設有兩個學生。其中一個決定要成為最好的競賽程式設計師，所以他們會在這個領域練習 10,000 小時。他們會解決所有問題，記住所有證明技巧，並且非常熟練地快速正確實現所有演算法。通過這樣做，他們成為了最好的之一。第二個學生想，“哦，程式設計競賽很酷。”也許他們練習了 100 小時，少得多，但他們也做得很好。你認為那一個在以後的職業生涯中會做得更好？Dwarkesh Patel第二個。Ilya Sutskever對。我認為這就是正在發生的事情。現在的模型更像第一個學生，甚至程度更甚。因為我們會說，模型應該擅長程式設計競賽，所以讓我們把有史以來的每一個程式設計競賽問題都拿來。然後我們做一些資料增強，這樣我們就有了更多的程式設計競賽問題，然後我們在這些資料上訓練。現在你得到了這個偉大的競賽程式設計師。用這個類比，我覺得更直觀。是的，好吧，如果它訓練得這麼好，所有不同的演算法和證明技巧都觸手可及。但直覺告訴我們，這種程度的準備並不一定能泛化到其他事情上。Dwarkesh Patel但是，第二個學生在進行那 100 小時的微調之前，他在做什麼？這裡的類比是什麼？Ilya Sutskever我覺得他們有“它”。那種“天賦”因素。我在讀本科的時候，記得有個同學就是這樣，所以我知道這種人是存在的。Dwarkesh Patel我覺得把這種“天賦”與預訓練的作用區分開來很有趣。理解你剛才說的“不需要在預訓練中選擇資料”的一種方式是，這實際上與那 10,000 小時的練習並無二致。只是你免費得到了那 10,000 小時的練習，因為它已經在預訓練分佈中的某個地方了。但也許你是在暗示，實際上預訓練並沒有帶來那麼多的泛化。預訓練中只有海量的資料，但它不一定比 RL 泛化得更好。Ilya Sutskever預訓練的主要優勢在於：A，資料量巨大；B，你不需要費盡心思去想把什麼資料放入預訓練中。它是非常自然的資料，確實包含了很多人們做的事情：人們的思想和很多特徵。它就像是整個世界被人們投射到了文字上，而預訓練試圖利用海量資料來捕捉這一點。預訓練很難推理，因為很難理解模型依賴預訓練資料的方式。每當模型犯錯時，是不是因為某些東西碰巧沒有得到預訓練資料的充分支援？“預訓練支援”也許是個寬泛的術語。我不知道我還能不能補充更多有用的東西。我不認為預訓練有人類層面的類比。Dwarkesh Patel有些人提出過預訓練的人類類比。我很想聽聽你認為它們為什麼可能是錯的。一種是把這看作人生的前 18 年、15 年或 13 年，那時他們不一定有經濟產出，但他們在做一些讓他們更好地理解世界的事情。另一種是把進化看作是進行了 30 億年的搜尋，然後產生了一個人類生命實例。我很好奇你是否認為這些可以類比預訓練。如果不是預訓練，你會如何看待人類的終身學習？Ilya Sutskever我認為這兩者與預訓練之間都有一些相似之處，預訓練試圖扮演這兩者的角色。但我認為也有一些巨大的差異。預訓練的資料量非常非常驚人。Dwarkesh Patel是的。Ilya Sutskever不知何故，一個人即使過了 15 年，接觸到的資料只是預訓練資料的一小部分，他們知道的東西少得多。但無論他們知道什麼，不知何故他們理解得更深。在這個年紀，你就不會犯我們 AI 犯的那種錯誤了。還有一件事。你會說，這可能是像進化一樣的東西嗎？答案是也許。但在這種情況下，我認為進化實際上可能更有優勢。我記得讀過這個案例。神經科學家瞭解大腦的一種方式是研究大腦不同部位受損的人。有些人的症狀奇怪到你無法想像。這真的非常有趣。我想到了一個相關的案例。我讀到過一個人，他的大腦受到某種損傷，中風或事故，導致他的情感處理能力喪失。所以他不再感覺到任何情緒。他仍然非常善於表達，能解決小謎題，在測試中看起來一切正常。但他感覺不到情緒。他不感到悲傷，不感到憤怒，也不感到興奮。不知何故，他變得極不擅長做任何決定。決定穿那雙襪子都要花好幾個小時。他會做出非常糟糕的財務決定。這說明了我們內建的情緒在使我們成為一個可行的智能體方面扮演了什麼角色？聯絡到你關於預訓練的問題，也許如果你足夠擅長從預訓練中獲取一切，你也能得到那個。但這似乎是那種……嗯，從預訓練中獲得那個東西可能是可能的，也可能不可能。Dwarkesh Patel“那個”是什麼？顯然不僅僅是直接的情緒。它看起來像是某種類似價值函數（value function）的東西，它告訴你任何決定的最終回報應該是什麼。你認為這不會從預訓練中隱式地產生嗎？Ilya Sutskever我認為它是可以的。我只是說這不是 100% 顯而易見的。Dwarkesh Patel但這到底是什麼？你怎麼看待情緒？情緒在機器學習（ML）中的類比是什麼？Ilya Sutskever它應該是某種價值函數的東西。但我不認為有一個很好的 ML 類比，因為目前，價值函數在人們做的事情中並沒有發揮非常突出的作用。Dwarkesh Patel如果方便的話，也許值得為觀眾定義一下什麼是價值函數。Ilya Sutskever當然，我很樂意。當人們做強化學習（RL）時，目前的做法是如何訓練這些智能體的？你有一個神經網路，給它一個問題，然後告訴模型，“去解決它。”模型會採取數千甚至數十萬個動作或思考步驟，然後產生一個解決方案。這個解決方案會被打分。然後，這個分數被用來為你軌跡中的每一個動作提供訓練訊號。這意味著，如果你在做一件持續時間很長的事情——如果你在訓練一個需要很長時間才能解決的任務——在你想出提議的解決方案之前，它完全不會進行任何學習。這就是目前天真的 RL 做法。這就是 o1、R1 表面上的做法。價值函數的意思是，“也許有時（不總是）我可以告訴你，你做得是好是壞。”價值函數的概念在某些領域比其他領域更有用。例如，當你下國際象棋丟了一個棋子，我搞砸了。你不需要下完整局棋就知道我剛才做的是壞事，因此導致這一切的前序動作也是壞的。價值函數讓你不必等到最後。假設你在做某種數學或程式設計的事情，你試圖探索一個特定的解決方案或方向。在思考了比如一千步之後，你得出結論這個方向沒有希望。一旦你得出這個結論，你就可以在一千個時間步之前，當你決定走這條路時，就已經得到一個獎勵訊號。你會說，“下次在類似情況下我不應該走這條路”，這早在你真正拿出提議的解決方案之前。Dwarkesh Patel這在 DeepSeek R1 的論文裡提到過——軌跡的空間太廣了，也許很難學習從中間軌跡到價值的對應。而且考慮到，例如在程式設計中，你會有一個錯誤的想法，然後你會回過頭去，改變一些東西。Ilya Sutskever這聽起來像是對深度學習缺乏信心。當然這可能很難，但沒有什麼深度學習做不到的。我的預期是價值函數應該是有用的，我完全預計它們將在未來被使用，如果不是已經在用的話。我提到的那個情感中樞受損的人的例子，更多是暗示也許人類的價值函數在某種重要方面受到情緒的調節，這是進化硬編碼的。也許這對人類在世界上有效行事很重要。Dwarkesh Patel這正是我打算問你的。關於價值函數的情緒有一些非常有趣的地方，那就是它們在如此有用的同時，理解起來卻相當簡單，這令人印象深刻。Ilya Sutskever我有兩個回應。我確實同意，與我們學習的東西以及我們正在討論的 AI 相比，情緒相對簡單。它們甚至簡單到也許你可以用人類可理解的方式將它們繪製出來。我覺得這樣做會很酷。但在實用性方面，我認為存在一種複雜性與魯棒性的權衡，複雜的東西可能非常有用，但簡單的東西在非常廣泛的情況下都非常有用。解釋我們所見現象的一種方式是，我們的情緒大多是從我們的哺乳動物祖先演化而來的，然後在我們成為原始人類時進行了一點微調，只是一點點。不過我們確實有相當數量的社會性情緒，這是哺乳動物可能缺乏的。但它們並不是非常複雜。正是因為它們不複雜，所以在這個與我們一直生活的世界截然不同的世界裡，它們依然能很好地為我們服務。實際上，它們也會犯錯。例如，我們的情緒……其實，我不知道。飢餓算是一種情緒嗎？這有爭議。但我認為，例如，我們直覺上的飢餓感在這個食物充足的世界裡並沒有成功地正確引導我們。Dwarkesh Patel人們一直在談論擴展資料、擴展參數、擴展算力。有沒有更通用的方式來思考擴展（scaling）？還有那些其他的擴展維度？Ilya Sutskever這裡有一個我認為可能是正確的視角。過去機器學習的工作方式是，人們只是修修補補，試圖得到有趣的結果。過去一直都是這樣。然後擴展的洞見出現了。Scaling Laws（擴展定律）、GPT-3，突然之間大家都意識到我們應該進行擴展。這是語言影響思維的一個例子。“Scaling”只是一個詞，但它是一個非常有力的詞，因為它告訴人們該做什麼。他們說，“讓我們試著擴展東西。”所以你會問，我們在擴展什麼？預訓練是要擴展的東西。它是一個特定的擴展配方。預訓練的巨大突破在於意識到這個配方是好的。你會說，“嘿，如果你把一些算力和一些資料混合到一個特定大小的神經網路中，你會得到結果。你知道只要按比例放大這個配方，你就會變得更好。”這也太棒了。公司喜歡這個，因為它提供了一種風險極低的方式來投資資源。投資研究要難得多。比較一下。如果你做研究，你需要說，“去吧研究員們，去研究並想出點什麼來”，對比“獲取更多資料，獲取更多算力”。你知道你會從預訓練中得到東西。確實，根據一些人在推特上的說法，看起來 Gemini 可能已經找到了一種從預訓練中獲得更多收益的方法。但在某個時刻，預訓練的資料會用完。資料顯然是有限的。接下來你做什麼？要麼你做某種增強版的預訓練，一種與以前不同的配方，要麼你做 RL，或者可能是其他東西。但現在算力很大，算力現在非常大，從某種意義上說，我們又回到了研究時代。也許換一種說法。直到 2020 年，從 2012 年到 2020 年，是研究時代。然後，從 2020 年到 2025 年，是擴展時代——也許加減一些誤差範圍——因為人們說，“這太驚人了。你必須擴展更多。繼續擴展。”這一個詞：擴展。但現在規模已經這麼大了。信念真的是“哦，它這麼大，但如果你有 100 倍以上，一切都會變得如此不同”嗎？肯定會有不同。但信念是只要把規模擴大 100 倍，一切都會發生質變嗎？我不認為這是真的。所以這又回到了研究時代，只是有了大電腦。Dwarkesh Patel這是一種非常有趣的說法。但讓我問你剛才提出的問題。我們在擴展什麼，擁有一個配方意味著什麼？我想我還不知道預訓練中存在的那種非常幹淨的、幾乎看起來像物理定律的關係。在資料、算力或參數與損失之間存在冪律關係。我們應該尋求什麼樣的關係，我們應該如何思考這個新配方可能是什麼樣子的？Ilya Sutskever我們已經見證了從一種類型的擴展向另一種類型的擴展的轉變，從預訓練到 RL。現在人們正在擴展 RL。根據人們在推特上的說法，他們在 RL 上花費的算力此時比預訓練還多，因為 RL 實際上可以消耗相當多的算力。你做很長的推演（rollouts），所以產生這些推演需要很多算力。然後你從每個推演中獲得相對較少的學習量，所以你真的可以花費很多算力。我甚至不會稱之為擴展。我會說，“嘿，你在做什麼？你做的事情是你最能產出的事情嗎？你能找到一種更有效利用算力的方法嗎？”我們之前討論過價值函數的事情。也許一旦人們擅長價值函數，他們將更有效地利用資源。如果你發現了一種完全不同的訓練模型的方法，你會說，“這是擴展還是僅僅是利用你的資源？”我認為這變得有點模棱兩可。某種意義上，當人們回到那時的研究時代，就是“讓我們試試這個、這個和這個。讓我們試試那個、那個和那個。哦，看，有趣的事情發生了。”我認為將會回歸到這種狀態。Dwarkesh Patel如果我們回到了研究時代，退一步說，我們需要最深入思考的配方部分是什麼？當你提到價值函數時，人們已經在嘗試當前的配方，比如用 LLM-as-a-Judge（大模型作為裁判）等等。你可以說那是一個價值函數，但聽起來你有更本質的想法。我們是否應該徹底重新思考預訓練，而不僅僅是在那個過程的末尾加入更多步驟？Ilya Sutskever關於價值函數的討論，我認為很有趣。我想強調，我認為價值函數會讓 RL 更有效率，我認為這很重要。但我認為任何你可以用價值函數做的事，你不用它也能做，只是更慢。我認為最根本的事情是，這些模型不知何故泛化能力比人類差得多。這非常明顯。這似乎是一個非常根本的事情。Dwarkesh Patel這就是關鍵：泛化。這有兩個子問題。一個是關於樣本效率：為什麼這些模型學習需要比人類多得多的資料？還有第二個問題。即使不談所需的資料量，為什麼教模型我們要的東西比教人類要難得多？對於人類，我們不一定需要一個可驗證的獎勵來……你現在可能正在指導一群研究人員，你和他們交談，向他們展示你的程式碼，向他們展示你是如何思考的。從中，他們學到了你的思維方式以及他們應該如何做研究。你不需要為他們設定一個可驗證的獎勵，比如“好，這是課程的下一部分，現在這是你課程的下一部分。哦，這次訓練不穩定。”沒有這種繁瑣的、定製的過程。也許這兩個問題實際上以某種方式相關，但我很想探討這第二件事，這更像是終身學習（continual learning），而第一件事感覺就像是樣本效率。Ilya Sutskever其實你可以思考，對人類樣本效率的一種可能的解釋是進化。進化給了我們少量最有用資訊的先驗。對於視覺、聽覺和運動這些東西，我認為有很強的理由證明進化給了我們很多。例如，人類的靈巧度遠遠超過……我是說，如果你在模擬中對機器人進行大量訓練，它們也能變得靈巧。但在現實世界中訓練機器人像人一樣快速掌握一項新技能似乎遙不可及。在這裡你可以說，“哦是的，運動能力。我們所有的祖先都需要極好的運動能力，比如松鼠。所以對於運動能力，也許我們有一些不可思議的先驗。”你可以為視覺提出同樣的理由。我相信 Yann LeCun 提出過一個觀點，孩子在 10 小時的練習後學會開車，這是真的。但我們的視覺太好了。至少對我來說，我記得我五歲的時候。那時候我對汽車非常興奮。我敢肯定，我五歲時的汽車識別能力已經足以用來開車了。作為一個五歲的孩子，你看不到那麼多資料。你大部分時間都待在父母家裡，所以資料多樣性很低。但你可以說也許那也是進化。但在語言、數學和程式設計方面，可能不是。Dwarkesh Patel它看起來仍然比模型好。顯然，模型在語言、數學和程式設計方面比普通人好。但它們在學習方面比普通人好嗎？Ilya Sutskever哦是的。哦是的，絕對的。我想說的是，語言、數學和程式設計——尤其是數學和程式設計——表明，無論是什麼讓人類擅長學習，可能不僅僅是一個複雜的先驗，而是更多的東西，某種根本性的東西。Dwarkesh Patel我不確定我理解了。為什麼會這樣？Ilya Sutskever考慮一項人們表現出某種巨大可靠性的技能。如果這項技能對我們的祖先在數百萬年、數億年裡都非常有用，你可以爭辯說，也許人類擅長它是因為進化，因為我們有一個先驗，一個以某種非常不明顯的方式編碼的進化先驗，不知何故使我們如此擅長它。但是，如果人們在一個直到最近才存在的領域表現出巨大的能力、可靠性、魯棒性和學習能力，那麼這更多地表明人們可能只是擁有更好的機器學習機制，句號。Dwarkesh Patel我們應該如何思考那是什麼？什麼是 ML 類比？這裡有幾件有趣的事情。它需要更少的樣本。它更像是無監督的。一個孩子學開車……孩子不學開車。一個青少年學開車並不是真的得到了某種預先建立的、可驗證的獎勵。它來自他們與機器和環境的互動。它需要的樣本少得多。它看起來更無監督。它看起來更魯棒？Ilya Sutskever魯棒得多。人類的魯棒性真的令人震驚。Dwarkesh Patel你有沒有一個統一的方式來思考為什麼所有這些事情同時發生？能夠實現類似這種東西的 ML 類比是什麼？Ilya Sutskever你一直在問的一件事是，青少年司機如何在沒有外部老師的情況下自我糾正並從經驗中學習？答案是他們有自己的價值函數。他們有一種普遍的感覺，順便說一下，這種感覺在人身上也非常魯棒。無論人類的價值函數是什麼，除了成癮等少數例外，它實際上非常非常魯棒。所以對於像學開車的青少年來說，他們開始開車，馬上就能感覺到自己開得怎麼樣，有多糟糕，多不自信。然後他們看到，“好的。”然後，當然，任何青少年的學習速度都太快了。10 個小時後，你就可以上路了。Dwarkesh Patel看起來人類有某種解決方案，但我很好奇他們是如何做到的，以及為什麼這這麼難？我們需要如何重新構想訓練模型的方式來實現這種可能？Ilya Sutskever這是一個很好的問題，這也是我有很多觀點的問題。但不幸的是，我們生活在一個並非所有機器學習想法都可以自由討論的世界裡，這就是其中之一。可能有一種方法可以做到。我認為這是可以做到的。人們就是這樣，我認為這證明了它是可以做到的。不過可能還有另一個阻礙，就是人類神經元進行的計算量可能比我們要多。如果是真的，如果那起到了重要作用，那麼事情可能會更困難。但無論如何，我確實認為這指向了某種機器學習原則的存在，對此我有自己的看法。但不幸的是，環境使得很難詳細討論。Dwarkesh Patel我很好奇。如果你說我們回到了研究時代，你在 2012 年到 2020 年就在那裡。如果我們要回到研究時代，現在的氛圍會是什麼樣的？例如，即使在 AlexNet 之後，用於運行實驗的算力也在不斷增加，前沿系統的規模也在不斷增加。你認為現在的研究時代是否仍然需要大量的算力？你認為這需要回到檔案館去閱讀舊論文嗎？當你在 Google、OpenAI 和史丹佛這些地方時，那時有更多的研究氛圍？我們在社區中應該期待什麼樣的事情？Ilya Sutskever擴展時代的一個後果是，擴展吸走了房間裡所有的空氣。因為擴展吸走了所有的空氣，每個人都開始做同樣的事情。我們到了這樣一個地步，世界上的公司比想法多得多。實際上關於這一點，矽谷有句俗話說，想法是廉價的，執行就是一切。人們常這麼說，這也確實有道理。但我看到有人在 Twitter 上說，“如果想法這麼廉價，怎麼沒人有想法呢？”我覺得這也是真的。如果你從瓶頸的角度思考研究進展，有幾個瓶頸。其中一個是想法，另一個是你實現它們的能力，這可能是算力也可能是工程。如果你回到 90 年代，假設有人有很好的想法，如果他們有更大的電腦，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個非常非常小的演示，無法說服任何人。所以瓶頸是算力。然後在擴展時代，算力增加了很多。當然，有個問題是需要多少算力，但算力是巨大的。算力大到你並不明顯需要更多的算力來證明某個想法。我給你一個類比。AlexNet 是在兩個 GPU 上建構的。那是它使用的總算力。Transformer 是在 8 到 64 個 GPU 上建構的。2017 年沒有任何單一的 Transformer 論文實驗使用的 GPU 超過 64 個，這大概相當於今天的兩個 GPU？ResNet 也是，對吧？你可以爭辯說 o1 推理並不是世界上最耗算力的東西。所以對於研究，你肯定需要一定量的算力，但這遠不意味著你需要有史以來絕對最大的算力來進行研究。你可能會爭辯，而且我認為這是真的，如果你想建構絕對最好的系統，那麼擁有更多的算力會有幫助。特別是如果每個人都在同一個範式內，那麼算力就成了巨大的差異化因素。Dwarkesh Patel我問你歷史是因為你當時真的在場。我不確定實際發生了什麼。聽起來使用最少的算力來開發這些想法是可能的。但 Transformer 並沒有立即變得出名。它成為了每個人開始做的事情，然後開始在其基礎上進行實驗和建構，因為它在更高層級的算力上得到了驗證。Ilya Sutskever沒錯。Dwarkesh Patel如果你在 SSI 有 50 個不同的想法，如果不擁有其他前沿實驗室那種算力，你怎麼知道那一個是下一個 Transformer，那一個是脆弱的？Ilya Sutskever我可以評論一下。簡短的評論是，你提到了 SSI。具體對我們來說，SSI 用於研究的算力真的不小。我想解釋一下為什麼。簡單的數學可以解釋為什麼我們擁有的研究算力比人們想像的要多。我會解釋。SSI 籌集了 30 億美元，這在絕對意義上是一筆巨款。但你會說，“看看其他籌集更多資金的公司。”但他們的大部分算力都用於推理（inference）。這些大數字，這些大額貸款，是專門用於推理的。這是第一點。第二，如果你想擁有一個進行推理的產品，你需要有龐大的工程師、銷售人員團隊。大量的研究需要致力於生產各種與產品相關的功能。所以當你看看實際上留給研究的是什麼時，差距就變得小得多了。另一件事是，如果你在做不同的事情，你真的需要絕對最大的規模來證明它嗎？我不認為這是真的。我認為在我們的案例中，我們有足夠的算力來證明，來說服我們自己和其他任何人，我們在做的事情是正確的。Dwarkesh Patel有公開估計稱，像 OpenAI 這樣的公司僅在實驗上每年就花費 50-60 億美元。這與他們在推理等方面的支出是分開的。所以看起來他們每年運行研究實驗的支出比你們的總資金還多。Ilya Sutskever我認為這是一個你用它做什麼的問題。這是一個你用它做什麼的問題。在他們的情況下，在其他人的情況下，對訓練算力有更多的需求。有更多不同的工作流，有不同的模態，只是有更多的東西。所以它變得碎片化了。Dwarkesh PatelSSI 將如何賺錢？Ilya Sutskever我對這個問題的回答是這樣的。現在，我們只專注於研究，然後這個問題的答案會自己顯現出來。我認為會有很多可能的答案。Dwarkesh PatelSSI 的計畫仍然是直通超級智能嗎？Ilya Sutskever也許。我認為這樣做有其優點。我認為這有很多優點，因為不受日常市場競爭的影響是非常好的。但我認為有兩個原因可能會導致我們改變計畫。一個是務實的，如果時間線變得很長，這是可能的。其次，我認為最強大、最好的 AI 在外面影響世界是有很大價值的。我認為這是一件有意義且有價值的事情。Dwarkesh Patel那為什麼你的默認計畫是直通超級智能？因為聽起來 OpenAI、Anthropic 以及所有其他公司，他們的明確想法是，“看，我們有越來越弱的智能，公眾可以適應並為此做好準備。”為什麼直接建構超級智能可能更好？Ilya Sutskever我會分別陳述支援和反對的理由。支援的理由是，人們在市場中面臨的挑戰之一是他們必須參與激烈的競爭（rat race）。這種競爭非常困難，因為它讓你面臨需要做出的艱難權衡。說“我們將把自己與這一切隔離開來，只專注於研究，只在準備好時才出來，而不是之前”是很好的。但反駁也是有效的，那是相反的力量。反駁是，“嘿，讓世界看到強大的 AI 是有用的。讓世界看到強大的 AI 是有用的，因為那是你能夠傳達它的唯一方式。”Dwarkesh Patel我想甚至不僅僅是你能夠傳達這個想法——Ilya Sutskever傳達 AI，不是想法。傳達 AI。Dwarkesh Patel你說的“傳達 AI”是什麼意思？Ilya Sutskever假設你寫了一篇關於 AI 的文章，文章說，“AI 將會是這樣，AI 將會是那樣，它會是這個。”你讀了之後說，“好的，這是一篇有趣的文章。”現在假設你看到一個 AI 做這個，一個 AI 做那個。這是無法比擬的。基本上我認為 AI 公開化有很大的好處，這將是我們不完全直通的一個理由。Dwarkesh Patel我想甚至不僅僅是那個，雖然我確實認為那是其中的重要部分。另一件大事是，我想不出人類工程和研究中有那一門學科，其最終產品主要是通過僅僅思考如何使其安全而變得更安全的，相比之下——為什麼今天的飛機每英里墜毀率比幾十年前低得多。為什麼現在在 Linux 中找 bug 比幾十年前難得多？我認為這主要是因為這些系統被部署到了世界上。你注意到了故障，這些故障被糾正了，系統變得更加健壯。我不確定為什麼 AGI 和超人類智能會有什麼不同，尤其是考慮到——我希望我們會談到這點——看起來超級智能的危害不僅僅是關於有一個惡意的回形針製造者。這是一個真正強大的東西，我們甚至不知道如何概念化人們如何與之互動，人們會用它做什麼。逐步接觸它似乎是分散其影響並幫助人們為此做好準備的更好方式。Ilya Sutskever嗯，我認為關於這一點，即使在直通方案中，你仍然會逐步發佈它，我是這樣想像的。漸進主義將是任何計畫的固有組成部分。只是問題在於你推出的第一件東西是什麼。這是第一點。第二，我相信你比其他人更提倡終身學習（continual learning），而且我實際上認為這是一件重要且正確的事情。原因如下。我給你另一個語言如何影響思維的例子。在這種情況下，我認為有兩個詞塑造了每個人的思維。第一個詞：AGI。第二個詞：預訓練。讓我解釋一下。AGI 這個術語，為什麼這個術語存在？這是一個非常特別的術語。它為什麼存在？有原因的。在我看來，AGI 這個術語之所以存在，與其說是因為它是某種智能終極狀態的非常重要、本質的描述，不如說它是因為它是對另一個存在的術語的反應，那個術語是“狹義 AI”（narrow AI）。如果你回到遊戲和 AI、跳棋 AI、國際象棋 AI、電腦遊戲 AI 的遠古歷史，每個人都會說，看這個狹義的智能。當然，國際象棋 AI 可以擊敗卡斯帕羅夫，但它不能做任何其他事情。它是如此狹隘，人工狹義智能。所以作為回應，作為對此的反應，有些人說，這不好。它太狹隘了。我們需要的是通用 AI，一個可以做所有事情的 AI。那個術語獲得了很多關注。第二個獲得很多關注的是預訓練，特別是預訓練的配方。我認為人們現在做 RL 的方式可能正在消除預訓練的概念印記。但預訓練有這種屬性。你做更多的預訓練，模型在所有方面都會變得更好，或多或少是一致的。通用 AI。預訓練產生 AGI。但是 AGI 和預訓練發生的事情是，在某種意義上它們超出了目標。如果你在預訓練的背景下思考“AGI”這個術語，你會意識到人類並不是一個 AGI。是的，肯定有技能的基礎，但人類缺乏大量的知識。相反，我們依賴終身學習。所以當你思考，“好吧，假設我們取得了成功，我們產生某種安全的超級智能。”問題是，你如何定義它？它會在終身學習曲線的那裡？我生產了一個超級聰明的 15 歲少年，非常渴望出發。他們知道的不多，是一個很好的學生，非常渴望。你去當程式設計師，你去當醫生，去學習。所以你可以想像部署本身將涉及某種學習試錯期。這是一個過程，而不是你扔出一個成品。Dwarkesh Patel我明白了。你是在暗示你指出的超級智能不是某種已經知道如何做經濟中每一項工作的成品思維。因為，比如說，最初的 OpenAI 章程或其他檔案定義 AGI 的方式是，它可以做每一項工作，人類能做的每一件事。你提議的是一種可以 學會 做每一項工作的思維，那就是超級智能。Ilya Sutskever是的。Dwarkesh Patel但是一旦你有了學習演算法，它就會像人類勞動力加入組織一樣被部署到世界上。Ilya Sutskever完全正確。Dwarkesh Patel看起來這兩種情況之一可能會發生，也許這兩種情況都不會發生。第一，這種超級高效的學習演算法變得超人，變得和你一樣好，甚至可能比你更好，在 ML 研究任務上。結果演算法本身變得越來越超人。另一個是，即使那沒有發生，如果你有一個單一的模型——這顯然是你的願景——模型的實例被部署到整個經濟中做不同的工作，學習如何做那些工作，在工作中不斷學習，學會任何人能學會的所有技能，但同時也學會所有技能，然後合併它們的學習成果，你基本上就有了一個功能上變得超級智能的模型，即使軟體沒有任何遞迴的自我改進。因為你現在有了一個可以做經濟中每一項工作的模型，而人類無法以同樣的方式合併我們的思想。所以你預計廣泛部署會帶來某種智能爆炸嗎？Ilya Sutskever我認為我們很可能會有快速的經濟增長。我認為隨著廣泛部署，你可以提出兩個相互衝突的論點。一個是，一旦你確實到了擁有一個可以快速學習做事的 AI 並且你有很多這樣的 AI 的地步，那麼將會有一股強大的力量將它們部署到經濟中，除非會有某種監管阻止它，順便說一句，可能會有。但是關於非常快速的經濟增長的想法，我認為從廣泛部署來看是非常可能的。問題是它會有多快。我認為這很難知道，因為一方面你有這個非常高效的工人。另一方面，世界真的很大，有很多東西，而那些東西以不同的速度移動。但另一方面，現在 AI 可以……所以我認為非常快速的經濟增長是可能的。我們將看到各種各樣的事情，比如不同的國家有不同的規則，那些規則更友好的國家，經濟增長會更快。很難預測。Dwarkesh Patel在我看來，這是一個非常不穩定的處境。在極限情況下，我們知道這應該是可能的。如果你有某種在學習方面和人類一樣好，但可以合併其大腦——以人類無法合併的方式合並不同實例——的東西，這似乎是一件物理上應該可能的事情。人類是可能的，數字電腦是可能的。你只需要把這兩者結合起來就能產生這個東西。看起來這種東西也非常強大。經濟增長是描述它的一種方式。戴森球也是很多經濟增長。但另一種說法是，你將在可能非常短的時間內擁有……你在 SSI 僱傭人，六個月後，他們可能就是淨產出的。人類學得很快，而這個東西正變得越來越聰明。你如何考慮讓這一切順利進行？為什麼 SSI 定位於能做好這件事？SSI 在那裡的計畫是什麼，這基本上就是我想問的。Ilya Sutskever我的想法發生變化的一種方式是，我現在更加重視 AI 的增量部署和提前部署。關於 AI 的一件非常困難的事情是，我們正在談論尚不存在的系統，很難想像它們。我認為正在發生的一件事是，實際上很難 感覺到 AGI。很難感覺到 AGI。我們可以談論它，但這就像談論當你年老體弱時是什麼感覺。你可以談論，你可以試圖想像，但這很難，你會回到那不是事實的現實中。我認為許多圍繞 AGI 及其未來力量的問題源於這樣一個事實：很難想像。未來的 AI 會有所不同。它將會很強大。確實，AI 和 AGI 的問題是什麼？整個問題就是力量。整個問題就是力量。當力量真的很大時，會發生什麼？我在過去一年中改變主意的一種方式——這種改變，我會稍微避險一下，可能會反向傳播到我們公司的計畫中——是，如果很難想像，你做什麼？你必須展示這個東西。你必須展示這個東西。我堅持認為，大多數從事 AI 工作的人也無法想像它，因為它與人們日常看到的東西太不同了。我確實堅持，這是我的一個預測。我堅持認為隨著 AI 變得更強大，人們會改變他們的行為。我們將看到各種前所未有的事情，這些事情現在還沒有發生。我會舉一些例子。我認為不管是好是壞，前沿公司將在發生的事情中扮演非常重要的角色，政府也是如此。我認為你會看到的事情，你已經看到了開端，那就是作為激烈競爭對手的公司開始在 AI 安全方面進行合作。你可能已經看到 OpenAI 和 Anthropic 邁出了一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預測的事情，這種事情會發生。我還堅持認為，隨著 AI 繼續變得更強大，更明顯地強大，政府和公眾也會渴望做點什麼。我認為這是一股非常重要的力量，即展示 AI。這是第一點。第二點，好的，AI 正在被建構。需要做什麼？我堅持認為會發生的一件事是，目前，從事 AI 工作的人，我堅持認為 AI 並不讓人感到強大，是因為它的錯誤。我確實認為在某個時刻，AI 會開始讓人感到真正強大。我認為當這種情況發生時，我們將看到所有 AI 公司對待安全的方式發生巨大變化。他們會變得更加偏執。我這是作為一個預測說出來的，我們會看到這種事發生。我們要看看我是不是對的。但我認為這是會發生的，因為他們會看到 AI 變得更強大。目前發生的一切，我堅持認為是因為人們看著今天的 AI，很難想像未來的 AI。還有第三件事需要發生。我是從更廣泛的角度說的，不僅僅是從 SSI 的角度，因為你問到了我們公司。問題是，公司應該渴望建立什麼？他們應該渴望建立什麼？有一個每個人都被鎖定的大主意，那就是自我改進的 AI。為什麼會這樣？因為想法比公司少。但我堅持認為有更好的東西可以建立，我認為每個人都會想要那個。那就是穩健地對齊以關愛感知生命（sentient life）的 AI。我想特別指出，有理由認為建立一個關心感知生命的 AI 比建立一個只關心人類生命的 AI 更容易，因為 AI 本身將是有感知的。如果你想想鏡像神經元和人類對動物的同理心，你可能會說這不夠大，但它確實存在。我認為這是一種湧現屬性，源於我們用模擬自己的同一回路來模擬他人，因為那是最高效的做法。Dwarkesh Patel即使你讓 AI 關心感知生物——如果真的解決了對齊問題，我不清楚這是否就是你應該嘗試做的——情況仍然是，大多數感知生物將是 AI。最終會有數兆、數千兆的 AI。人類將是感知生物中非常小的一部分。所以如果不清楚目標是對這個未來文明進行某種人類控制，那麼我不清楚這是不是最好的標準。Ilya Sutskever這是真的。它可能不是最好的標準。我會說兩點。第一，關心感知生命，我認為有其優點。應該被考慮。我認為如果有一些公司在處於這種情況下時可以使用的簡短想法清單，那會有所幫助。這是第二點。第三，我認為如果最強大的超級智能的力量以某種方式被設定上限，那將真的有實質性的幫助，因為這將解決很多這些擔憂。關於如何做到這一點的問題，我不確定，但我認為當你談論真正、真正強大的系統時，那將有實質性的幫助。Dwarkesh Patel在我們繼續對齊討論之前，我想深入探討一下這一點。頂部有多少空間？你是如何看待超級智能的？利用這個學習效率的想法，你認為它可能只是在學習新技能或新知識方面極快嗎？它是否只是擁有更大的策略池？中心是否有一個單一的、有凝聚力的“它”更強大或更大？如果是這樣，你是否想像這與其餘人類文明相比會像神一樣，還是它只是感覺像另一個智能體，或另一組智能體？Ilya Sutskever這是不同人有不同直覺的領域。我認為它肯定會非常強大。我認為最有可能發生的是，大約在同一時間會有多個這樣的 AI 被創造出來。我認為如果叢集足夠大——比如如果叢集真的是大陸級的——那個東西可能會非常強大，確實如此。如果你真的擁有一個大陸級的叢集，那些 AI 可能會非常強大。我能告訴你的是，如果你在談論極其強大的 AI，真正極其強大的，如果它們能以某種方式受到限制，或者有某種協議之類的東西，那就太好了。超級智能的擔憂是什麼？解釋這種擔憂的一種方式是什麼？如果你想像一個足夠強大的系統，真的足夠強大——你可以說你需要做一些理智的事情，比如以一種非常專一的方式關心感知生命——我們可能不喜歡結果。這就是它的本質。順便說一句，也許答案是你不用通常意義上的 RL 智能體。我會指出幾件事。我認為人類是半 RL 智能體。我們追求獎勵，然後情緒或其他東西讓我們對獎勵感到厭倦，我們追求不同的獎勵。市場是一種非常短視的智能體。進化也是一樣。進化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設計成三個部分之間永無止境的鬥爭，這也是一種效果。所以我想像這樣的事情。另一件讓這個討論變得困難的事情是，我們談論的是不存在的系統，我們不知道如何建構。那是另一件事，實際上這也是我的信念。我認為人們現在正在做的事情會走一段距離，然後逐漸平息。它會繼續改進，但它也不會是“那個東西”。我們不知道如何建構“那個東西”，很多都取決於理解可靠的泛化。我還要說另一件事。你可以說導致對齊困難的原因之一是，你學習人類價值觀的能力是脆弱的。然後你最佳化它們的能力是脆弱的。你實際上學會了去最佳化它們。你難道不能說，“這些不都是不可靠泛化的例子嗎？”為什麼人類似乎泛化得這麼好？如果泛化能力好得多呢？在這種情況下會發生什麼？會有什麼效果？但這些問題目前仍然無法回答。Dwarkesh Patel人們該如何思考 AI 進展順利是什麼樣子的？你已經勾勒了 AI 可能如何演變。我們將擁有這類終身學習智能體。AI 將非常強大。也許會有許多不同的 AI。你怎麼看待許多大陸級算力的智能體四處遊蕩？那有多危險？我們如何讓它變得不那麼危險？我們如何以一種保護平衡的方式做到這一點，即使外面可能有未對齊的 AI 和壞人？Ilya Sutskever這也是我喜歡“關心感知生命的 AI”的一個原因。我們可以爭論它是好是壞。但如果前 N 個這樣的劇變性系統真的關心、愛護人類或者什麼的，關心感知生命，顯然這也就必須實現。這需要被實現。所以如果前 N 個系統實現了這一點，那麼我可以看到它進展順利，至少在相當長的一段時間內。然後就是長期會發生什麼的問題。你如何實現長期均衡？我認為那裡也有一個答案。我不喜歡這個答案，但它需要被考慮。長期來看，你可能會說，“好吧，如果你有一個強大的 AI 存在的世界，短期內，你可以說你有普遍高收入。你有普遍高收入，我們都過得很好。”但佛教徒怎麼說？“變化是唯一的常數。”事情會變。有某種政府、政治結構的東西，它會變，因為這些東西有保質期。一些新的政府形式出現了，它運作，然後過了一段時間它停止運作。這是我們一直看到發生的事情。所以我認為對於長期均衡，一種方法是你可以說也許每個人都會有一個 AI 聽命於他們，這很好。如果這能無限期維持下去，那是真的。但這的缺點是，然後 AI 去為這個人賺錢並在政治領域倡導他們的需求，也許然後寫一份小報告說，“好吧，這是我所做的，這是情況，”然後人說，“太棒了，繼續保持。”但人不再是參與者了。然後你可以說這是一個不穩定的處境。我要先說我不喜歡這個解決方案，但它是一個解決方案。解決方案是如果人們通過某種 Neuralink++ 變成半 AI。因為結果將會是，現在 AI 理解了一些東西，我們也理解了它，因為現在理解是全盤傳遞的。所以現在如果 AI 處於某種情況，你自己也完全參與了那種情況。我認為這是均衡的答案。Dwarkesh Patel我想知道，數百萬年——或者在很多情況下是數十億年——前在一個完全不同的環境中演化出來的情緒，至今仍如此強烈地指導著我們的行動，這是否是對齊成功的一個例子。為了說明我的意思——我不知道稱之為價值函數還是獎勵函數更準確——腦幹有一個指令說，“與更成功的人交配。”皮層是理解現代背景下成功意味著什麼的部分。但腦幹能夠對齊皮層並說，“無論你認為成功是什麼——我不夠聰明去理解那是什麼——你仍然要追求這個指令。”Ilya Sutskever我認為有一個更普遍的觀點。實際上進化如何編碼高層級的慾望真的很神秘。很容易理解進化如何賦予我們對聞起來好的食物的慾望，因為氣味是一種化學物質，所以只要追求那種化學物質就行了。很容易想像進化做那件事。但進化也賦予了我們所有這些社會慾望。我們真的很在乎被社會積極看待。我們在乎擁有良好的地位。所有這些我們擁有的社會直覺，我強烈感覺它們是內建的。我不知道進化是怎麼做到的，因為那是在大腦中表徵的一個高層級概念。比方說你在乎某種社會事物，這不像氣味那樣是低層級訊號。這不是某種有感測器對應的東西。大腦需要做大量的處理，拼湊大量的資訊碎片來理解社會上正在發生什麼。不知何故進化說，“這就是你應該關心的。”它是怎麼做到的？而且它做得很快。所有這些我們在乎的複雜的社會事物，我認為它們演化得相當近。進化很容易就硬編碼了這種高層級的慾望。我不知道有什麼好的假設能解釋它是如何完成的。我有過一些反覆思考的想法，但沒有一個是令人滿意的。Dwarkesh Patel特別令人印象深刻的是，如果是你在有生之年學會的慾望，那是有道理的，因為你的大腦是智能的。你有能力學會智能的慾望是有道理的。也許這不是你的觀點，但理解它的一種方式是，慾望內建於基因組中，而基因組並不智能。但你卻能描述這個特徵。甚至都不清楚你是如何定義這個特徵的，而你卻能把它建構進基因裡。Ilya Sutskever基本上是這樣，或者我也許換個說法。如果你思考基因組可用的工具，它說，“好吧，這是建構大腦的配方。”你可以說，“這是把多巴胺神經元連接到氣味感測器的配方。”如果氣味是某種好的氣味，你就想吃它。我可以想像基因組做那件事。我聲稱這（社會慾望）更難想像。更難想像基因組說你應該關心你的整個大腦、或者大腦的一大塊所做的某種複雜計算。這只是我的主張。我可以告訴你一個猜測，它是如何做到的，我也會解釋為什麼這個猜測可能是錯的。大腦有腦區。我們有皮層。它有所有那些腦區。皮層是均勻的，但腦區和皮層中的神經元大多隻與其鄰居對話。這解釋了為什麼會有腦區。因為如果你想做某種語音處理，所有做語音的神經元需要互相交流。因為神經元大多隻能與附近的鄰居交流，所以它必須是一個區域。所有的區域在人與人之間大多位於同一個地方。所以也許進化硬編碼了大腦上的一個物理位置。所以它說，“哦，當大腦的 GPS 坐標某某某，當那裡點火時，那就是你應該關心的。”也許那是進化所做的，因為那在進化的工具箱之內。Dwarkesh Patel是的，儘管有些例子，例如生來失明的人，他們皮層的那個區域被另一種感官接管了。我不知道，但如果那些需要視覺訊號的慾望或獎勵函數對於那些皮層區域被徵用的人不再起作用，我會感到驚訝。例如，如果你不再有視覺，你是否仍然能感覺到我希望周圍的人喜歡我這種感覺，通常這也有視覺線索。Ilya Sutskever我完全同意這一點。我認為對這個理論有一個更強的反駁。有些人童年時期被切除了一半大腦（大腦半球切除術），他們仍然擁有所有的腦區。但它們不知何故都移動到了一個半球，這表明腦區的位置不是固定的，所以那個理論是不正確的。如果是真的那就太酷了，但它不是。所以我認為這是一個謎。但這是一個有趣的謎。事實是，不知何故進化能夠賦予我們非常非常可靠地關心社會事物的能力。即使是有各種奇怪的精神狀況、缺陷和情緒問題的人也傾向於關心這個。Dwarkesh PatelSSI 計畫做什麼不同的事情？大概你們的計畫是當那個時刻到來時成為前沿公司之一。大概你創立 SSI 是因為你想，“我覺得我有一種方法可以安全地做這件事，而其他公司沒有。”那個區別是什麼？Ilya Sutskever我會這樣描述，有一些我認為有前途的想法，我想調查它們，看看它們是否真的有前途。真的就這麼簡單。這是一種嘗試。如果這些想法被證明是正確的——我們討論的這些圍繞理解泛化的想法——那麼我認為我們將擁有有價值的東西。它們會被證明是正確的嗎？我們在做研究。我們要實事求是地作為一家“研究時代”的公司。我們在取得進展。實際上我們在過去一年取得了相當不錯的進展，但我們需要繼續取得更多進展，更多研究。這就是我的看法。我看作是一種嘗試，試圖成為一個聲音和一個參與者。Dwarkesh Patel你的聯合創始人和前 CEO 最近離開去了 Meta，人們問，“好吧，如果有大量的突破正在發生，這看起來似乎是不太可能發生的事情。”我想知道你如何回應。Ilya Sutskever對此，我只想提醒幾個可能被遺忘的事實。我認為這些提供背景的事實解釋了情況。背景是我們當時正以 320 億美元的估值融資，然後 Meta 進來提議收購我們，我拒絕了。但在某種意義上，我的前聯合創始人同意了。結果，他也能夠享受到大量的近期流動性，他是 SSI 唯一加入 Meta 的人。Dwarkesh Patel聽起來 SSI 的計畫是當你到達人類歷史這一非常重要的時期，即擁有超人智能時，成為一家前沿公司。你有關於如何讓超人智能順利發展的想法。但其他公司也會嘗試他們自己的想法。是什麼讓 SSI 使超級智能順利發展的方法與眾不同？Ilya Sutskever主要讓 SSI 與眾不同的是其技術方法。我們有不同的技術方法，我認為它是值得的，我們正在追求它。我堅持認為最終會有戰略的趨同。我認為會有戰略的趨同，在某個時刻，隨著 AI 變得更強大，對每個人來說或多或少都會變得清晰，戰略應該是什麼。它應該是這樣的：你需要找到某種方式互相交談，你希望你的第一個真正的超級智能 AI 是對齊的，並以某種方式關心感知生命、關心人類、民主，諸如此類，某種組合。我認為這是每個人都應該爭取的條件。這就是 SSI 正在爭取的。我認為這一次，如果還沒發生的話，所有其他公司都會意識到他們正在朝著同一個目標努力。我們拭目以待。我認為隨著 AI 變得更強大，世界將真正改變。我認為事情會真的很不同，人們的行為也會真的很不同。Dwarkesh Patel說到預測，你對你描述的這個系統——它可以像人類一樣學習並因此隨後變成超人——的預測是什麼？Ilya Sutskever我認為大概 5 到 20 年。Dwarkesh Patel5 到 20 年？Ilya Sutskever嗯。Dwarkesh Patel我想展開看看你可能如何看待未來的到來。就像，我們還有幾年時間，其他公司繼續當前的方法並停滯不前。“停滯不前”在這裡是指他們的收入不超過幾千億？你如何思考停滯不前意味著什麼？Ilya Sutskever我認為停滯不前看起來會……在所有不同的公司看來都非常相似。可能是這樣的。我不確定，因為即使停滯不前，我認為這些公司也能創造驚人的收入。也許不是利潤，因為他們需要努力使自己與彼此區分開來，但收入肯定是有的。Dwarkesh Patel但在你的模型中有些東西暗示，當正確的解決方案真的出現時，所有公司之間會有趨同。我很好奇你為什麼認為會這樣。Ilya Sutskever我更多是在談論對齊策略的趨同。我認為最終技術方法的趨同可能也會發生，但我指的是對齊策略的趨同。到底應該做什麼？Dwarkesh Patel我只是想更好地理解你如何看待未來的展開。目前，我們有這些不同的公司，你預計他們的方法會繼續產生收入但達不到這種類人學習者。所以現在我們有這些不同的公司分支。有你們，有 Thinking Machines，還有一堆其他實驗室。也許其中一個找到了正確的方法。但是他們產品的發佈會讓其他人清楚如何做這件事。Ilya Sutskever我認為怎麼做並不清楚，但有些不同的東西是可能的這一點會變得清楚，這就是資訊。人們隨後會試圖弄清楚那是如何工作的。不過我確實認為，這裡沒有提到、沒有討論的一件事是，隨著 AI 能力的每一次提升，我認為做事的方式會有某種變化，但我不知道具體是那些變化。我認為這會很重要，但我無法確切拼出那是什麼。Dwarkesh Patel默認情況下，你會預期擁有那個模型的公司會獲得所有這些收益，因為他們擁有在世界上積累技能和知識的模型。有什麼理由認為這種好處會被廣泛分配，而不僅僅是最終落在最先讓這個終身學習循環運轉起來的模型公司手中？Ilya Sutskever我認為會發生以下情況。第一，讓我們看看過去的 AI 是如何發展的。一家公司取得了一項進展，另一家公司爭先恐後，在一段時間後也搞出了一些類似的東西，他們開始在市場上競爭並將價格壓低。所以我認為從市場角度來看，類似的事情也會發生。順便說一句，我們談論的是美好的世界。什麼是美好的世界？就是我們擁有這些強大的人類般的學習者，它們也是……順便說一下，也許還有一件事我們沒有討論，關於超級智能 AI 的規格，我認為值得考慮。那就是你把它做成狹義的，它可以同時是有用的和狹義的。你可以有很多狹義的超級智能 AI。但假設你有很多這樣的 AI，你有一家公司從中賺取大量利潤。然後你有另一家公司進來開始競爭。競爭的方式將通過專業化進行。競爭喜歡專業化。你在市場上看到這一點，你在進化中也看到這一點。你會有很多不同的利基市場，你會有很多佔據不同利基市場的不同公司。在這個世界上，我們可能會說一家 AI 公司在某些真正複雜的經濟活動領域要好得多，而另一家公司在另一個領域更好。第三家公司非常擅長訴訟。Dwarkesh Patel這難道不與類人學習所暗示的相矛盾嗎？即它可以學習……Ilya Sutskever它可以，但你有積累的學習。你有巨大的投資。你花費了大量的算力才變得非常非常優秀，在這個事情上真正非凡。別人花費了大量的算力和大量的經驗才在其他事情上變得非常優秀。你應用了大量的人類學習才到達那裡，但現在你處於這個高點，別人會說，“看，我不想從頭開始學你已經學過的東西。”Dwarkesh Patel我想這需要許多不同的公司同時開始擁有類人終身學習智能體，以便他們可以在不同的分支開始不同的樹搜尋。但是，如果一家公司首先獲得了那個智能體，或者首先獲得了那個學習者，確實看起來……嗯，如果你只考慮經濟中的每一份工作，讓一個實例學習每一份工作對於一家公司來說似乎是可行的。Ilya Sutskever這是一個有效的論點。我的強烈直覺是，事情不會這樣發展。論點說它會這樣發展，但我的強烈直覺是它不會這樣發展。理論上，理論和實踐沒有區別。在實踐中，是有區別的。我認為這將是其中之一。Dwarkesh Patel許多人的遞迴自我改進模型字面上、明確地指出，我們將在伺服器中有 100 萬個 Ilya，他們會想出不同的想法，這將導致超級智能非常快地湧現。你對你正在做的事情的可平行化有某種直覺嗎？複製 Ilya 的收益是什麼？Ilya Sutskever我不知道。我認為肯定會有收益遞減，因為你想要思維不同的人，而不是相同的人。如果有我的字面副本，我不確定你會得到多少增量價值。思維不同的人，那才是你想要的。Dwarkesh Patel為什麼如果你看不同的模型，即使是由完全不同的公司發佈的，可能在不重疊的資料集上訓練的，LLM 彼此之間的相似程度實際上是瘋狂的？Ilya Sutskever也許資料集並不像看起來那樣不重疊。Dwarkesh Patel但在某種意義上，即使個人可能不如未來的 AI 那麼多產，也許有些道理是人類團隊比 AI 團隊擁有更多的多樣性。我們如何引發 AI 之間有意義的多樣性？我認為僅僅提高溫度（temperature）只會導致胡言亂語。你想要更像是不同的科學家有不同的偏見或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？Ilya Sutskever我相信，沒有多樣性的原因是預訓練。所有預訓練模型幾乎都是一樣的，因為它們在相同的資料上進行預訓練。現在的 RL 和後訓練（post-training）是一些差異化開始出現的地方，因為不同的人提出了不同的 RL 訓練。Dwarkesh Patel我過去聽你暗示過自我博弈（self-play）是一種獲取資料或將智能體與同等智能的其他智能體匹配以啟動學習的方式。我們應該如何思考為什麼沒有關於這種東西在 LLM 上起作用的公開提議？Ilya Sutskever我會說有兩點。我認為自我博弈有趣的原因是因為它提供了一種僅使用算力而不使用資料來建立模型的方法。如果你認為資料是最終瓶頸，那麼僅使用算力就非常有趣。這就是讓它有趣的原因。問題是自我博弈，至少在過去的做法中——當你有以某種方式相互競爭的智能體時——它只對發展一套特定的技能有好處。它太狹窄了。它只對談判、衝突、某些社交技能、戰略制定那類東西有好處。如果你關心這些技能，那麼自我博弈將是有用的。實際上，我認為自我博弈確實找到了歸宿，只是形式不同。所以像辯論、證明者-驗證者（prover-verifier），你有某種 LLM-as-a-Judge（大模型作為裁判），它也被激勵去發現你工作中的錯誤。你可以說這不完全是自我博弈，但我相信這是人們正在做的一種相關的對抗性設定。真正的自我博弈是智能體之間更普遍競爭的一個特例。對競爭的自然反應是試圖與眾不同。所以如果你把多個智能體放在一起，你告訴他們，“你們都需要處理某個問題，你是一個智能體，你在檢查其他人正在做什麼，”他們會說，“好吧，如果他們已經採取了這種方法，我不清楚我也應該追求它。我應該追求一些差異化的東西。”所以我認為像這樣的東西也可以為方法的多樣性創造激勵。Dwarkesh Patel最後一個問題：什麼是研究品味（research taste）？你顯然被認為是世界上 AI 研究品味最好的人。你是深度學習歷史上發生的那些最重大事件的合著者，從 AlexNet 到 GPT-3 等等。它是什麼，你如何描述你是如何想出這些主意的？Ilya Sutskever關於這一點我可以評論我自己。我認為不同的人做法不同。有一件事指引著我個人，那就是通過思考人類是怎樣的，但要正確地思考，來形成 AI 應該是怎樣的審美。很容易不正確地思考人類是怎樣的，但正確地思考人類意味著什麼？我給你舉幾個例子。人工神經元的想法直接受到大腦的啟發，這是一個偉大的想法。為什麼？因為你會說大腦有所有這些不同的器官，它有褶皺，但褶皺可能並不重要。為什麼我們認為神經元重要？因為有很多神經元。這感覺是對的，所以你想要神經元。你想要某種局部的學習規則來改變神經元之間的連接。大腦這樣做感覺是合理的。分佈式表徵的想法。大腦對經驗做出反應，因此我們的神經網路應該從經驗中學習的想法。大腦從經驗中學習，神經網路應該從經驗中學習。你會問自己，有些東西是根本的還是非根本的？事物應該是怎樣的。我認為這對我指引頗多，從多個角度思考，幾乎是在尋找美，美和簡單。醜陋，沒有醜陋的容身之地。它是美、簡單、優雅、來自大腦的正確靈感。所有這些東西都需要同時存在。它們越是同時存在，你就越能對一種自頂向下的信念充滿信心。自頂向下的信念是當實驗與你相悖時支撐你的東西。因為如果你總是相信資料，嗯，有時候你可能在做正確的事情，但有個 bug。但你不知道有個 bug。你怎麼分辨有沒有 bug？你怎麼知道你是應該繼續偵錯還是斷定這是錯誤的方向？靠的是自頂向下。你會說事情必須是這樣的。像這樣的東西必須行得通，因此我們要繼續前進。那就是自頂向下，它是基於這種多層面的美和受大腦啟發而來的。Dwarkesh Patel好，我們就聊到這裡 (AI寒武紀)
