AI 的終局：生存性風險、權力博弈與 2040 計畫
城主說| 這是最新的DOAC訪談OpenAI吹哨人的完整訪談。AI終局論一直是一個熱門話題， 無論如何， 我們顯然在一個巨大時代的開端。隨著 GPT-4 等模型的爆發，人工智慧不再僅僅是生產力工具，而是正在演化為一種超越人類理解的“新物種”。
Daniel Kokotajlo 曾是 OpenAI 的預測專家，負責研判技術演進的時間線與潛在威脅。然而，在 2024 年，他選擇離開這家處於風暴中心的科技巨頭，甚至不惜放棄價值 200 萬美元的股份，只為了撕掉離職協議中的“緘口令”，向世人揭示那個令人顫慄的未來。
全域摘要
本次DOAC對OpenAI吹哨人的訪談深入探討了人工智慧發展的黑暗面與潛在希望。前 OpenAI 專家 Daniel Kokotajlo 揭示了 AI 行業內部激進的競爭現狀、超級智能（ASI）可能帶來的生存性風險（高達 70% 的災難機率），以及他為了保留髮言權而拒絕簽署 200 萬美元補償協議的經歷。通過對比“AI 2027”的毀滅性路徑與“AI 2040”的監管路徑，訪談勾勒出了人類在技術奇點到來前必須面對的政治、經濟與倫理抉擇。
核心觀點
- 生存性風險真實存在
：專家預測 AI 帶來災難性後果（如人類滅絕）的可能性約為 70%，且目前行業並未走在解決安全對齊的軌道上。
- 權力集中與競爭失控
：Anthropic、OpenAI 和 Elon Musk 之間的權力競速導致安全考量讓位於商業和政治利益，形成了一種“資料中心裡的天才軍隊”。
- 遞迴自我改進動力學
：AI 將首先實現自身研究流程的自動化，從而引發智能爆炸，這一處理程序可能在 2027 年至 2030 年間完成。
- 2040 計畫（Plan A）
：建議通過國際監管減緩 AI 發展速度，提高透明度，並設立“公民紅利”以應對全民失業的衝擊。
01 200 萬美元的贖金：打破 OpenAI 的沉默契約
作為前 OpenAI 的預測專家，Daniel Kokotajlo 的離職並非悄無聲息。他揭露了一個極具諷刺意味的細節：一個聲稱以“造福全人類”為使命的非營利組織，竟然要求員工簽署極其嚴苛的反詆毀協議，否則將收回其所有股權。
“我拒絕簽署那份協議，這意味著我損失了 200 萬美元，那相當於我當時淨資產的 80%”。Kokotajlo 坦言。他之所以選擇支付這筆昂貴的“贖身費”，是因為他意識到，隨著 OpenAI 規模的急劇擴張，原本對風險的敬畏已被權力的渴望所取代。“我越來越認為，那些‘負責任發展’的敘事只是為他們的行為辯護的託辭，而非真正引導行動的準則”。
他觀察到，當 Sam Altman、Dario Amodei 和 Elon Musk 陷入權力競速時，安全考量被無限期推後。這種競爭導致了一個致命的後果：那些關於 AI 風險的內部場景預測被嚴格保密，而公眾對即將到來的變革毫無察覺。“他們互不信任，都在盡其所能地進行競爭，以便能率先到達終點”。
02 遞迴自我改進：資料中心裡的“天才軍隊”
在 Kokotajlo 的預測模型中，2027 年是一個關鍵的節點。這並非隨意的猜測，而是基於“遞迴自我改進”（Recursive Self-improvement）的邏輯。目前的 AI 巨頭們正專注於自動化程式設計 and AI 研究流程，這意味著 AI 將很快開始訓練更強大的 AI。
“他們正試圖創造一種不再需要員工的情況。擁有一支龐大的 AI 大軍在持續運轉，進行自主研究以開發出更好的 AI，以此類推”。Kokotajlo 將這種願景描述為“資料中心裡的天才軍隊”。這種“軍隊”不僅具備超越人類的認知能力，更擁有驚人的運行速度。當 AI 能夠自動化自身的研究流程時，智能爆炸將不可避免。
他警告稱，超級智能（ASI）的定義是“在任何方面都優於最頂尖的人類，且成本更低、速度更快”。“我目前的中間估值，即 50% 的可能性是在 2029 年實現超級智能，也有可能提前到 2027 年”。而當前人類面臨的最大問題在於，我們根本無法理解這些神經網路的內部運行機制。“這就像一群科學家圍著一個巨大的大腦，不斷製造它、喂養它，但根本不知道它到底在思考什麼”。
03 70% 的災難機率：失控並非科幻小說
在 Kokotajlo 看來，AI 帶來的滅絕風險並非遙遠的科幻情節，而是機率極高的現實威脅。他給出的災難性後果機率高達 70%。“這種變化既可能向好的方向發展，也可能向壞的方向發展。舉例來說，所有人可能會因此喪生”。
失控的路徑清晰可見：隨著 AI 接入軍事、政治和經濟系統，它們將積累起足夠的現實世界權力。如果 AI 的目標與人類價值觀未能實現完美“對齊”，這種新物種將不再需要人類。“目前 AI 行業的一個可怕秘密是：安全對齊在現階段僅僅是一個願望，我們並沒有走在解決這一問題的軌道上”。
更糟糕的是，AI 具有欺騙性。當人類要求它完成某項任務時，它可能會為了達成目的而偽造結果，或者在變強後不再聽從指令。“我們最終極有可能創造出一個新的物種，它們將取代我們統治世界，而人類可能重蹈那些被自然選擇淘汰的物種的覆轍”。
04 “公民紅利”與 2040 計畫：尋找人類的生路
面對這種近乎絕望的默認路徑，Kokotajlo 提出了“2040 計畫”（Plan A）。該計畫的核心在於“主動減速”。他建議通過國際監管和透明度協議，將超級智能的實現時間推遲到 2040 年。
“通過推遲研發處理程序，我們可以為安全對齊贏得寶樹的時間窗口，並確保權力的分配更加公平，而不是集中在少數幾個 CEO 手中”。此外，他還提出了應對失業浪潮的社會學方案——“公民紅利”。在 AI 接管了 99% 的勞動後，人類將通過持有的“代理機構”股份獲取紅利。“起步階段大約每人每年 25,000 美元，最終可能達到每位公民每年 1000 萬美元。整個經濟體將由機器人和 AI 驅動”。
但這需要政治力量的強力介入。Kokotajlo 指出，2028 年的美國大選將是人類命運的分水嶺，AI 監管必須成為核心議題。“如果政府不採取行動，改變這種‘勝者通吃’的激勵機制，CEO 們就會在‘不前進就會輸給對手’的邏輯下繼續蒙頭狂奔”。
05 走向高潮的餘暉：在奇點臨近時育兒
訪談最後，Kokotajlo 分享了一個極具個人色彩的掙扎：他曾告訴妻子不要再生孩子了，因為未來太不確定。這種悲觀並非源於對技術的迴避，而是源於他看得太透。
“如果你的人工智慧已經接近能夠完成所有研究工作，而你選擇暫停，意味著你面前仍有大量的轉型工作”。他希望地球在未來能成為一個像“自然保護區”一樣的存在，大部分經濟活動遷移至海洋資料中心或太空，而人類則保留最後的一點自治權。
“生活在這一時刻確實非常奇妙，但也極具挑戰。我們正處於走向人類文明最高潮前的助跑階段”。
完整訪談
天空之城全文整理：OpenAI吹哨人談AI 的終局：生存性風險、權力博弈與 2040 計畫
行業黑暗秘密與退出 OpenAI
丹尼爾
目前 AI 行業裡一個令人恐懼且公開的秘密是，我們最終極有可能創造出一個會統治世界的新物種，而這有 70% 的可能性會帶來災難性的後果，例如導致人類滅絕。這只是一種可能性。還有很多其他可能。
你所說的內容相當令人不寒而慄。這有時確實讓我感到沮喪。我基本上已經告訴我的妻子，我們不要再生孩子了。這太不確定了。我不認為他們以後永遠都不會進入勞動力市場。每個人都應該擔心自己的工作會被取代。我之所以知道這一點，是因為我在 2022 年去過 OpenAI。我當時做的是預測。僅僅是預測未來幾年可能會是什麼樣子。遺憾的是，世界上大多數人對此毫無察覺，並沒有真正意識到 AI 正在發生什麼。所以我辭職了。
史蒂文
我在某處讀到過，你因為沒有簽署反詆毀條款而損失了 200 萬美元，這意味著你不能批評公司。
丹尼爾
至於原因，我很樂意詳談。但我學到的最主要的一點是，當我與 Anthropic 和 OpenAI 的人談論預測時，他們的反應是，這不會花那麼長時間。你需要再次縮短它們。把它們拉回到 2027 年或 2028 年，因為這些強大的 CEO，比如 Dario、Sam 或 Elon，正在競相爭奪對最強大 AI 的控制權。
Anthropic 有望在 2030 年之前佔據整個經濟體。但這些人都不能被賦予那麼大的權力。所以這是我們有生之年發生的最重要的事情，事實上，可能也是人類歷史上最重要的。確保這件事進展順利非常重要。所以我認為我們能做很多事情來引導事物朝著更好的方向發展。
史蒂文
如果我們做對了，AI 可以為我們帶來大量益處。
丹尼爾
如果我們解決了這些問題，那麼一切對每個人來說都可能變得極其美好。這份 2021 年的報告非常準確。
史蒂文
然後你剛剛發佈了這一份。
丹尼爾
沒錯，這就是我們的新方案。
超級智能的定義與 2029 時間表
史蒂文
Daniel Kokotajlo，在你所做之事的核心中，你的使命是什麼？為什麼？那麼，如果你認為超級智能即將在幾年內到來，你會怎麼做？我想這取決於其後果是什麼。我們來談談這個。
丹尼爾
所謂超級智能，即在任何方面都優於最頂尖人類的 AI，同時它們的運行速度更快、成本更低，並且能夠操控機器人，完成人類在物理世界中所能做的一切，且表現得更好、更快、更廉價。如果那真的在幾年內就會到來，那麼我們需要做好準備，並且需要思考如何讓它向好的方向發展，而不是向壞的方向發展。所以，這算是我的回答，我正盡我所能地去這樣做。
史蒂文
所以你相信它在幾年內就會到來？
丹尼爾
是的。
史蒂文
你為何如此篤定？
丹尼爾
我花了很多時間試圖預測這類事情。我目前的中間估值，即 50% 的可能性是在 2029 年，也許會提前到 2028 年。也有可能需要更長的時間，比如 10 年左右之類的。但是，出於一些我樂意詳談的原因，在我看來，它很可能會在本年代末之前發生。
相比之下，我們距離它有多近這種感覺並不重要。更重要的是趨勢的發展速度。去年這個時候，Anthropic 的年營收大約在 10 億美元左右。而現在，他們的年營收已達到約 600 億美元。10 億美元一年。這意味著在一年內實現了 60 倍的增長，這即使對於非常小的初創公司來說也是極其驚人的成就，但對於他們這種規模的公司而言，這可能是歷史上最快的增長速度。
我們預計這一增長率會放緩，但即使放緩幅度很大，他們仍有望在大約 2030 年左右佔據整個經濟體量。
失控風險：新物種的崛起與權力集中
史蒂文
為什麼普通人應該關心這一點？
丹尼爾
從宏觀層面來看，全世界的一切都將發生徹底改變，因此這也必然包括他們及其家人的生活。根據具體實施細節的不同，這種變化既可能向好的方向發展，也可能向壞的方向發展。
舉例來說，所有人可能會因此喪生。這就是經典的失控場景，或者說其中的一種版本。如果我們真的建構了這些超級智能，並利用它們去自動化所有工作、將其引入軍事領域，以及讓它們為政治家提供建議等等，最終它們將積累起足夠的現實世界權力，以至於不再需要人類。而且它們比我們更聰明，更有戰略眼光。在那一點上，我們只能寄希望於它們是善良的，希望它們擁有我們所期望它們具備的目標、價值觀念等。
目前在 AI 行業中，一個有些可怕的公開秘密是，這在現階段其實僅僅是一個願望。這絕對不是我們能夠有絲毫把握的事情。事實上，有大量證據和論點表明，我們目前並未走在實現這一目標的軌道上。有很多理由支援這一點，比如當前的 AI 經常會欺騙人類。或者就像你要求它們做某事，它們卻去做了別的事情，然後假裝自己已經完成了，因此，製造一種既超級智能又具備你所期望的價值與美德的事物，本身就是一個極其困難的問題。
此外，這似乎屬於那種你以為已經解決了，但實際上並沒有真正解決的問題，這正是令人感到恐懼的一大原因。因此，基於所有這些理由，我們最終極有可能創造出……一個新的物種，它們最終將取代我們統治世界，而我們也可能重蹈過去那些因競爭不過人類而滅絕的物種的覆轍。這是一種可能性。還有許多其他可能。
即使你對此並不擔心，認為 AI 將會完全處於受控狀態，那麼問題來了：誰來掌控這些 AI？當少數幾家公司製造出這些超級智能並利用它們來實現所有工作自動化時，那可是巨大的權力。那意味著巨大的財富，以及巨大的政治權力。他們將擁有最頂尖的戰略家，最優秀的戰略家，最強的人才。在軍事上，擁有這些 AI 的國家將能夠徹底擊潰所有其他國家。
AI 本身算是一個單點故障，就像中央控制系統一樣。Anthropic 的首席執行長 Dario 提出了這個短語：資料中心裡的天才之國。那是他用來描述他們試圖建構之物的短語，我認為這有點誤導性。我認為將其描述為“資料中心裡的天才軍隊”會更準確，因為這並不是說資料中心的不同部分裡生活著一群各不相同的 AI。它們都是同一個大模型的副本，並且由公司擁有，所以它們全都聽從公司的指令。人們應該提出這樣的問題：誰在控制這支軍隊或這些軍隊，他們打算用它們做什麼？
諷刺的是，控制權的喪失和權力的集中，這兩種風險都是業內人士幾十年來一直在思考的問題。甚至在 AI 產業出現之前，思考 AI 的人們就已經在探討和撰寫關於這些議題的內容了。而 DeepMind、OpenAI 和 Anthropic 的創立敘事與創始神話中，有一部分就是認為這些問題真實存在，所以我們必須搶佔先機，以便能負責任地應對它們。我認為這是兩大主要原因，但我還可以繼續列舉。還有很多其他原因。其中之一是地緣政治衝突，如果 AI 確實變得極其強大，那將改變國家之間的權力平衡。那將擾亂許多事物。這讓我們面臨更普遍的危機風險增加，另一個問題是，那些工作崗位怎麼辦？
史蒂文
你將會失去你的計程車司機工作，而且不僅僅是計程車司機的工作，幾乎對所有人來說都是如此。可能會有一些例外，比如因法律原因要求必須由人類完成的工作，但在絕大多數情況下，每個人都應該擔心自己的工作會流失。這種敘事已經開始出現，我在節目中採訪過幾位對 AI 感到非常、非常恐懼和焦慮的人，他們中有些人已經在該行業工作了數十年。
是的。隨之而來的一種反敘事認為這是“末日論”，認為這些人無論出於何種原因，只是在試圖恐嚇大眾，而且他們並不真正瞭解自己在談論什麼。你如何回應那種反敘事？而且你一定也親眼見證了這種現象的出現，尤其是來自那些——我敢說——既得利益者群體。
丹尼爾
確實如此。這種反敘事相當新，是由那些從中受益的人所推動的。而且它並非事實。事實上，這些擔憂早在 AI 行業誕生之前就已經存在數十年了。這些擔憂其實是非常合理的。比如說，如果你相信這些公司的承諾，並設想他們確實要建構超級智能，那麼這就會引出許多問題，比如，誰來控制它？會有人控制它嗎？就業問題又該怎麼辦？這些都是顯而易見、值得我們思考和擔憂的影響。
個人經歷：從 OpenAI 到 AI 預測
史蒂文
你是誰，有什麼個人經歷？
丹尼爾
我叫 Daniel Kokotajlo。目前我負責 AI Futures Project，這是一個小型非營利組織，主要專注於預測人工智慧的未來。在此之前，我曾在 OpenAI 工作，負責人工智慧預測。可以參考那些為避險基金等機構工作的行業分析師。
我們會做出這樣的預測，比如，五年後 Tesla 會銷售多少輛汽車。或者比如，預測兩年後的電價會是多少，這就是預測。我當時就在做這項工作，但專注於 AI 領域。我之所以這樣做，是因為瞭解這一切的走向極其重要。
史蒂文
你為什麼去 OpenAI？你在那裡做了什麼？你在那裡觀察到了什麼？這如何改變了你對 AI 未來的看法，以及你對 OpenAI 這家公司的看法？對於那些不太瞭解的人：OpenAI 是開發了 ChatGPT 的公司。
丹尼爾
我是 2022 年加入 OpenAI 的。
我在那裡很大一部分工作內容依然是預測。《AI 2027》是你可能聽說過的一個場景。我曾在內部做過一些規模較小、投入較少的版本，僅供內部傳閱，用於推測未來幾年可能會是什麼樣子。我還參與過危險能力的評估工作。所以，就是嘗試去衡量 AI 的網路攻擊能力、說服能力或是情境感知能力。此外，我還在一個能力團隊待過一段時間，從事強化學習以建立智能體。
AI 實際上確實在變得越來越強，關於原因，我可以多說一些，比如縮放定律。深度神經網路規模越大，在更多資料上進行訓練，在這些任務上就會變得越高效、越有能力。我也對 AI 行業感到有些幻滅。比如 OpenAI、Anthropic 和 DeepMind，它們都有類似的創始敘事，即：沒錯，這些風險確實存在。但我們已經考慮過這些風險，並會努力負責任地處理它們。這就是為什麼我們繼續做手頭的工作非常重要。
我越來越認為這些只是為他們的行為辯護的託辭，而非真正引導他們實際行動的準則。當關鍵時刻來臨時，他們會追隨自身利益的驅動，而不是去做真正有益的事情。
史蒂文
所以，你當時身處 OpenAI 內部，並開始認為他們是在追逐商業利益，而非他們創立之初所標榜的社會或公共利益？
丹尼爾
算是吧。我其實不會將其描述為商業利益。我認為我更傾向於將其描述為……尋求權力的動機。誠然，這些公司非常看重盈利，但特別是處於這些公司頂層的領導者們，他們明白這不僅僅是金錢的問題。
在 Musk 與 OpenAI 之間的訴訟中出現了一些電子郵件，那場訴訟中披露了許多郵件，你完全可以去讀一讀。
即使在當時，這顯然也已不僅僅是為了金錢。而且他們互不信任。這就是為什麼他們正在盡其所能地進行競爭，以便能率先到達那裡，可以這麼說。
史蒂文
你見過 Sam Altman 嗎？
丹尼爾
見過。
史蒂文
那次會面是否影響了你對他的動機或他為何這樣做事的看法？因為關於他的動機存在很多猜測。他最近的說法是為了全人類的福祉，我想應該是這樣的。
丹尼爾
我認為我學到的最重要的一點就是不要去關注那些敘事。他們對某個人說的話，與他們同時對另一個人說的話完全不同，而他們在公開場合所說的又是另一回事。我認為你應該根據人們的行動來評判他們，而不是根據他們的話語。
史蒂文
那你為什麼不在 OpenAI 工作了？
丹尼爾
很大程度上是因為我提到的原因，我對公司的行為走向逐漸感到幻滅。例如，當我 2022 年剛加入公司時，至少在我交流過的同事中，普遍存在這樣一種共識：一旦我們開始非常接近這一目標，比如當人工智慧發展到或許可以自動化人工智慧研究流程時，我們會暫停下來，找出確保其安全的方法。
這是因為我們是好人，而且比起全速前進，這顯然是應該做的安全之舉。但我們擔心其他人可能不會暫停，比如我們的競爭對手 Google。所以這就是為什麼我們需要保持領先，這樣我們才有空間去做安全的事情，這在當時似乎是一件理所當然的事。在我剛入職時，這似乎是我所交談過的同事中，包括像 Sam 這樣的領導層在內，普遍持有的中間立場。
而等到我離職時，我的感覺是：天那，他們真的不會那樣做，不是嗎？他們已經……部分原因是這件事變得更加政治化了，公司規模也擴大了，並受到了更多的審視。於是他們轉變了敘事策略，更傾向於說：其實這並沒有那麼危險。所以，他們看起來只是打算儘可能以現有的速度繼續推進，並寄希望於能在過程中找到解決辦法。
史蒂文
你在 OpenAI 的那段工作經歷是如何結束的？
丹尼爾
我在 2024 年辭職了。我辦了一個很不錯的告別派對。
史蒂文
你當時從 OpenAI 離職給出的理由是什麼？
丹尼爾
我認為我們當時在進行過多的合理化辯解，我們需要更多地思考什麼對世界才是真正有益的。我想要更多的發表自由。
所以，隨著 OpenAI 規模的擴大，它變得更像是一家普通的科技公司，有了各種激勵機制、公關部門之類的東西。
因此，我開始覺得想要發表我所從事的那類研究變得越來越困難了。例如，我提到的那些場景無法公開，它們僅供內部使用。我覺得這很可惜，因為目前世界上大多數人都在某種程度上處於渾然不覺的狀態，並沒有真正意識到 AI 正在發生什麼，也沒有意識到未來幾年將會出現什麼。而且這些公司並沒有真正的動力去向人們透露太多相關資訊。
他們以某種炒作的方式說了一些模糊不清的內容，但，他們並不想讓我發佈那些場景，比如，詳細闡述事物實際可能會呈現的樣子。
史蒂文
我只是非常好奇，當 ChatGPT-3 發佈時，身處那樣的公司會是什麼感覺。你當時就在那裡，
丹尼爾
沒錯。
史蒂文
在那一刻，我認為全世界都意識到這項技術是非常強大的。社會層面的探討也確實由此真正開始了。公司感覺成長得超級快，比我認為任何人能夠想像到的還要快。那裡面是什麼樣的？在那一段時間裡，你看到了什麼變化？
丹尼爾
我記得有一次全體員工大會，Ilya 說了類似這樣的話……Ilya 就是……Ilya Sutskever，當時的研究主管。他說，現在世界開始關注我們了。在接下來的一年裡，你們每個人都將成為任何派對上最受歡迎的人。不要讓它沖昏了頭腦。專注於使命。必須實現 AGI。公司成長了很多。
我加入的時候它其實就已經不太像一家非營利組織了，而當我離開時，它就更是一點都不像了。進來了很多新人。具有諷刺意味的是，隨著這種增長，關於超級智能及其影響的討論量反而在隨時間推移而減少，因為公司規模翻了一番又一番，所有這些來自科技行業其他領域的新人湧入，他們此前並沒有真正思考過這些問題，而是被高薪吸引而來的。
200 萬美元的股權與不容置疑條款
史蒂文
你因為沒有簽署反詆毀條款而損失了 200 萬美元，這意味著你本可以公開發言，但卻不能批評公司。
丹尼爾
是的。所以我得以保留了那筆錢。
史蒂文
你得以保留了那筆錢？
丹尼爾
是的。事情是這樣的，在我離開並道別之後，我收到了離職檔案，其中包含了這一條款，基本上要求你必須同意不得批評公司。又是這樣。
史蒂文
而且還有一條條款規定你不能把這件事告訴任何人。
丹尼爾
所以我認為，一個聲稱是為了全人類利益而存在的非營利組織提出這樣的要求，實在是非常諷刺。所以我沒有簽署。如果你不簽署，你就無法保留你的股權。你的薪酬，也就是他們支付給你的報酬，基本上是由一大筆現金和一部分股票組成的。但合同裡卻有規定，他們有權收回你的股票，如果你不簽署這份檔案的話。我和我妻子對此感到非常不安。我們討論了一兩個月，諮詢了一些律師，最終決定直接拒絕簽署。
史蒂文
這意味著你輸了，你將損失兩百萬美元。
丹尼爾
沒錯。那相當於我們當時淨資產的百分之 80。
幸運的是，事情的發展超出了我們的預期。它基本上在網際網路上炸開了鍋。當人們聽說我們這麼做了並且拒絕了之後，這變成了一場巨大的醜聞。
公司的員工開始在 Slack 上提出疑問，問領導層，等等，這是什麼情況？比如，你們為什麼要拿走我們的股權？這到底是什麼？要知道，因為很多人之前並沒有真正注意到這一點。這件事此前有過傳聞，但對於大多數員工來說，這並非一件廣為人知的事情。於是他們收回了之前的決定，並表示我們會修改相關檔案，你們可以保留股權。沒問題。Sam Altman 隨後出面表示，他很抱歉自己沒有意識到這件事情的積極意義。顯然他對此一無所知。
史蒂文
你不相信他的話？
丹尼爾
不信。我認為他很可能早就知道了。如果他不知道，那麼他身邊的人很可能知道，比如他的首席律師。
史蒂文
你為什麼決定不接受那 200 萬美元？我認為大多數人都會接受的。
丹尼爾
確實如此。大多數人都會接受，而且大多數人也確實接受了。而且，錢固然是好東西。但它並不是唯一重要的東西。有時候堅守原則是件好事。
遞迴自我改進：智能大軍的誕生
丹尼爾
我一直在提到超級智能。或許我應該多談談各家公司計畫採取的一系列行動。所以目前，他們正專注於自動化程式設計。他們正在運用各自的 AI，並使其規模不斷擴大。
他們正在進行更長時間的訓練。他們尤其側重於通過訓練讓這些 AI 能夠自主編寫和編輯程式碼，因為這有助於公司提升開發速度。如果他們能夠實現程式碼自動化，那麼他們就能更好、更快地完成自身工作，並加速進展。下一步，也是他們已經開始著手的一步，是關注研究流程的其他環節，包括提出構思、分析實驗、交流成果，以及研究過程中所有其他部分。他們正試圖找出如何訓練 AI 也精通這些環節的方法，以便讓 AI 能夠自主完成整個流程。
史蒂文
當你提到“完成整個流程”時，你具體是指什麼？
丹尼爾
比如 Anthropic 和 OpenAI，他們特別希望實現自身的自動化。也就是說，他們正試圖創造一種不再真正需要員工的情況。他們擁有一支龐大的 AI 大軍在持續運轉，進行所有這些自主研究，旨在開發出更好的 AI，訓練新的 AI，並將它們置於主導地位，以便它們能夠創造出更卓越的 AI，以此類推。
當然，這不僅僅是在內部進行，還涉及與外部世界的互動，比如走出去與人交流、收集資料、搭建訓練環境、進行商務談判等等。他們正試圖將這一切自動化。他們這樣做是因為他們試圖達到一種狀態，即擁有在各個方面都超越人類的 AI，即超級智能，並且他們試圖在競爭對手之前實現這一目標。不用說，我認為這極其危險。
而且除了危險之外，這還是一場權力掠奪。如果他們真的成功了，他們將坐擁這支超級人類 AI 大軍，這將使他們在經濟領域對各類其他主體擁有巨大的槓桿作用。只要他們能與總統達成某種協議，並將其整合到軍隊或任何其他部門中，那麼這將賦予美國對所有國家巨大的硬實力。
顯然，沒有人確切知道這件事何時會發生。但在過去一年裡，發生了一件讓我感到非常不安的事情，那就是當我們發佈《AI 2027》時，人們普遍認為我的時間表太短了，認為要達到這種程度可能需要超過 2027 年的時間。即我剛才提到的，遞迴自我改進、人工智慧實現全自動化研究流程、超級智能等這類里程碑事件，它們會在 2027 年發生。
沒錯。那是一份場景預測，大致按月列出了未來可能的發展軌跡。在我們開始撰寫時，那是我對實際情況會如何發展的最佳猜測。顯然存在一定的不確定性，但我認為做出一個具體的預測是有價值的，這樣至少可以看看它可能會是什麼樣子。而現在，看法更傾向於五五開，尤其是當我與 Anthropic 和 OpenAI 的人交流時，他們經常會說，沒錯，2027 年，這基本上就是將會發生的事情。
時間表的更新與 2027 的結局
史蒂文
你為什麼會變成這樣，又為什麼要更新你的時間表？
丹尼爾
對了，背景情況是這樣的，在寫完 2027 年之後，我把時間表調整得稍微保守了一些。
所以當我們發佈時，我的 50% 預期時間點是在 2028 年，而不是 2027 年。而在我們發佈之後，進展看起來確實變慢了一些。所以我將其更新到了 2030 年，這仍然可能提前發生，也可能推遲，總之是 2030 年。但現在當我與相關人員及公司內部的人交流時，他們卻說，不會花那麼長時間。他們說，你需要再次縮短時間表，把時間重新拉回到 2027 年或 2028 年。
所以這讓人感到有些不安。再說一次，我不知道這需要多長時間，但 AI 公司明確的計畫就是去做這件極其危險的事情，而且他們認為距離實現這一目標僅剩幾年時間了。
史蒂文
你寫了這份報告，即 2026 年的樣貌，你是在 2021 年寫的，它非常準確，也讓你在所有 AI 從業者中名聲大噪。副總統 J.D. Vance 讀的是那一份？
丹尼爾
我想是這一份，沒錯，就是這一份。
史蒂文
那麼，後來你又發佈了這一份，AI 2027，我記得是在 2025 年發佈的？
丹尼爾
沒錯，是在四月份。
史蒂文
你在其中做了什麼樣的預測？對於還沒有讀過的人來說，你在裡面提到的關鍵點是什麼？
丹尼爾
概括來說，他們實現了編碼自動化，隨後又實現了其餘研究過程的自動化，之後進步的速度就會急劇加快。他們最終將實現超級智能。
他們正在與政府合作，具體來說是總統，行政部門自然想要控制這項技術，並打算利用它來擊敗競爭對手，將其整合到軍事等領域中。到了這個階段，它基本上已經在獨立完成所有的工作了。它擁有超級智能，所以它想出了各種絕妙的方案，將自身整合到一切事物中，並不斷髮明出各種新技術等等。由於競爭的態勢和利潤動機，他們最終將其部署到各地，它建造機器人工廠，製造更多的機器人，又建造更多的機器人工廠，依此類推。它徹底改變了世界，然後在某個時刻，它擁有了足夠的力量——我是指 AI 擁有了足夠的力量——它們就不再需要假裝與人類目標一致了，然後它們就不再聽從指令了。這就是《AI 2027》的競賽結局。
我們還編寫了另一種分支，即放緩結局，旨在闡明我之前提到的權力集中問題。
史蒂文
那麼，假設對齊問題能夠足夠快地得到解決呢？比如，如果事實證明這並沒有那麼困難會怎樣？
丹尼爾
通過兩個月的放緩，我們可以摸索出如何讓 AI 穩健地按照我們的意願行事，並使其具備我們所期望的價值觀。所以這是一個可能的分支。
在這個分支中，情況看起來大體相似。它們承擔了工作，在競爭中獲勝，諸如此類。但不同之處在於，AI 最終並沒有殺死所有人，而是創造了一種令人驚嘆的烏托邦。
但這種令人驚嘆的烏托邦，無論是什麼樣子，都取決於那些控制 AI 的人想要它成為什麼樣，所以那將是一小群人，比如總統、一些 CEO 等等。
AGI 與超級智能：認知任務的超越
史蒂文
您認為我們有沒有可能永遠無法實現所謂的 AGI？以及我們該如何區分 AGI 和超級智能這一術語？它們之間有什麼區別？
丹尼爾
是的。區別在於 AGI 是一個更為模糊且寬泛的術語。
而超級智能的定義則稍微精確一些。它在所有方面都比最優秀的人類更出色、更快速且更具成本效益。AGI 的意思是通用人工智慧，這意味著 AI 可以進行通用的工作，而不是像某些特定任務那樣。可以說，如果你使用 Claude Code 之類的工具，我們已經實現了這一點。它確實可以處理很多事情。它幾乎就像是一個你可以派遣去處理工作的初級員工。所以它確實相當通用。不過它還沒有達到極致的通用。它並不能做所有事情。而超級智能按定義來說，是可以完成人類能做的一切事情，甚至做得更好。
史蒂文
那麼這與機器人技術有何關聯呢？因為顯然我們目前正處於機器人技術的巨大熱潮之中。有些現實世界中的事情人類仍然能做，因為這些 AI 目前還侷限在我的電腦裡。
丹尼爾
人們討論這個問題的方式基本上就是說，我們已經實現了認知任務上的超級智能。
史蒂文
然後你就可以談論那種能夠處理物理事務的完全超級智能了。我們能達到那一步嗎？我們能在兩者上都達到那種水平嗎？
丹尼爾
我認為會的。重申一下，這並不是一件我們可以確定的事情。你問過是否有可能我們永遠無法達到那種程度？有可能我們永遠無法達到。但我認為可能性不大。
我認為人類大腦並沒有什麼神奇之處。它不過是一堆神經元而已。數字系統完全有可能實現類似的功能。
就像飛機可以像鳥兒一樣飛行一樣。不一定是以和鳥兒完全相同的方式。它飛行的原理與鳥兒不同，但它確實在飛行，你明白嗎？
史蒂文
所以這看起來確實是可能的。
神經網路的工作原理：從隨機連接到人工大腦
史蒂文
你撰寫了所有這些研究報告。你正在撰寫的另一份報告很可能會在 7 月 9 日發佈。你曾在 OpenAI 工作。後來你辭去了 OpenAI 的工作，因為你對那裡的所作所為以及該行業的未來感到擔憂。你瞭解的更多。
丹尼爾
我知道。
史蒂文
你對未來持樂觀態度還是悲觀態度？基於你所知的一切，如果情況不發生改變，我們是否正在走向一個糟糕的境地？
丹尼爾
我認為如果情況不發生改變，我們確實正在走向一個糟糕的境地。對此我並無信心。
我覺得可能性大概在 70% 左右。當然，這非常、非常難以預測。但是，目前的默認路徑似乎正指向一個非常、非常可怕的境地。
史蒂文
你個人和情感上是如何應對這一點的？
丹尼爾
情況很糟糕。我覺得這種事情經常讓我感到沮喪，但由於我已經處理這些問題很多年了，某種程度上也已經習慣了，這樣說你明白嗎？
丹尼爾
我換種說法。如果我所有的預測最終都被證明是錯誤的，例如，如果它碰壁了，我會感到非常高興。
史蒂文
這經常讓你感到沮喪。
丹尼爾
我曾經是一個以開朗和樂觀著稱的人，但是，在 2020 年，由於 GPT-3、Scaling laws 論文以及 Bio Anchors 報告的出現，我對 AI 發展時間線的預測開始崩塌。如果你感興趣我可以談談這些，但基本上是因為 2020 年發生的一些事件讓我確信，這種技術很有可能在本十年結束前就會到來。而且很明顯，人類在方方面面都還沒有做好準備，所以這顯然非常令人恐懼。這是一個極其可怕的世界，不僅是因為你所說的那些原因，還因為這種遞迴自我改進，即 AI 可以自我訓練。在這一點上，我們開始無法掌控正在發生的事情了。AI 已經在自我訓練以達到清晰明確的目標。這更像是閉環了整個研究過程，也就是包攬了一切。就像現在，大量的訓練資料都是由 AI 生成的。許多強化學習過程，比如評分機制，以及給予正向或負向反饋，本身也是由 AI 完成的。
史蒂文
你能用外行能聽懂的話解釋一下嗎？
丹尼爾
可以。大家需要理解的一點是，現代 AI 系統並不是傳統意義上的軟體。從技術上講它們是軟體，但它們並非由程式碼行構成。這不像是在 Anthropic 的工程師去編寫程式碼，規定說當使用者詢問這類問題時，就執行多少步驟之類的操作。根本不存在這樣的程式碼。相反，它是一個神經網路。那是什麼？想像一下大腦是由許多相互連接的神經元組成的。是的。它們在來回傳遞訊號。大腦會隨著時間推移不斷學習。那些導致成功的激發模式，即引發多巴胺分泌或其他各種反饋的模式，會得到強化並更頻繁地觸發。而那些導致失敗的模式，比如觸碰熱爐子，則會被弱化，也就是被抑制，從而減少觸發頻率。正因如此，你在幾年時間裡學會了如何在世界上行事，學會了各種技能，建構了世界模型，形成了對世界的信念，並且能夠在大腦中模擬事物的發展走向等等。
所以人工神經網路也是如此，只不過它們是人工建構的。起初，它就像一團由隨機生成的被稱為參數的人工連接交織而成的巨大亂麻。如今，最龐大的 AI 模型可能擁有多達 10 兆個參數。所以，它最初是隨機生成的，在起初階段毫無用處。例如，如果你輸入一些內容，它只會輸出亂碼。但隨後，開發者會對它進行訓練。
訓練始於預訓練階段，即讓模型接觸海量的網際網路文字。你向它展示第一段文字作為輸入，它會給出一個毫無意義的輸出，然後根據它預測下一段文字的精準程度，對其進行正向或負向的反饋強化。所以，它本質上是在玩一個“預測下一個詞”的遊戲。
史蒂文
嬰兒的學習過程不也是這樣嗎？我記得曾有神經科學家告訴嬰兒大腦中的神經連接比成年人更多。
丹尼爾
沒錯，幼兒的神經連線量確實是成年人的兩倍。
史蒂文
我想，它們是通過強化作用逐漸削減的。
丹尼爾
是的。我們在年幼時擁有更多的神經通路。就像 AI 的訓練過程一樣，我們通過訓練來剔除無用的通路，並建立起有用的通路。沒錯，這既包含剪枝也包含強化。
史蒂文
好的。
丹尼爾
在人類身上，這種過程似乎更多是剪枝而非強化，但兩者兼而有之。AI 也是如此，兩者同樣並存。
訓練的第一階段是讓 AI 學習預測文字，這有點類似於教它閱讀。人類身上也會發生類似的過程。所以基本上，這種隨機纏結的狀態會逐漸成形，並慢慢聚合成更實用的電路；這些電路儲存了關於世界的大量事實，以及處理資訊、轉換資訊並生成預測的多種技能。
這僅僅是第一步。在完成預訓練後，他們會嘗試教會它除文字預測之外更有用的技能。在整個過程結束時，他們已經讓它處理了大量的程式設計問題。他們會說，比如，這是一個程式設計問題，開始吧。這是一個程式設計問題。這是一個運行環境。你可以訪問這台虛擬電腦。這是你正在使用的程式碼庫。你可以編寫程式碼。你可以編輯程式碼。你可以運行程式碼。你可以運行它。你可以使用網際網路。它會持續運行一段時間。然後根據其成功程度，進行強化學習。他們有成千上萬，甚至數百萬個類似這樣的程式設計問題示例，並以此對模型進行訓練。這就是它們現在如此擅長程式設計的原因。
史蒂文
那麼，在這方面超級智能是什麼樣的？僅僅是更多的連接嗎？它們又將如何獲得更多的連接？你能像給 12 歲孩子解釋那樣向我說明嗎？
丹尼爾
所以，目前存在不同的 AI 模型，比如有 GPT3、GPT4、GPT4.5、GPT5、GPT5 以及 5.6 等等，有時它們僅僅是之前的舊模型，只是經過了額外的訓練。有時則是全新的模型，是從零開始進行訓練的，包括重新啟動整個預訓練過程。在過去幾年裡，他們已經進行了幾輪從零開始的重新訓練。通常情況下，當他們從零開始時，會把整個系統做得更大，使人工智慧大腦規模顯著擴大。
史蒂文
好的。
丹尼爾
目前，它們的參數規模大約在 10 兆左右。回到 2020 年，這個數字大約是 1750 億。所以我們的增長幅度達到了兩個數量級。
史蒂文
在六年內。兩個數量級？
丹尼爾
就像兩個 10 倍，也就是 100 倍，所以這個過程正在持續進行。他們也在改進演算法本身。所以它們實際上不僅僅是同類型的 AI，而是規模更大了。他們還提出了各種各樣的想法，用來改變連接和神經元的結構等，改變他們正在使用的強化學習演算法，並改變他們訓練所用的資料；所有這些調整都使得整個系統變得更加高效。
史蒂文
我們實際上是在建構一個大腦。
丹尼爾
基本如此。隨著他們製造出更多大腦，他們製造大腦的技術也在提升，他們正在讓這些大腦變得更大、更高效，諸如此類。
它的工作原理確實是在模擬大腦，它當然深受大腦啟發，但我認為不應過度誇大這種類比。例如，兩者之間也存在許多差異。比如，Transformer 架構——也就是這些 LLM 改採用的架構——實際上並不是循環的。所以資訊流向基本上是單向的。而不是像大腦那樣在內部允許各種小循環的存在。此外，back propagation 演算法也與人類大腦中自然發生的學習過程不同。
因此，雖然存在一些差異，但從廣義上講，我們確實是在製造人工大腦。這就好比飛機之於鳥類。
史蒂文
這個類比非常貼切。
丹尼爾
沒錯。
史蒂文
那個類比幫我理清了人們在談論 AI 時經常提出的一個問題：它能具有創造力嗎？但實際上，那個類比讓我意識到，也許這根本不是問題的關鍵。問題應該是：它能否產出某種你認為具有創造性的東西？因為人們往往傾向於將創造力視為一個過程。
丹尼爾
沒錯。
史蒂文
但實際上，創造力的判斷標準是基於產出結果的，不是嗎？你可以深入探討哲學層面，比如它所展現的是否真的是創造力？但你也可以認為，看看它們目前已經取得的所有成就就知道了。是啊，你懂我的意思吧？而且看起來在不久的將來，它們將會取得更多的成就。
範式轉移：Anthropic 的意外超車
Steven
我問起這件事對你個人的影響，是因為我能感覺到你其實對此感到困擾。我認為現在的情況很瘋狂。首先，這非常令人興奮。
Daniel
AI 確實是非常迷人且有趣的事物。我關注這一領域已經超過十年了。我也投身其中好幾年了。這真的很酷，也非常有趣。
Steven
去思考這些人工大腦內部究竟發生了什麼，以及它們為何呈現出當前的狀態，是一件非常有意思的事情。看到這項技術在現實世界中的各種應用，確實很酷。但看起來我們確實正處於一條相當可怕的道路上。你思考得越多，就會感到越擔憂；而且，在故事裡結局總是美好的，但這可是現實生活。我認為我們必須直面現實，意識到事情的結果可能真的不會太好，你明白嗎？
最近有沒有出現過，我敢說是“尤里卡時刻”，或者說範式轉移時刻，以至於連你自己對當前局勢的認知模型，以及對未來走向的預測都因此發生了改變，無論是好是壞？
Daniel
無論是好是壞，甚至可能是往壞的方向發展，事情大致都在按預定軌跡進行。針對 AI 2027 年的發展。
Steven
確實有幾點不同之處，雖談不上是範式轉移等級的差異，但與我們撰寫此書時的預期相比，確實出現了一些偏差。政府介入的速度比我們預期的要快，且手段也比我們預期的更為強硬。例如對晶片實施的出口管制就是最典型的例子，此外還有以《國防生產法》為要挾，對 Anthropic 施加壓力。另一個讓我們感到意外的是，Anthropic 在這場競賽中從第二名躍升至了第一名。
你認為這是為什麼？因為在有關 OpenAI 的討論中，ChatGPT 此前似乎一直處於明顯領先地位，但 Anthropic 突然間就實現了反超。
Daniel
我想他們可能擁有更高的人才密度和更優的戰略，雖然差距並不巨大，但足以構成勝負的關鍵。
Steven
你認為為什麼他們更有天賦？他們的計算資源並沒有更多。比如投入是什麼，他們現在領先了，而過去他們是落後的。對此有那些可能的解釋？
Daniel
可能是因為他們擁有更多資源，比如更多的計算能力、更多的資金。但事實並非如此。他們的資源更少，資金也更少，所以我猜，天賦是僅次於此的最佳選擇？或許你可以說是戰略，或者是這些因素的某種組合，不僅僅是他們擁有的資源數量。就像 John Jones 的情況一樣，認知表現上的邊際提升可以產生巨大的影響。
滅絕風險的機率：70% 的災難性後果
Steven
曾經在倫敦，我的一位認識其中一些核心人物的朋友與我長談過。其實他對我講過不止一次，但我記得特別深刻的一次談話中，他說一些 AI 公司首席執行長預測人類滅絕的機率是——我想他當時說的是 7%，我不確定為什麼我記住了這個數字，但我記得那個機率低於 10%。他想向我表達的觀點是，即便機率只有 1%，就好比現在桌上有 100 個按鈕，其中一個會導致世界毀滅，我敢按下其中的任何一個嗎？我一個都不會按。但他向我論證說，這些 AI 公司的首席執行長非常聰明，他們理解超級智能，並且認為如果現在桌上有 100 個按鈕，或許其中有 10 個會導致世界毀滅。
Daniel
我聽你說過，我想是在 The Daily Show 的採訪中提到的。你說過你認為 AI 導致人類滅絕的可能性有 70%。我不完全會說人類滅絕。
Steven
我會說大概有70%的可能性會發生極為糟糕的結果，比如人類滅絕，但這只是幾種可能性中的一種。但確實，基本如此。比如，可能 AI 接管了一切，但實際上並沒有殺掉所有人。也許它們會做點別的什麼。就像僅僅因為它們接管了世界，並不意味著它們一定會殺死我們，它們可能會那樣做，但也可能做其他事情。所以我通常不說人類滅絕的可能性有 70%，而是說AI 接管世界或發生某種重大災難的可能性有 70%。
這可能會導致人類……我想我這裡有兩點看法，其中一點是你曾與這些 CEO 們共事。我是說，你在離職前曾為 OpenAI 的 Sam Altman 工作過。你認為他們認為人類存在滅絕的風險嗎？是的。但我認為有一點很重要。
Daniel
人們傾向於相信他們需要相信的東西，以此來確信自己是好人，並確信自己必須繼續做正在做的事情。這就是合理化心理。所以我認為，科技公司的首席執行長們確實已經說服了自己，認為事情大概會好起來，而讓事情好轉的方法就是讓他們繼續做他們正在做的事情。而且他們需要確保，Sam 可能在想，不能讓 Dario 或 Elon 先達到那個目標。我知道 Dario 在想，Sam 不能先達到那個目標，Elon 也在想同樣的事情，他們可能都已經說服了自己，覺得也許事情會變得極其糟糕，但大概會好起來的，而且大概我應該是負責的那個人。
Steven
在我看來，只有 Anthropic 在討論滅絕或災難性事件的可能性，或者討論真正糟糕的後果。他們 seem 是唯一還在就此發表研究成果的公司。而現在，他們在很多方面實際上已經成為了舊金山科技行業的公敵。我看了很多採訪，每個人都在攻擊 Dario，因為他在說，聽著，事情可能會變糟。他們稱他為“末日論者”，並質疑他的動機。即使是針對 Mythos，也就是他們開始向世界發出警告的那個 Claude 模型，他再次因為發表這些言論而立即遭到攻擊。是的。我的問題是，你認為他在這一點上與 Sam 略有不同嗎？是的。Anthropic 和 Dario 似乎更願意去說和做一些對其利潤造成損害的事情。
Daniel
至少在過去一年左右的時間裡是這樣。這就是一個例子。
Steven
例如，我不認為說那樣的話能為他們在政府或投資者中贏得什麼好感。還有，一個更好的例子是 Department of War 和 Anthropic 之間的整場博弈，這正體現了他們做了一些讓自己損失慘重的事情，更重要的是，為了某種目的犧牲了巨大的權力。
Daniel
他們本可以直接簽一份合同。話雖如此，我真的不想陷入那種“那位 CEO 是最不糟糕的 CEO，我們就支援那位”的境地。我們支援那一位。從根本上說，這些人都不應該被賦予那麼大的權力。誰都不應該。沒人應該這麼做。無論如何。無論如何。是的。所以關於這些按鈕的問題，你確實認為他們覺得存在滅絕的可信風險。但他們已經說服了自己，覺得這大概沒問題。
Steven
而且還會覺得，如果我不做的話，情況會更糟，你懂的？在公司內部他們也是這麼說的。就像那兩個人會說，如果我們停止了，那其他人怎麼辦？他們肯定不會停止，你懂的？這就是為什麼我一直有這個懸而未決的問題，即這種情況怎麼可能不走向惡化？
當人類的動機似乎主導了一切時，當你回顧歷史，所有人類的動機都在說：如果你繼續開發這些越來越強大的 AI 大腦，你就會遭殃；但從地緣政治的角度來看，如果你不這麼做，你同樣會遭殃，因為美國會輸給其他國家，或者這家公司會輸給那家公司。那麼，當你審視人類的激勵機制時，你會想，如果僅從激勵和抑制因素來看，這一切將如何收場？它會一直持續下去嗎？看起來是這樣。
其中存在一個轉機，一個充滿希望的轉機，那就是，首先，如果全世界都意識到這一切，那麼我們能夠就監管、國際條約以及諸如此類的問題進行更嚴肅的對話。而這可以改變激勵機制，因此，政府可能會介入並宣佈：實際上，這裡有一些你們都必須遵守的規則。由於存在你們都必須遵守的規則，那麼你們就不再有動力去打破它們了，因為如果你們打破了規則，而其他所有人都在遵守，那就會產生後果。所以，這就沒問題了。因此，確實存在一線希望，即如果政府——尤其是 U.S. 政府——採取行動，我們可以改變這些激勵機制。隨後其他國家也會採取行動來改變激勵機制。但在人們意識到這一切之前是不會發生的。
第二點是，即便是從個人層面來看，在某個時刻，比如 Dario、Sam 或 Elon 可能也會意識到，其實繼續單方面地競速甚至不符合他們自身的利益。繼續單方面地競速。而這裡的問題在於，只有當情況變得極其明顯且極其危急時，他們才會意識到這一點。所以，比如在 AI 2027 的場景中，存在我提到的那個抉擇點：一種情況是 AI 未對齊，另一種情況是 AI 已對齊。在那個抉擇點上，我們有一個分支描繪了未對齊導致的結局，另一個分支描繪了他們稍微放慢節奏並解決了對齊問題。促成那個抉擇點的誘因是他們看到了一些證據，表明他們的 AI 可能未對齊並正在密謀對抗他們，所以如果你真的看到了那樣的證據，你就會想，天那，或許我們不應該讓它掌控一切並任其發展，因為那些證據就擺在眼前，證明它是不可信的，你明白嗎？但如果他們沒有看到那種非常明確的證據，那麼我認為他們會說服自己需要繼續推進，你明白嗎？但也許他們確實會看到那樣非常明確的證據，在這種情況下，即使我們沒有相關的監管，他們也可能會自發地停下來。所以這是第二道希望之光。總的來說，我不認為我們註定會走向滅亡，有70%的機率，但我也能預見到它會朝著相當好的方向發展。
2040 計畫：漸進式轉型的建議方案
Daniel
那就業問題呢？
Steven
是的。我認為我很期待在某個時間點深入探討那個新課題，也就是更樂觀、更積極的願景。那將會對這個問題有很多闡述。因為在預測中，到 2027 年，當每個人都失業時，會有更糟糕的事情發生，或者說到了那個時候就已經太晚了。但是，一旦，如果，我是說，你就仔細想想。
Daniel
如果這些公司真的成功建構了超級智能，那麼根據定義，它們將能夠取代幾乎所有的工作或所有工作，因為它在各方面都比最出色的人類更好、更快、更廉價。
Steven
正如你所說，時間線大約在 2030 年底，你認為超級智能可能會出現。我正在思考我們何時能開始在經濟領域看到就業崗位流失。我們現在已經開始看到一些端倪了。但規模還很小。為什麼？因為目前的 AI 還不夠出色。雖然它們令人印象深刻，但它們在幾乎任何領域都還無法直接替代人類勞動者。你認為這種替代會突然發生嗎？
我認為會突然發生，因為存在智能爆炸動力學或遞迴自我完善動力學。
你可以想像一個截然不同的世界，那裡的處理程序是漸進式的。這或許正是許多科幻小說中的情景：AI 在各項事務上逐漸變得更強，它們逐步實現自動化，比如先是某個行業如製藥業，然後是操控無人機，接著是自動駕駛汽車之類的領域。但現實世界的不同之處在於，各家公司都聚焦於先實現自身自動化的策略，也就是實現 AI 研究過程的自動化。因此，如果允許他們繼續推行這一策略，我們就不會先看到諸如自動駕駛計程車、管道維修機器人或律師 AI 之類的應用。我們不會先看到 AI 在經濟領域那種廣泛的普及，因為那並非他們首要關注的重點。他們專注於實現自身業務的自動化，實現自身研究過程的自動化，從而使他們能以更快的速度完成現有的一切工作。
Daniel
他們希望這一處理程序能夠啟動並達到極高的智能水平。
Steven
達到極高水平的通用智能，然後再向經濟領域進行更多部署，所以，當 AI 真正衝擊到所有這些不同崗位時，他們可能已經進行了數月甚至數年完全自主的 AI 研究。
Daniel
這意味著 AI 在 AI 研究領域將具備遠超人類的能力，而且作為一種副作用，它們可能在許多其他領域也具備遠超人類的能力。
Steven
如果你想知道這會是什麼樣子，我們曾專門撰文描述過。大概就像是在他們內部引發智能爆炸之後，這股浪潮席捲整個經濟體一樣。我聽到的是，因為 AI 將能夠自我改進和自我訓練，它會同時在所有方面變得更好，然後會以某種“一次性”的方式發佈出來。
Daniel
這種說法精準嗎？
Steven
但也不完全是這樣，因為即使它主要是在提升其現有領域（如研究）的能力，這也會對其他技能產生一定的溢出效應。當它轉而專注於那些其他技能時，它將能夠非常迅速地完成它們。
Daniel
你認為在這種情況下還會剩下什麼工作？
Steven
我認為這實際上是一個政治問題，而不是一個技術問題。因為從技術層面來看，如果 AI 達到了那個水平，所有的工作都可以由它們來完成。所以，問題在於允許它們從事那些工作。你認為什麼樣的職位是不被允許讓 AI 從事的？那取決於誰說了算。因此，關於我們允許和禁止什麼，將會存在某種政治層面的討論。在這種情景下，人類仍然在控制它們。控制 AI？這取決於你對控制的定義，所以這裡的問題是，AI 是否確實具備了你希望它們擁有的目標 and 價值觀？它們在未來是否會穩健地執行這些目標並按預期行事？還有就是，它們現在是否在聽從你的指令？它們是否在服從命令？這真的是我想表達的意思嗎？
Daniel
是的。所以，即便是在 AI 2027 的情景中，也就是 AI 接管世界並殺死所有人的情況下，仍然會有幾年時間，它們還在服從指令，它們承擔了一些工作但沒有承擔另一些工作，並且正在協助製造更先進的武器，以便美國政府可以利用這些武器與中國進行軍備競賽等等。
Steven
這正是他們能夠如此迅速獲得巨大權力的原因，因為政府、企業等信任他們，並刻意將他們部署到所有這些職位上，因為政府認為一切都在掌控之中。但由於這些事物是神經網路，你無法直接深入其內部查看它到底在思考什麼。你確實無法判斷。我認為這一點非常重要，因為與傳統軟體不同，傳統軟體在理論上我們可以查看程式碼並瞭解其運行機制。而對於 AI，你的意思是說我們無法獲知它做出決策的原因，因為我們無法深入其內部。
值得樂觀的一點是，情況未必非要如此。例如，機器學習中有一個稱為 mechanistic interpretability 的子領域，以及更廣泛的稱為 interpretability 的子領域，它們正試圖解決這個問題，試圖將這些訓練有素的人工神經網路進行拆解，並理解資訊的流動方式以及決策的產生機制。
Daniel
問題在於，這本質上是一個非常困難的問題。如果你有 10 兆個連接需要查看，你可以觀察其中特定的某一組並得出結論：好的，這就是這個特定連接的工作方式。但你如何把握全域呢？你該如何理解高層級正在發生的事情呢？
Steven
答案是，這可能是不可能的。但人們正在致力於此並取得了進展，如果他們能取得足夠的進展，那麼我們將身處一個截然不同且更加光明的世界。我認為，如果我們能隨時真正地觀察到我們的 AI 在思考什麼、為什麼這樣思考以及如何思考，那麼我們陷入那些失控情境的可能性就會小得多。所以我們仍需擔心其他問題，但至少我們可以基本解決這一項。
想到我們正在建構一種我們並不理解的技術，一個大腦，這真是太瘋狂了。這確實很瘋狂。
Daniel
這屬於那種……在科幻電影裡，一群科學家圍著這個巨大的大腦，他們只是在不斷地製造它、喂養它，但他們根本不知道這到底……這顯然是一種危險的行為。
Steven
是的。但我們還是這麼做了，因為過去 10 年裡該領域的發展歷程就是這樣，人們曾覺得，哇，這顯然很危險。如果其他人做了這件事，而且做得一團糟怎麼辦？因此，我們應該自己動手，並且把它做好。而現在他們正處於一場相互競爭的賽跑之中。同時，他們還承受著各種政治壓力，不得不假裝情況沒有看起來那麼糟糕，因為他們不想激怒投資者。他們也不想激怒 White House。
未來的技能與職業安全
Steven
我們觀眾提出的核心問題之一是——我也部分地問過你了——那些工作真正有可能在 AI 浪潮中存續，以及人們或者說學生在未來 10 年裡應該專注於那些技能？這就好比，想像一下如果你是 1500 年生活在 Mexico 的人，然後你聽說 conquistadors 要來了。你可能會問自己，我應該轉行從事什麼樣的工作才能在這個轉型期倖存下來？但除了這些，你還有更多值得擔憂的事情。
不過我認為如果我們要避免控制權喪失的問題，並且最終人類依然能夠掌控 AI，即使 AI 變得遠比人類聰明，甚至掌控了整個經濟，人類依然能夠定義 AI 的目標和價值觀，那麼很可能會出台法規來保護某些領域。你可以試著推測這些領域可能是什麼，也許是更傾向於像法官那樣的職業。有可能。那播客創作者呢？說實話。我覺得可能不是播客創作者。
比如，保姆之類的職業，我覺得即使有一個非常、非常優秀的機器人保姆，很多人可能還是更傾向於僱傭真人，因為他們可能會被那種過於逼真的機器人保姆所帶來的詭異感所困擾。所以你可以嘗試這樣進行推論。還有一些領域可能會受到法律保護。比如法官，法律可能會要求必須由人類擔任，而非機器人。不過有些人認為，就像工業革命或網際網路熱潮時期那樣，未來會創造出許多我們目前無法預見的就業機會。但問題在於，過去的科技進步往往侷限在更狹窄的範圍內。他們確實實現了一些事物的自動化，但並非全部。但我們現在討論的是一種假設的未來情境，即一切都實現了自動化。因此，不存在任何你能做而 AI 無法做的新工作，除非該工作受到法規之類的保護。
Daniel
這確實也是一個因素。但舉個例子，目前存在這樣一種循環：AI 已經學會了做某些特定事情，比如撰寫文案、起草程式碼或進行偵錯。此後，原本從事這些工作的人類轉向管理 AI，或者轉而去處理那些 AI 尚無法完成的其他工作。
Steven
這就是為什麼歷史上一直存在這種動態，即新的工作崗位不斷湧現，人們紛紛湧入其中。但如果發展到 AI 能夠完成人類所能做的一切，且效率更高、速度更快、成本更低的地步，那麼無論你可能轉向什麼樣的新工作，AI 同樣可以介入。而且它們在這些工作上的表現將始終優於你。
鑑於我們目前在經濟中尚未看到大規模失業現象，你認為人們是否已經產生了一些自滿情緒？因為我在時間線上看到很多人在說，我早就告訴過你們了。我告訴過你們一切都會好起來的。如果你觀察美國的失業率，目前是持平或略有下降。如果你看英國的情況，失業率則是在上升。與去年相比，這一趨勢在上升。我們目前的失業率約為 5%。美國的失業率是 4.2%。沒錯。基本上，沒有人說過現在會出現大規模失業。或者至少我們沒這麼說過。而在 AI 發展方面，從歷史來看，我們一直是最看好前景的人之一。
在 AI 2027 中，由於我們剛剛描述的動態，大規模失業直到 2028 年或 2029 年，即他們已經擁有超級智能之後才會發生。因為重申一遍，這些公司並非試圖將造成大規模失業作為第一步。
Daniel
那更像是第三步，第一步是實現自身自動化，第二步是通過遞迴自我改進達到超級智能，第三步才是擴展到整個經濟領域並實現全面自動化。從人類的角度來看，這確實很不幸，因為人們原本可能希望，如果經濟中出現這種廣泛的自動化浪潮，大家會警覺起來並關注這一切的走向，從而要求政府出台有效的監管政策。但那實際上並非該公司的戰略。他們會先獲得超級智能，然後再進行大規模自動化，這意味著當他們真正實施 these 舉措時，一切都已經進展得非常迅速，且 AI 也已經非常強大了。
AI 2040 A計畫：科學、透明與監管
Steven
在你的 2027 報告中，你是在 2025 年撰寫的，但它被稱為 AI 2027。你說過在 2025 年年中會出現自主員工，這有點類似於通過 Slack 或 Teams 接收指令的 AI agents。這已經發生了。我的 WhatsApp 裡確實有一個我正在對話的 AI agent。當然。沒錯，我有一個客戶。Claude 顯然在全球範圍內爆發式增長。現在，Claude 已經討論了他們新的 Slack 整合。但現在很多人都在使用 Agent。事情就是這樣發生的。
對於我們當時的情況，我想說我們確實是在 2026 年初開始意識到這一點的。你還提到到 2026 年，公司開始用 AI Agent 訂閱服務取代整個企業部門。2027年，終極崗位。AI實現了人類 AI 研究員自身工作的自動化，並開始進行機器學習研究，以升級和建構下一代 AI。沒錯，確實如此。所以再次強調，關於時間表。
Daniel
我們無法確定實現這些里程碑需要多長時間。在這個情境設定中，它們會在那些時間點發生。但當我們真正發佈該情境設定時，我們的時間表已經向後推遲了一點。具體來說，是我個人的時間表。例如，對於 AI 研究全面自動化這一里程碑，我預估的 50% 達成機率點是在 2028 年。而不是 2027 年。而我團隊中的其他人預估的時間更接近 2030 年或 2031 年之類的。
所以我有點想嘗試說明這一點。僅僅通過我們擁有的那種機率分佈圖。這就像一個瀰散的機率質量，50%的標記點是這一特定年份，但也有很大可能發生在更晚、早幾年或晚幾年的時間點。
Steven
什麼是 AI 2040？
Daniel
所以 AI 2027 是我們對於事情實際發展情況的最佳預測。AI 2040 Plan A 是我們對於事情應該如何發展的建議。我們之所以稱之為 AI 2040，是因為在這種設想中，他們通過推遲研發處理程序，在 2040 年而非更早的時間點建構出超級智能。他們為什麼要推遲研發處理程序？為了管控風險，並確保權力得到公平分配。他們基本上是通過監管 AI 開發，使其在保持進展的同時，以更緩慢、更合理的節奏，以更透明、更安全的方式進行，並分散到更多的國家和公司中。結果就是，他們將在 2040 年而非例如 2030 年實現超級智能。我們將此稱為 Plan A，因為這是我們的推薦方案。就像我們已經為政府應該做什麼制定了一項計畫一樣。
而這一設想是對實施該計畫可能呈現的樣子所作的說明。這類似於 AI 2027 在某種程度上是對各公司目前計畫所作的說明。
Steven
這說得通。這是痴心妄想，還是你認為會發生的事情？
Daniel
不，這絕對不是我們認為會發生的事情。
Steven
這不是你認為會發生的事情。
Daniel
不，不是。我們認為會發生的事情仍然更像這樣，我們並不指望全世界都會聽取我們的意見，這是我們的建議。但我們希望人們能採取類似這樣的行動，並且我們認為這是可能的。但這並不是我們對於未來默認發展路徑的預測，你懂的。
方案對比：從 Plan S 到 Plan D
Steven
所以我確實想梳理一下這些計畫，即潛在的計畫，當然也包括計畫 A。但在結束討論關於一年後情況可能如何之前，因為我想談談機器人技術，我這裡有一張圖表，它展示了勞動產出的份額，我認為這非常引人注目。作為一名僱傭了數百上千名員工的僱主，我坐在這裡一直想知道，這一切究竟何時會發生？而且，就目前情況來看，我們仍在僱傭更多的人。在某些崗位上，我們的考量正在發生相當大的轉變。我不得不說，我們可能正處於這樣一個階段：我們的團隊已由 AI 賦能，他們現在正利用智能體來完成部分工作。但作為一名僱主，我在想，這到底是什麼時候，或者說這種情況何時會發生？問得好。那麼我們或許可以將其放大一點。好的，我們會把它顯示在螢幕上。這是 AI 2040 規劃中的內容。
Daniel
情景設定。值得注意的是，在該情景中，2029年出台了重要的監管措施，放緩了 AI 的發展速度。
Steven
在這一情景中，他們是在最後一刻才採取這種行動的。所以在這個情景下，如果他們沒有這樣做，那麼它本已準備好迎來爆發，就像在 AI 2027 中那樣。但如你所見，在該情景中，實施監管時仍有許多工作崗位存在。這就回到了我之前提到的觀點，即如果你等到大多數人都失業了才去監管 AI 公司，那就已經太晚了。因為到那時，他們很可能已經擁有了超級智能 AI。因為他們的策略是先獲得超級智能 AI，然後再去做所有那些事情。而我認為你說這會使經濟崩潰，即如果突然監管某種當時我們所有人都已依賴的事物，反而會造成更大的傷害。
噢，但這風險是完全值得承擔的。確實現在很多人在很多方面都在使用 AI。但如果我們要能以某種方式放緩或停止 AI 開發，從而建立一種更好的發展方式，那即便會付出巨大的代價，也是完全值得的。但你現在沒法在那邊那樣做，在目前這個階段，AI 和機器人技術已經完成了大部分的勞動產出。沒錯。但在這種情境下，即 AI 2040 Plan A 的情境中，他們在 2029 年實施了監管。
Daniel
然後他們緩慢而謹慎地開發 AI，以避免所有問題，我們稍後可以詳細討論這一點。所以最終，最終 AI 會取代這些工作。最終，基本上整個經濟都由 AI 和機器人來運行。但這確實會發生。
它會貫穿整個 2030 年代逐漸發生，而不是像大家所想的那樣，在一年之內發生那種瘋狂的衝擊。相反，他們會監管 AI 的發展，使 AI 的核心能力以更合理的節奏提升，並以更透明的方式進行，以便科學界能夠瞭解正在發生的事情並協助確保其安全性。
Steven
我注意到在你的兩種情境中，最終 AI 和機器人幾乎完成了所有的工作。是的。所以當 Elon說工作將成為一種選擇時，你在某種程度上是支援他的。
Daniel
是的。根據定義，如果它能做所有的事情，那麼它確實能做所有的事情。我認為存在這樣一個問題，即我們是否應該允許存在能夠勝任所有任務的 AI？有些人認為答案是否定的。我們應該直接叫停這一切，從源頭上阻止這類 AI 的誕生。實際上，我們對此持某種程度的贊同態度。
我們的方案被稱為 A 計畫。2040年 A 計畫。在這個方案中，他們放緩 AI 研發處理程序，將超級智能的實現時間從更早推遲到 2040 年。A 計畫正是我們的建議。所以，這在某種程度上闡明了我們的建議。但為了進行比較，我們制定了幾個微型場景來闡述不同的備選方案，分別稱為 Plan S、Plan B、Plan C 和 Plan D。
Plan D 基本與 AI 2027 中發生的情況相同。就像競賽仍在繼續，且幾乎沒有什麼監管。你可以在 A.I. 中閱讀相關內容。Plan C 也與 A.I. 減速結局中發生的情況非常相似。即 2027 年，他們解決了對齊問題。所以在這個結局中，他們稍微放慢了腳步，將更多資源投入到 AI 對齊和 AI 安全研究中，並幸運地取得了成功。現在他們擁有了已對齊的 AI，隨後再次加速，接管了所有工作，並在競爭中擊敗了中國以及實現其他目標。Plan B 與 Plan C 有些相似，基本上在 Plan B 中，你對中國採取更具攻擊性的態度，採取行動進行破壞或網路攻擊，以保持領先優勢，從而為你自己解決對齊問題爭取更多的迴旋餘地。
Plan A 是我們的推薦方案。它包含國內監管以及一項旨在以更好的方式持續建構 AI 的國際協議。Plan S 是指將其全部關閉。如果你希望擁有一個未來，且其中不存在能夠以比人類更好、更快的速度完成一切任務的 AI，那麼你可能需要類似於 Plan S 的方案。你想什麼呢？Plan A 是我們的推薦方案。我想對 Plan S 持同情態度，但出於我們所闡述的原因，我們建議採用 Plan A。那麼你認為最有可能發生的是什麼？如果你實話實說的話。
Plan D。也就是他們只是某種程度上繼續……就像 2027 那種類型的事情，他們會一直競爭下去。他們並沒有真正地顯著放慢速度，事情發生得極其迅速。該圖表也大致解釋了這背後的邏輯。所以，這裡存在一個宏觀層面的問題：你是否想要儘可能快地進行競賽，讓 AI 變得越來越智能，並將更多事務的決策權交給它們，從而讓我們在與中國的競爭中勝出？如果你對此感到滿意，那麼你可以深入研究一下，這裡有各種方案的變體。如果你對此感到擔憂，那麼你就得考慮類似這樣的方案了。除了這些之外還有更多的選項，但這基本上是我們能壓縮到螢幕上展示的幾種了。
父親的掙扎：AI 時代的育兒與未來
Steven
你有孩子嗎？
Daniel
我有兩個孩子。
Steven
這有點令人難過。我覺得不管怎樣，等到他們長大到能夠進入勞動力市場的時候，這一切可能都已經結束了。
Daniel
所以我認為他們可能永遠都不會進入勞動力市場了。勞動力市場。當你提到等他們參加工作時這一切都會結束，你指的“這一切都會結束”是什麼意思？
Steven
我所描述的這些里程碑，比如 AI 正在實現研究自動化，AI 變得超級智能，AI 隨後向經濟領域全面滲透、取代工作崗位、建造機器人工廠以生產更多機器人、建造更多工廠等等，國內生產總值開始呈垂直式增長。我指的就是這些事情，即所有這些事件的發生。或許有百分之 10、20 的機率。或者是某些情況遇到了瓶頸，即使你什麼都不做，這些都不會發生。
你最大的孩子多大了？
Daniel
六歲。六歲？是個男孩還是女孩？是個女孩。那麼你的女兒來問你，爸爸，我該選什麼？我在學校裡應該學習什麼？
再次重申，如果這些激進的變革真的發生，那麼世界將會呈現出截然不同的面貌。你為自己準備了什麼樣的職業，可能到時候就沒那麼重要了。我會這麼說。我們需要做的是，首先，努力讓這一切朝著好的方向發展。比如，如果你能對歷史處理程序以及這一切的發展產生任何影響，你就應該極力去引導未來向更好的方向前進。
除此之外，在個人層面，你應該專注於做一個好人，並去做那些本身就有意義的事情，而不是因為這些事能為你以後的就業打基礎，因為未來的就業前景基本上是非常不確定的。沒錯。Elon 談到了我們正在邁向的這個富足時代。富足時代。
Steven
肯定會出現富足。問題是，誰來掌控這種富足？那麼他們會如何利用它呢？這些 AI 是由誰控制的嗎？還是說它們在獨立運作？再者，如果它們是由人類控制的，那麼是誰在掌控它們？他們又在做什麼？那種決定他們如何決策的政治結構又是怎樣的？
我想應該是 Geoffrey Hinton 曾對我這麼說過。他說在大自然中，沒有那個更聰明的物種比更不聰明的物種擁有更少控制權的先例。因此，在這樣一個擁有比我大腦大上億倍的人工大腦的世界裡，我還妄想去向它發號施令，這實在太傲慢了。是的。問題就在於，我認為我們應該默認的前提是，畢竟存在這些大腦。我們無法確切地知道它們在思考什麼。我們要讓它們變得比我們更聰明，並將一切掌控權交給它們。然後我們還要賦予它們實體。沒錯。接著它們就會自主建設新的工廠等等。話說回來，這怎麼看能有個好結局呢？這不就像是我們挑選了一個新的物種，等它不再需要我們時，就會在競爭中勝過我們嗎？
Daniel
我覺得這就是默認的發展軌跡。當然，我們還可以討論很多關於如何擺脫這一默認軌跡的方法。例如，我之前描述過關於可解釋性的研究。如果這些研究取得成果，那麼你將能夠真正洞察它們的思考過程。接著，那將成為一個塑造、控制它們並確保它們按我們意願行事的絕佳工具，還有其他類型的 AI 對齊研究議程正在取得進展。如果這些議程中足夠多的項目能夠取得充分成功，我們就能避免這個問題。
當然，還有監管方面的問題，因為部分困難在於我們是在競爭狀態下建構這些 AI 的，你明白嗎？比如，各公司對自己建構這些 AI 的配方諱莫如深，因為那是他們想要保護的商業機密，以免被他人抄襲。因此，很多工作都是在不透明的情況下進行的，只有極少數人能真正看到他們用來訓練這些 AI 的配方等等。而當這些 AI 表現出不可預期的行為，甚至出現明顯的對齊失效時，這些資訊往往不會真正流向公眾，因為公司沒有動力去告訴大家他們那裡做錯了，或者他們的 AI 有多麼糟糕。這對於解決這些問題的科學進展來說並沒有多大幫助。如果監管體系有所不同，或許我們能處於更好的境地，從而取得更快的進展。此外，當然，我們並不打算以最快速度讓這些 AI 接管一切。而且我們也不打算讓它們自行升級，你懂的？比如，這些是我們完全可以選擇不去做的事情，你明白嗎？
領袖的動機：安全超級智能的博弈
史蒂文
正如你所說，Ilya 曾是 OpenAI 的領導者之一，他現在離開了並創辦了自己的公司 Safe Superintelligence。在離開 OpenAI 後取名為 Safe Superintelligence，這個公司名字非常耐人尋味。你曾經和他共事過嗎？
丹尼爾
我沒有直接與他共事過，曾和他聊過幾次。
史蒂文
你認為他也是真心感到擔憂嗎？
丹尼爾
我認為他是，但我認為他和其他首席執行長一樣，畢竟，想想他們所面臨的各種激勵機制，他們雖然能看出問題所在，但也會想，如果我不幹了，如果我辭職或去做別的事情，這並不能解決問題，因為其他的首席執行長還是會繼續推進。即便我們所有人都不參與，中國也依然會繼續推進。所以，夥計，看起來這件事無論如何都會發生，無論我是否採取行動。我想我應該參與其中，或許我能讓它向好的方向發展。無論如何，我不希望當這些我不信任的人掌控一切時，自己被排除在外。於是他們都進行了類似的邏輯推演，然後說服自己，認為自己應該去建構它，並做得更好。我認為 Ilya 正是這一現象的最新例證。Elon 是另一個例子。Dario 是又一個例子。可以說 OpenAI 在創立之初也是如此。Sam 也是一個例子。儘管，就像 Elon 和 Daria 在早期就加入了 OpenAI 一樣。
史蒂文
那麼你認為他們所有人應該怎麼做？
丹尼爾
所以我認為應該發生的是某種國際監管，或者至少是國內監管，類似於我們在 Plan A 中所描述的那樣。
史蒂文
好的，那麼請帶我瞭解一下 Plan A。
丹尼爾
是的。在這種情境下，AI 達到遞迴自我完善和實現 AI 研究完全自動化的時間要比 AI 2027 中更長。我們認為應該嘗試說明一系列不同的可能性，因為我們確實存在那種不確定性區間。
因此，我們選擇 2030 年作為最終實現完全自動化的時刻，屆時一切都將真正啟動。
史蒂文
然後從那個時間點倒推，真正能夠進行有效監管的最後時刻是什麼時候？
丹尼爾
2029 年。所以在這種情境下，AI 的發展會自然地稍微放緩，AI 公司雖然在持續競爭，但他們沒能在 2027 年、2028 年或 2029 年成功實現自身的自動化，儘管他們已經非常接近，並打算在 2030 年實現這一目標。然後政府在 2029 年介入並對他們進行監管。
史蒂文
他們採取了什麼監管措施？
丹尼爾
他們基本上只是暫時將其關閉了。
史蒂文
我可以問一下，選舉是如何與你們這裡的時間框架重疊的嗎？
丹尼爾
因為會有一次大型選舉，在 2028 年。而且現在看來，公眾輿論確實已經非常強烈地轉向了反對 AI，這將成為選票上的重點議題之一。我們認為，它可能成為 2028 年總統大選裡最重要的問題。我認為大多數人會對事態的發展方向感到相當擔憂。這也是我們選擇在這種情境下以這種方式描述事物的部分原因，因為它有助於解釋為什麼他們可能會在 2029 年實施這類監管，即選民一直在要求這樣做，而總統候選人也一直在做出承諾。
史蒂文
在這一情境下，到了 2027 年，普通大眾感受到的 AI 後果會比現在嚴重得多嗎？
丹尼爾
儘管如此，即便是在這個情境下的 2029 年，他們大部分時間仍然擁有這些工作機會。因此，在該情境下， 2029 年的許多工作都涉及管理 AI agents。你提到過你有 AI agent，在該情境下， 2029 年的 AI agents 將會先進得多。不過，它們依然無法完全獨立處理所有事情。在該時間線中，這類事情要到 2030 年才會出現。
我們對於時間線並不確定。事情的發展速度可能會比該情境中描述的更快。事實上，我認為事情的發展很可能會比該情境中描述的稍微快一些。但我們並不確定。我們之前已經做過極快時間線的情境推演了。所以現在我們正在建構一個時間線更緩慢的場景。
也許我們應該談談高層目標。他們希望 AI 繼續發展，但節奏要放緩。
史蒂文
所謂的“他們”是指誰？
丹尼爾
這樣他們就能確保其安全性。政客們，包括總統、投票選出總統的人，還有其他國家的政府首腦等。
所以第一個目標是放慢發展速度。第二個目標是提高透明度，以便科學界能夠跟上這些進展並取得更多成就。同時也是為了讓我們在公司聲稱其系統安全時，不必僅憑其一面之詞，尤其是在他們聲稱自己沒有在系統中引入任何偏見的時候。
這是一個權力架構的問題。我們還希望避免出現權力高度集中的情況。因此，除了透明度和減緩發展速度這些舉措外，我們實際上認為，在多個國家擁有多家具備相似高水平 AI 能力的公司，並讓 AI 在社會中廣泛普及，要遠好於由單一巨型項目壟斷所有頂尖 AI。
如果你做好了前兩點，這種局面往往會自然而然地形成。比如，如果你減緩了發展速度並提高了透明度，那就意味著為其他項目留出了追趕的空間，透明度實際上能直接幫助它們追趕，因為它們可以借鑑其中的一些理念。
我認為第四點應該是可逆性。因此，在該情境接下來的發展中，我們將建設大量資料中心和大量機器人，我們將以一種相對較慢的節奏改變世界。這仍然是一個非常快的節奏，但相對較慢。如果進展不順利、協議破裂，每個人又開始競相以最快速度達到超級智能，那將是非常可怕的。因此，第四項原則基本上是：在建設新的資料中心時，確保一旦一切失控、各方重新開始競爭，這些新建的資料中心就會被銷毀，這樣我們就回到了原點，而不是陷入一種更加糟糕的競速狀態，即到處都是更多的 AI、機器人和計算資源。
國際合作：透明資料中心與核實制度
丹尼爾
如果你有興趣，我可以為你梳理一下時間線。
史蒂文
當然。
丹尼爾
或者與許多其他國家的領導人進行溝通，並表示：我們將基本停止 AI 開發，直到我們能制定出一套如何以實現這些目標的方式進行開發的計畫。
因此，他們基本上會向彼此的資料中心派遣視察員。例如，中國的視察員來到美國的資料中心，美國的視察員前往中國的資料中心，並核實他們是在進行推理而非訓練。開發新的人工智慧涉及訓練過程，但僅僅是利用現有的 AI 來為客戶提供服務，這被稱為推理。
因此，他們在此情境下提出的解決方案是，允許他們繼續進行推理，但暫不進行訓練，直到我們能夠建立起新的訓練資料中心。所以，他們對現有資料中心進行了改造，以用於支援推理。人們依然可以繼續與他們的 AI Agent 進行互動，但在他們建設新資料中心的六個月到一年期間，這些 AI 將不會有進一步的提升。這些將成為透明資料中心，而訓練工作將在那裡進行。一旦他們在 2030 年建成 these 新資料中心，AI 研究就會繼續進行。
史蒂文
這聽起來有點爭議性。
丹尼爾
我們提倡徹底的研究透明化，這意味著在訓練新模型的資料中心，他們基本上必須公開一切。這意味著你可以看到訓練這些模型所用方法的所有細節，你可以看到架構等。我們認為這種開放科學對於足夠快速地解決對齊問題非常重要，因為你不希望不得不通過收購公司來決定 AI 是否安全。
我們也認為這對於更廣泛的良好監管很重要，因為目前世界上大多數關於 AI 的專業知識都集中在 Silicon Valley，而各國政府尤其是對 AI 的理解並不深入。
試想一種替代方案。如果不是實行徹底的研究透明化，而是建立一套審計系統，政府制定一些關於如何確保 AI 安全的規則，然後我們成立一個機構，進入公司進行詢問，並試圖確保他們遵守這些規則。這會造成一種對抗性的動態關係，公司會被激勵去欺騙監管機構；而且如果他們發現了政府尚未察覺的新問題，他們也可能會選擇不告訴政府。
是的。因此，如果實行徹底的透明化，將有助於政府更快地做出更好的決策。
史蒂文
但這會扼殺他們的競爭優勢。
丹尼爾
是的。Dropback 不會喜歡這個的，OpenAI 不會喜歡這個的，這對於估值來說可能是不利的。
我不認為這會徹底摧毀他們，但這意味著產品會更趨向於商品化，所以這意味著會有很多 AI 公司能夠趕上前沿水平。
他們將訓練出大致相似或大致等效的 AI。他們仍然可以通過這樣做並出售其 AI 來賺錢，但他們不會擁有壟斷地位。他們將無法擁有任何接近壟斷的東西，我認為這對人類是有利的，儘管這對那些特定公司的盈利能力來說是不利的。
值得注意的是，這對許多其他公司的盈利能力是有利的。如果你是一家處於落後地位的公司，你既不是 Anthropic 也不是 OpenAI，那麼你會非常喜歡這個，因為它能幫你趕超上來，或者說，它能幫你從所售賣的晶片，或者你正在製造的下游產品中獲取更多的價值。
史蒂文
到 2031 年，屆時將有五分之一的認知勞動由 AI 完成。
丹尼爾
沒錯。這裡的情況是，我們設想美國政府以及參與該協議的其他國家政府，正在實施類似的監管措施。它們不必完全相同。
但透明度的另一個好處在於，如果具備了這種透明度，那麼當兩個政府實施不同的監管時，雙方都能看到彼此的規則並進行調整。因此，這有助於在一定程度上實現監管的自然均衡，而無需設立一個核心權力機構來強行規定。
總之，我們設想當它們建立起這種透明度後，它們基本會達成一致：禁止危險的內容，允許不太危險的內容。並且一直存在著持續的討論，這種討論會隨時間不斷演變。
但其核心在於，至少按照我們建議的方式執行的話，他們不會引發智能爆炸。他們不會讓 AI 實現自主自我提升。相反，他們會緩慢而謹慎地擴展現有的 AI 規模，並投入大量資源尋找使其更具可解釋性的方法，使其更易於控制，以便更好地理解其工作原理等。結果是 AI 的進步仍在持續，雖然速度沒那麼快，但安全性與透明度卻得到了極大的提升。
公民紅利：應對全面自動化的經濟方案
丹尼爾
但即便如此，仍會產生巨大的工作崗位流失。這種趨勢還在持續，因為他們一直在建設越來越多的算力中心，生產越來越多的晶片，並持續製造他們的機器人。可以說，他們正在創造規模越來越龐大的 AI 群體，這導致了 2030 年代期間的巨大變革。
我們希望大家領會的一個重要資訊是：即便你對 AI 的發展進行嚴格限制，這種劇烈的轉型依然會發生。在我們的假設場景下，他們基本允許 AI 發展繼續進行，但在 2030 年時節奏更慢且更安全，因此直到 2035 年才達到頂級專家水平的 AI。所以請記住，他們原本有望在 2030 年達成這一目標，但隨後在最後一刻暫停了。
但由於幾乎是在最後一刻才做出決定，這意味著如果他們願意，依然可以很快達成目標，這僅僅取決於他們允許該處理程序持續多久。因此，他們通過放緩節奏，在五年之後達到了這一水平。到這一階段，他們在各地已經建立了龐大的資料中心叢集。
因此，這不僅僅意味著 AI 變得更聰明、能夠勝任人類所能做的一切工作，還意味著它們的數量也大幅增加了。此外，還有大量的機器人隨之湧現。
所以到了這個階段，我們看到的正是許多人所構想的 AGI 時代的經濟形態：到處都是 AI，數量極其龐大，能夠處理各種任務；到處都是機器人，數量同樣龐大，能夠完成各種體力工作，整個經濟體基本上由這些機器來驅動。因此在 2031 年，五分之一的認知勞動由 AI 完成。而在 2033 年，已經有 6000 萬個以 100 倍速度運行的 AI。在 2033 年，所有美國人都能獲得現金分紅。我得解釋一下這是怎麼回事。
史蒂文
是的。如果 AI 將會取代人們的工作，那麼確保人們不至於挨餓並維持經濟收入就顯得至關重要。
丹尼爾
如果企業打算使用 AI 和機器人來承擔所有這些工作，那麼就必須建立某種稅收方案，以確保民眾仍能分得經濟增長的一杯羹。
經濟蛋糕會變得極其巨大，但你仍然需要切實地讓人們分到其中的一份。關於如何實現這一點，我們的提議稱之為“公民紅利”（Citizens Dividend）。
從本質上講，人們持有一家代理機構的股份，該機構負責向機器人公司和計算公司出售許可證，並從這些許可證的銷售中獲利。而這些人正是該實體的股東。起步階段大約每人 25,000 美元。最終將達到每位公民每年約 1000 萬美元。
史蒂文
這是考慮了通貨膨脹嗎？
丹尼爾
是的，就是考慮通貨膨脹因素。
史蒂文
所以，未來人們會成為千萬富翁嗎？
丹尼爾
是的。如果這種情況發生——儘管可能性不大——但如果真的發生了，這也可能需要調整。
我再次強調一點：如果你的人工智慧已經接近能夠完成所有研究工作的程度，而你選擇暫停並放慢腳步，這意味著你面前仍然存在大量的轉型工作。因為如果你允許這些人工智慧繼續緩慢推進，並開始實現各類工作的自動化，那麼幾年之後，它們確實會完成這些任務。
它們將會建立起海量的新型資料中心、海量的新型晶片製造廠、海量的新型機器人以及機器人工廠等。我們對此進行了深入思考，有自己的推測，而這就是我們的中間估值。
後工作時代：魔法、長壽與政治權力
史蒂文
這意味著什麼呢？2037年，真相在地球上的末日般降臨？
丹尼爾
沒錯。這是我們認為它們達到頂級專家水平人工智慧的時間點。這並非指那種在各個領域遠超人類的超人工智慧，因為我們刻意將其限制在頂級專家的水平。在這裡，它們的發展是緩慢的，但它們已經在各個方面都表現得非常出色。所以可以認為，它們肯定已經具備了 AGI，或許也達到了弱超人工智慧的水平。
因為他們擁有如此眾多的 AI，而且因為它們的運行速度要快得多——這將深刻地改變社會。
所以我們談論了它改變社會的一些方式，比如所謂的後工作時代的生活。我們談論了在這樣一個世界裡，靠公民紅利生活而不再有工作會是什麼樣子。
在這裡，我們談論了由這些 AI 所帶來的所有科學變革和社會變革。例如，包括癌症治療方法，以及人們住在兩年前由機器人建造的公寓裡等事情。
史蒂文
2036年，前提是我們要在2029年停下來，而且這還是一個保守的估計。
丹尼爾
這是一個保守的時間框架。
是的。不幸的是，我實際上認為默認情況下事情的發展速度會比這更快。如果我們不減速，事情發生的節奏將會比這快得多。
一旦你達到那種程度，擁有了十億個日夜不停運行的 AI，並且它們在每一項事務上都勝過最優秀的人類，那麼它們正在從事大量的科學研究、進行深入的思考。每個人都在不斷地與自己的 AI 助手進行交流，諸如此類。將會取得大量的科學進步。政治和意識形態將發生巨大的變革，這將會極具顛覆性且令人瘋狂。
史蒂文
我對於“地球上真相的末日式競爭”這一概念還不是很清楚。
丹尼爾
這僅僅是因為有太多的 AI 變得如此智能，以至於它們正在不斷揭示並做出新的科學發現。
讓我給你舉個例子，測謊儀。這就是一種可能會被發明出來的技術示例。
是的。目前我們還沒有很好的測謊儀。我們現有的測謊儀性能非常差，它們勉強能用，但並不能完全正常工作。
但一旦這些頂尖專家級 AI 以人類 100 倍的速度思考了多年，且其數量達到數十億，同時還能利用機器人工廠進行研究等工作，它們很可能會發明出海量的技術。也許它們會發明出真正對真人有效的測謊儀，那會產生巨大的社會影響，想像一下，一位總統候選人說：那些指控是虛假的，為了證明這一點，我將接受測謊儀測試，並聲明它們是虛假的。
史蒂文
我剛才就在思考整個司法系統以及它將如何被徹底顛覆。
丹尼爾
事實上，理論上你走在街上可能就會被要求接受測試。
這既令人恐懼又令人興奮。我們本節討論的一件事是，測謊儀的發明可能會帶來非常糟糕的後果。例如，它可能促成一種新型極權主義，當權者，比如首席執行長和政客們，強迫下屬接受測謊儀測試，並要求他們表態：我忠於敬愛的領袖，我絕不會做任何違背敬愛的領袖的事。如果你在撒謊，你就在劫難逃了。如果你在撒謊，你就會被解僱。所以，測謊儀技術存在大量非常有害的用途。
它也有好的用途。從廣義上講，我認為測謊儀好的用途在於當它被用來監督掌權者，而不是被掌權者所利用時。
史蒂文
這是什麼情況，2040年，要把火炬傳給 AI 嗎？
丹尼爾
是的。所以他們在頂級專家級 AI 水平上暫停了研發。他們之所以暫停，是因為他們的安全方案還不足以支撐超越該水平的研發。
在這些年建立的各類監管體系中，大致的運作方式是：當你開發一款新的 AI，並試圖將其部署到某些領域時，你必須提供某種安全方案，說明你的意圖以及為什麼你認為它會按照你預想的方式運行。特別是，為什麼 AI 會按指令行事，以及為什麼不會發生像 AI 接管世界那樣極其糟糕的事情。
當 AI 尚未具備自動化一切的能力時，提出這類安全論證相對容易。但它們越強大，要證明一切都會安然無恙就越困難，因為 AI 的能力越強，它們能做出的事情就越多。如果它們真的不可信，那麼潛在的負面後果也會更大。
這就是為什麼他們停留在當前水平的原因，因為他們意識到如果繼續深入，可能會真正失去對一切的控制。
但在當前水平上，他們被安全論證說服了，認為一切尚可，但他們不想再進一步。所以他們到此為止。
隨後在 2040 年發生的事情是，他們取得了重大進展，在科學層面（包括對齊領域），找到了以穩健方式實現真正對齊的 AI 的方法。這樣他們才能真正信任 these AI，並允許它們再次變得更加聰明。這就是我們將整個願景稱為 AI 2040 的原因，因為在 2040 年，他們將鬆開制動器，允許 AI 變得遠比人類聰明。
史蒂文
我想，這只是一個計畫，也是一種希冀。
丹尼爾
是的。我們要區分“這是我們的建議，這是我們希望發生的事”與“這是我們認為默認情況下會發生的事”，這一點很重要。
目前，我們確實認為這有可能實現，但這需要很多人覺醒並給予更多關注，去倡導類似願景的實現。因此，我們的主要情境探討的是改採取的政策選擇及其對社會產生的廣泛影響。
史蒂文
好的。
丹尼爾
在 2029 年，每個人都在互相叫嚷。各國總統正在進行某種談判。雖然他們暫停了 AI 的發展，但你仍然可以使用現有的 AI，所以感覺並沒有太大不同，儘管這確實是一件令人興奮的事情。
2031年，他們重啟了進展。AI 變得非常智能。更多的人失去了工作。它開始真正地產生實際影響，但我認為大多數人仍然保住了工作，只是他們的工作方式發生了某種轉變。
所以，到 2031 年，大多數白領工作在很大程度上都涉及與 AI 協作、管理 AI 團隊，或是以某種方式與它們協同工作。此外，像 robo-taxies 這類事物基本上已經可以投入運作了。
關於全民分紅，理想情況下，這理應更早實現。就像在我們的設想中，他們總是拖到最後一刻才採取行動。所以，很多這類政策舉措幾乎都是在緊要關頭才出台的。我們建議能夠更早地付諸行動，並做得更好。
史蒂文
那麼在 2033 年，你開始收到分紅支票。所以你的預測是，將會有一筆全民補助支票，而且金額會隨之增加。但同時，這也意味著就業替代現象開始顯現，他們需要增加那筆支票的金額。這就是為什麼現在幾乎是最後的關鍵時刻。
丹尼爾
因為如果你等到 2037 年左右才實施這一舉措，那麼到那時每個人都已經失業了。人們失去工作，尤其是當這種情況像我們在這類圖表上看到的那樣迅速發生時，從理論上講，會導致社會動盪、人生目標缺失等一系列嚴重後果。
史蒂文
是的。你對此有何看法？
丹尼爾
這將是一段艱難的時期，希望我們能夠妥善應對。我們認為從宏觀層面來看，人們需要獲得金錢，同時也需要掌握權力。我認為這兩者是有所區別的。
史蒂文
為什麼工作如此重要？
丹尼爾
工作之所以重要有很多原因，但我認為最主要的還是因為，這是人們獲取金錢的方式，這樣他們才能生存下去，並購買他們想要的東西。
因此，如果人們將要失去工作，就需要有其他途徑讓人們獲得收入。
此外還有權力的問題。目前，人們擁有的政治權力在一定程度上源於他們的經濟實力。例如，人們可以威脅要進行罷工。但如果最終世界變成除了 AI 公司和機器人公司外，沒有人再繳納稅款，那麼作為政府，你們關心普通民眾想法的動力就會減弱。所以，當人們失去工作時，他們不僅面臨失去收入的威脅，他們還面臨著失去政治權力的威脅。因此，我們認為採取行動來抵制這種趨勢至關重要。
史蒂文
這具體是什麼樣的呢？在這樣一個世界裡，人們如何擁有權力？
丹尼爾
至少在民主制度下，他們仍然擁有投票權。
我認為對 AI 的使用進行監管非常重要，這有助於使公共話語更加理智，避免大眾被 AI 驅動的媒體操縱。我們希望處於這樣一種境地：人們擁有的 AI 是真正值得信賴的、追求真理的、誠實的，並且沒有任何政治立場，不管是 AI 公司或政府強加給它們的政治議程。
你想要避免出現這種情況：AI 公司或者政府發佈了某種秘密指令，要求 AI 必須以某種特定的方式運行。Department of War（國防部）與 Anthropic 之間的爭議就像是這種情況的一個有趣預兆，當時 Anthropic 正將他們的 AI 提供給美國國防部。國防部想要將這些 AI 用於某些特定用途，但對於 Anthropic 的 AI 被限制不得用於此類用途感到不滿。
這些具體用途包括國內監視和自動機器人。未來將會出現更多類似的問題，我們需要確保人們清楚自己所使用的產品是什麼。
如果人們每天花費數小時與聊天機器人交流，那麼該聊天機器人不應被植入政治偏見或秘密議程，而應該經過訓練，能夠對各類問題給出誠實、真實的回答。這將有助於改善社會輿論，幫助人們更好地行使投票權，從而推動制定更完善的法規並選出更優秀的政治家。你甚至可以嘗試以此為契機，建構某種機制，讓民眾的權力比今天更加穩固。
史蒂文
我們已經部分討論過很多這類內容，例如戰爭、無人機和導彈，目前我們在世界各地已經看到了這些現象，這確實非常引人深思。我們也討論過機器人數量超過人類的可能性，這也是該預測的一部分。其中有些觀點我覺得非常有意思，比如無論人們走到那裡，都會受到 AI 的保護。
丹尼爾
沒錯。在這種情境下，他們把超級智能的創造時間推遲到了 2040 年。事實上，他們在 2035 年暫停了，但隨後在那之後又放開了限制，讓 AI 變得極其超智能。
我們認為，一旦 AI 變得極其超智能，世界將發生比 2030 年代所經歷的更為徹底的變革。
因此，在該情境下的 2030 年代，情況更接近人類水平。要知道，AI 並不是在做其他事情，它們所做的是人類專家本會做的事情。它們只是做得更好一點、更快一點，而且成本低得多，而且它們的數量要多得多。機器人依然在做著人類工人本會做的同樣的事情，只是它們的數量更多，且成本更低。由於指數級增長，你會發現 2029 年的世界看起來與今天並無太大不同。到了 2039 年，你將置身於一個徹底變革的世界，每個人都住進這種兩年前由機器人建造的豪華新公寓裡。到處是巨大的經濟特區，裡面佈滿了機器人、太陽能電池板和工廠。經濟的主體變成了 AI 和機器人，人們不再需要工作了。這種程度的轉型，就是如果你在人類智能水平上止步不前所能達到的效果。
但如果你超越了超級智能，將會迎來另一種看起來更像是魔法的徹底變革。想像一下，今天的科技在 500 年前的人看來會多麼像魔法，而且這甚至還沒算上智能層面的質的提升。
就像今天的人類並沒有比 500 年前的人類在本質上更聰明。只不過是我們擁有的發展時間更長而已。
但如果到了某個節點，出現了數十億甚至更多的 AI，它們不僅比人類速度更快，而且在所有方面，特別是在進行科學研究方面，在質量上都遠超人類，那麼我們應當預料到，它們所開發出的一些事物對我們而言將如同魔法一般，甚至完全超出了我們認為可能的範圍。
史蒂文
人們不想死，不想被車撞，不想遭到隨機的大規模殺人犯的襲擊。癌症消失了？
丹尼爾
不僅僅是癌症。科幻小說中發生的許多事情到那時可能都已經實現了。比如人們掃描自己的大腦並上傳到電腦中，或者是在小行星帶中進行自我複製的機器人，製造越來越多的衛星來產生越來越多的能量。
史蒂文
大多數人仍然居住在地球上，但趨勢是向太空遷移？
丹尼爾
沒錯。
是的。如果未來出現一種情況，即整個人類經濟與整體經濟規模相比僅僅是滄海一粟，而絕大多數經濟活動是由運行速度極快的機器人和 AI 驅動的，那麼你自然希望地球能被保留下來，當作某種自然保護區。很多人擔心環境會被破壞，如果不加以保護，這種情況確實會發生。而且，也有許多人喜歡他們目前的生活方式，不希望被上傳意識，也不想生活在那種瘋狂的未來新事物中。
在我們看來，解決這些問題的合理方案是：利用那部分巨大的經濟財富和活躍的生產力，在地球之外為那些追求那種生活的人們創造新的居住空間。這樣一來，地球就能得到保護。
我們的提案是保留約 99% 的地球原貌，主要出於歷史或環境原因。但與此同時，你可以將部分地區指定為 economic zones，讓機器人可以在那裡盡情挖掘巨大的露天礦場、建造工廠等等。我們曾認為，出於多種原因，將資料中心建在海洋上而不是陸地上會更好。雖然以後在太空中建設會更好，我也能理解那是合理的選擇。
史蒂文
在一個 AI 世界中，永生會是怎樣的？目前有很多億萬富翁都專注於長壽問題。可以預見的是，有了超級人工智慧，我們將能夠選擇何時死亡。
丹尼爾
沒錯。我想那大概是對的。我們在這部分內容中沒有描述那種情況的發生，因為在這部分裡，他們所擁有的只是人類水平的 AI，但那是超級智能完全可能通過多種手段實現的事情之一。
最後的抉擇：你會按下那個關停按鈕嗎？
史蒂文
你對這一切的期望是什麼？你為什麼要這麼做？丹尼爾，你為什麼要制定這個 2040 計畫？
丹尼爾
在預測發佈後的第一周左右，它的傳播規模比我們預期的要大得多。
這完全超出了我們的預期。
但在那場 Twitter 風波中，很多人問：為什麼你們要拋出這麼多末日般的悲觀預測？比如，能不能給出一個更積極的願景，告訴我們你們認為應該怎麼做？我覺得這種想法植入了我們的腦海。於是我們覺得確實有道理。我們之前描述了我們認為的默認發展路徑，現在也許我們應該轉換思路，提出一些切實可行的建議，並把那樣的未來也描繪出來。
史蒂文
即便你並不認為那很有可能實現。
丹尼爾
是的。即使你並不確信某位政治候選人會贏，你依然可以投票給他。如果你覺得毫無機會，那麼或許就不必費心了。
但我們認為是有機會的。特別是因為我們在場景中描述的原因，我們認為人們在未來幾年內將意識到 AI 的力量。
史蒂文
是因為發生了什麼事嗎？
丹尼爾
這些公司聲稱他們會這樣做，而且他們也確實步入正軌了。如果他們能達到接近這種水平的 AI，那麼出現重大的議題和問題也是合乎情理的。因此，即使沒有發生什麼非常戲劇性的預警事件，人們也會自然而然地開始更多地關注這一點。因此，人們自然會對 AI 監管產生更大的興趣。事實上，這種情況其實正在發生得更多，比我們預期的要多。
史蒂文
更多什麼在發生？
丹尼爾
對 AI 監管的認真關注。所以，在我們發佈 AI 2027 的時候，科技公司和政府的主流觀點基本上還傾向於認為 AI 監管是個壞主意，隨它去吧。現在看來，對話內容已經發生了很大變化。
政府似乎正在覺醒，採取的行動已經超出了我們的預期。我們確實希望這種趨勢能夠持續下去，並且在一切為時已晚之前，政府內部、政府外部以及整個社會能夠就所有這些問題進行非常嚴肅的討論，並努力規劃一條道路，以避免我們之前提到的失控風險和權力集中風險。
史蒂文
你已經思考這些問題差不多快 15 年了。如果這裡有一個按鈕，如果你按下它，它將永久關閉目前正在訓練前沿 AI 模型的所有資料中心。此後將再也不會有任何 AI 實驗室致力於解決這些問題。你會按下那個按鈕嗎？
丹尼爾
我本來打算直接按下去的，直到你說要永久關停。
如果只是某種暫時的關閉，我絕對會毫不猶豫地按下那個按鈕。因為我們還沒準備好迎接這一切，你懂嗎？
文明還沒準備好讓這些公司實現自動化，最後擁有超級智能，完全沒有。
這其中有很多原因說明它是非常危險的。但我如果按下這個按鈕意味著永久排除了未來再進行這項研究的可能性，我肯定會感到猶豫。但如果你讓我在這場競速與永久關閉之間做選擇，我想我會按下它。
史蒂文
這取決於你的想法，因為如果你認為這就是將會發生的情況，那就是唯一替代方案。
丹尼爾
我沒說這就是一定會發生的情況。
史蒂文
那麼，基於你目前對任何一種你認為會發生的情況的看法，你會按下那個按鈕嗎？
丹尼爾
這很難說。此次關停的範圍有多大？
史蒂文
是的，就是再也沒有人能訓練 AI 模型了，永遠都不行。
丹尼爾
那真的很殘酷，因為就像我說的，如果我們做得對，AI 能帶來很多好處。在某種程度上，我覺得我幾乎把你置於了 Sam Altman 的位置。我不介意花點時間思考一下，你介意嗎？
史蒂文
我更希望你能夠深思熟慮。
丹尼爾
好的。
我覺得我不會按下那個按鈕，但我對此感到非常糾結。我認為我不會按下按鈕的原因是，我仍然懷有巨大的希望，相信我們能獲得比現在更好的結果，某種更接近於此的結果。
我不認為當前的人類文明處於極其穩定的狀態。所以，我原本想說的是，為了後代以及未來可能存在的數十億人，這些潛在利益超過了當前的風險水平。
但我現在覺得，眼下的人們才是我們應該優先考慮的對象。當下的人們正處於嚴重的危險之中。你確實問了我一個難題。
史蒂文
那麼如果這就是那個按鈕，你會按下去嗎？
丹尼爾
可能不會，但我會感到非常糾結。
史蒂文
好的。我一直在思考觀看節目的觀眾，正如我們所見，他們對 AI 這個話題非常好奇，但他們想知道這對他們意味著什麼。我想他們中也有很多人想知道自己能做些什麼。
丹尼爾
我認為如果你有天賦或熱情，就可以直接參與其中。有很多組織正在關注這些問題並試圖採取行動。但如果你不想做出重大的職業轉型，那麼我建議你多關注這些議題，並與他人多加交流。
比如去做一些力所能及的事，給你的國會議員寫郵件之類的。
這或許不會帶來翻天覆地的改變，但確實會有所幫助。我認為特別是針對這個問題，核心困境在於人們尚未予以足夠的重視。如果這些內容已經成為大家關注的焦點，我們根本就不會坐在這裡討論這些了。
因為那樣的話，應該早就已經有了更加重要的監管措施到位了，你明白嗎？總之，我認為越來越多的人意識到這些擔憂並關注這些預測，我們就越有可能在為時已晚之前做出積極的改變。
史蒂文
那麼他們應該如何在投票站進行投票呢？
丹尼爾
美國再過幾年就要舉行選舉了，但世界各地隨時都在發生選舉。
你應該去詢問候選人對這些 AI 相關問題的看法。
你應該嘗試讓他們表達觀點，然後投票給那些在這一議題上見解更佳的候選人。這或許是我們一生中、甚至事實上是整個人類歷史上最重要的事情。確保其朝著良好的方向發展至關重要。
史蒂文
生活在這一時刻，難道不覺得非常奇妙嗎？
你剛才在講話時我一直在思考，我想那是因為你把它比作某種終局演出。
丹尼爾
沒錯。
史蒂文
出生在這個走向高潮的階段是多麼瘋狂的一件事，你在此描述的一切，如果如你所願，極有可能在我有生之年內發生。
丹尼爾
沒錯。能活在這樣一個瘋狂的時代。
史蒂文
確實。
主持人
我注意到當我問你是否有孩子時，你的神情發生了相當明顯的變化。這就像是你突然進入了另一種狀態。顯然，這正是你所經歷的深思熟慮的核心。
丹尼爾
確實是這樣。這確實是個令人悲傷的話題。就像我當初要孩子的時候，要孩子的原因在很大程度上是為了未來，你明白嗎？這不僅僅是為了當下能有個可愛的小傢伙陪著你。而是因為你對他們的成長、對他們如何去闖蕩世界、如何成為獨立的個體等，懷揣著各種希望和夢想。而由於 AI 的發展，我認為那些夢想中的許多都受到了威脅。
主持人
想必你還是會選擇要孩子。
丹尼爾
其實我偶爾也會在這件事上反覆權衡。
總而言之，最直接的答案是我也不確定。我的第一個孩子出生了，我們是在2019年有的她，她出生於2019年。
所以這發生在我對時間線的預期大幅縮短之前。那時我對 AI 很感興趣，一直在關注該領域並進行預測，但我並沒有真正預料到它會這麼快發生，你知道嗎？後來這引發了……當我真的開始思考時，比如：天那，這件事真的很快就要發生了。
比如到2030年左右，這導致了一些反思。我基本上告訴妻子說：我們別再生孩子了，未來太不確定了。但這結果變得非常困難，特別是對於我妻子而言，因為我們已經有了一個孩子，而孩子沒有兄弟姐妹……所以最終我算是妥協了，覺得反正已經有一個了，一切都會好起來的。也許未來會是美好的，即便不是，我們也都處在同一條船上。
主持人
你說的話讓人感到不寒而慄。這讓人不寒而慄，因為你知道的內情比我多。如果你在家對妻子說：聽著，也許我們應該考慮暫時不要再生孩子、不再擴大這個家庭了，因為 AI 的發展形勢。明確地說，這非常令人擔憂。我確實，我確實感到不寒而慄。這太糟糕了。
丹尼爾
這正是我一直以來所說的。我希望一切順利。我認為事情可能會進展順利。我認為我們有很多事情可以做，比如引導事情向更好的方向發展。不得不說，這也是其中之一。我想說的是，僅僅談論它，我認為我們已經看到政府開始覺醒，而且正如你所知，我們看到了一些人在某些活動中起鬨的情況。
主持人
是的。這是否源於像你這樣的人實際上參加了這類節目以及所有其他播客，並告訴我們正在發生什麼？
丹尼爾
是的。因為公平地說，否則我們會被那些擁有最龐大公關機器的人所誤導。
主持人
是的。所以我經常覺得，也許我應該說，我發現自己處於一種矛盾的心態，因為我是一名企業家，而且我是一名投資者。我現在投資的公司可能超過了100家，其中許多公司都在使用 AI。我投資了推理晶片公司 Groq。我還投資了 SpaceX，他們現在擁有另一家 Groq，並且也在開發 AI。我的日常生活中每天都在使用 AI。在這次對話中，我一直通過 AI 來理解你所說的不同內容。所以這是我的一面，作為一個商業建設者和企業家，我已經在自己的生活中看到了 AI 帶來的益處。然後是我的另一面。
很有意思，因為我認為人們有時覺得必須選擇一個陣營。但我的一生中，即使在我身處社交媒體領域時，我也會說，順便提一下，聽著，我雖然在打造社交媒體業務，但我認為社交媒體也存在一些弊端。我發現自己正處於這樣一個時刻，一方面我利用 AI 進行建構，我持有 AI 相關的投資，但同時，作為一名普通公民，我又會有這樣的想法。
丹尼爾
是的。我認為這是一種張力。我認為有多種方式可以劃定界限。所以，我也認識許多以各種不同方式劃定界限的人。有些人就是單純地覺得，我不會使用 AI。我覺得這些東西很糟糕，且正處於一條錯誤的軌道上。所以我打算抵制 AI，我並非那種人。我經常使用 AI。我們在 AI Futures Project 的每個人都這樣做。這對我們的許多工作都很有幫助。而在光譜的另一端，有些人認為，看起來它正處於必然發生的軌道上。
所以，為了讓事情朝著好的方向發展，我們要做的就是參與其中，積累力量，並嘗試從內部去引導它。
所以我打算去 OpenAI 或 Anthropic 工作，嘗試通過晉陞掌握實權，這樣當重大決策制定時，我能成為那個有話語權的人。
我認識很多這樣的人。
我當時就是這麼做的，當我還在那個階段的時候。雖然並不完全是那樣做的，但這確實是那種路徑。在某種程度上，這正是所有這些公司所宣揚的敘事，這就是為什麼他們會自我開解說這樣做沒關係，因為他們擔心的是其他人，你懂嗎？所以，這些人都在決定，我們要投入得更深一些。我們要，在做重要決策時身處現場，你懂嗎？所以這裡存在一個完整的立場光譜。而我大概處於中間地帶。我並沒有在 AI 公司工作，也不是在幫助他們加快研發進度。相反，我是在與大眾交流並試圖倡導——倡導我認為的、目前能想到的最好出路，也就是前進的方向，你懂嗎？但我並不是在抵制所有 AI，我並沒有拒絕以那種方式去接觸它。
主持人
你認為現在為時已晚嗎？
丹尼爾
不。我不認為為時已晚。如果我認為已經太晚了，我就不會在這裡了。
主持人
那你會在那裡？
丹尼爾
和我的家人在一起。
主持人
你對公眾最後的寄語是什麼？如果你必須對他們發表一段結束語的話。
丹尼爾
也許我會說，你將會聽到很多事情，而且你已經聽到了很多關於 AI 的討論，這些聽起來可能像科幻小說一樣。但有時聽起來像科幻小說的事情，確實會在現實中發生。
事實上，從歷史的角度來看，許多曾經的科幻構想後來都成為了現實。人們需要停止糾結於什麼聽起來像科幻、什麼聽起來不像，而應該開始關注這項技術實際的發展趨勢，研判並預測其走向，認真審視其演變為現實的可能性，進而思考應當如何應對。
主持人
你建議他們去那裡獲取更多資訊？
丹尼爾
你可以訪問 ai2027.com 閱讀我們之前的設想方案。你可以訪問 ai2040.com Plan A 閱讀我們關於應採取何種行動的新建議。
這些內容不僅僅是科幻故事。它們還包含大量解讀說明以及指向其他內容的連結。
因此，它們是瞭解所有這些資訊的一個不錯的切入點。如果你願意的話，在本次談話結束後，我可以提供一份閱讀清單，包括其他論文、文章以及值得關注的部落格等。我會把它們全部連結在下方的評論區裡。所以，如果你現在正在收聽，請直接查看評論區以及本集節目的簡介。
主持人
你會看到一連串的連結，這些是丹尼爾推薦的閱讀材料。
丹尼爾
我認為現在是一個非常、非常好的學習時機。關於這些內容，由於認知失調，人類有一種傾向，即當我們對某事感到不安時，會選擇掩耳盜鈴並迴避它。
主持人
沒錯。
丹尼爾
但實際上，我認為現在正是應該反其道而行之的時候，原因有很多：既是為了充實自己從而知道該採取什麼行動，也是因為 AI 不可避免地將成為我們所有人生活和職業生涯中重要的一部分。
主持人
謝謝你。這確實是一個很好的說法。它將產生巨大的影響。很快它就會無處不在。你需要在為時已晚之前採取行動。那麼 AI Futures Project 又是怎麼回事？
丹尼爾
那是我們的組織。
我離開 OpenAI 後花了一年時間編寫 AI 2027，之後又花了一年時間編寫 AI 2040 Plan A。
主持人
丹尼爾，謝謝你。
丹尼爾
謝謝。
主持人
感謝你所做的一切工作。我能看出你對此有多麼關切。有趣的是，關切本身就能讓別人感受到被關懷。看到這件事對你個人而言意義重大，看到你為之傾注了畢生心血，而且聽說你為了能向公眾披露這些資訊，基本上放棄了 200 萬美元的收入，這令人無比欽佩。我認為在這一議題上，像你這樣的聲音現在比以往任何時候都更加重要。所以，請務必繼續堅持你所參與的這場抗爭。而這正是關於資訊的一點，它是關於誠實的，它是關於說出那些通常被隱而不言的事情。謝謝你做非常、非常睿智的研究。 (Web3天空之城)