•
Anthropic掌門人重磅訪談：AI正處於指數級增長尾聲，2026年將迎“資料中心裡的天才國度”，營收正以10倍極速狂飆
Dario Amodei在最新訪談中預測，2026-2027年將出現由AI組成的“資料中心裡的天才國度”，其智力密度堪比數萬名諾貝爾獎得主。在財務方面，他披露公司正經歷每年10倍的“恐怖”增長，預計2025年營收將衝擊100億美元大關。Amodei解釋了為何不敢豪擲兆提前囤積晶片：一旦需求爆發延後一年，巨大的現金流壓力將直接導致公司破產。
在AI技術指數級爆發的前夜，Anthropic掌門人Dario Amodei拋出了震撼業界的預測：我們正處於“指數增長的黃昏”，最快到2026年，人類將迎來由數萬個頂尖大腦組成的“資料中心裡的天才國度”。
近日，大模型獨角獸Anthropic首席執行長Dario Amodei在與Dwarkesh Patel的深度訪談中，罕見地披露了公司驚人的營收增速預期，並對AGI（通用人工智慧）的時間表、算力投資的財務邏輯以及地緣政治風險進行了詳盡闡述。Amodei認為，AI技術正處於從量變到質變的臨界點，未來2-3年將決定人類未來兩百年的走向。
01
AI 正處於指數級增長末期
Dario Amodei在訪談伊始就指出，我們已逼近 AI 指數增長曲線的尾聲，而世界尚未充分感知這場質變。
從 GPT-1 到如今的專業級模型，AI 完成了從 “聰慧高中生” 到 “博士水準” 的躍遷，程式設計、數學等領域甚至實現超越，底層擴展定律從未失效，算力與資料的投入仍在持續兌現明確收益。
指數增長的魔力藏在末期的爆發裡。Dario表示，Anthropic 年營收 10 倍的跨越式增長，Claude Code 讓工程師生產力倍增，模型上下文長度與泛化能力的快速突破，都在印證 “終點臨近” 的訊號。這場增長不只是參數的堆砌，更是智能本質的升級 —— 從資料擬合到自主泛化，AI 正在補齊最後幾塊關鍵能力拚圖。
02
“資料中心裡的天才國度”：重新定義2026
Amodei在訪談中提出了一個極具衝擊力的概念——“資料中心裡的天才國度”（A Country of Geniuses in a Datacenter）。他回顧了過去三年的技術演進，認為AI模型已從“聰明的高中生”進化為“專業人士”。
他大膽預測，到2026年或2027年，單一模型所展現出的智力水平、知識深度和邏輯推理能力，將不僅等同於一名諾貝爾獎得主，而是等同於數萬名頂尖天才協同工作的集合體。
對於這一時間表的確定性，Amodei表現出極高的信心：
“對於10年內實現這一願景，我有90%的把握；而對於這在未來1-2年內發生，我認為是50/50的可能性。”
他指出，唯一的變數可能來自地緣政治災難（如晶片供應鏈中斷）或社會劇烈動盪。
03
營收狂飆：從1億到100億美元的“恐怖”曲線
市場最為關注的財務資料方面，Amodei披露了Anthropic令人咋舌的增長曲線。他透露，公司營收正經歷著“怪異的每年10倍增長”（bizarre 10x per year growth）。Amodei在訪談中直言：
“2023年，我們從0增長到1億美元；2024年，從1億美元增長到10億美元；而2025年，我們預計將達到90億至100億美元。這一指數級增長大致符合我的預期，甚至在今年第一個月，我們又增加了數十億美元的營收。”
Amodei強調，儘管受到經濟擴散速度（Diffusion）滯後的影響，企業採納AI需要經過法律稽核、合規檢查等漫長流程，但技術本身的能力提升正在推動這一瘋狂的增長曲線。
04
算力豪賭與破產風險：CEO的財務平衡術
面對如此確定的技術前景，為何不現在就舉債兆美元囤積晶片？Amodei給出了極具現實意義的財務解釋：算力擴容必須與收入增長和預測精度掛鉤，否則將面臨毀滅性風險。
“如果我預測2027年會有兆級需求，從而提前購買了價值1兆美元的算力，但只要需求爆發的時間晚了一年，或者增長率稍微從10倍降至5倍，沒有任何避險手段能阻止公司破產。”Amodei解釋道，這種基於“對數收益定律”的投資回報需要精密核算。
他指出，Anthropic目前的策略是“負責任地激進”，即投入的算力規模足以捕捉巨大的上行空間，但如果市場爆發推遲，公司憑藉其企業級業務的高毛利和現金流，依然能夠生存。
他預計，Anthropic有望在2028年左右實現盈利，屆時AI將成為歷史上盈利能力最強的產業之一。
05
軟體工程的終局：從寫程式碼到取代工程師
在具體落地場景上，Amodei將程式設計視為AI最先攻克的堡壘。他將AI在軟體工程領域的進化分為三個階段：
- 第一階段：
模型編寫90%的程式碼行（已實現）。
- 第二階段：
模型處理90%的端到端任務，如修復Bug、配置叢集、撰寫文件。
- 第三階段：
模型具備“職場經驗”，能夠理解複雜程式碼庫的上下文並設定技術方向。
Amodei預測，在1-3年內，AI將能夠勝任高級軟體工程師的所有職責。
“這並不意味著工程師會失業，而是生產力的巨大爆發。現在的模型能做到的不僅是補全程式碼，而是直接接管GPU核心編寫等高難度任務。”
Anthropic首席執行長Dario Amodei深度訪談全文翻譯如下：
06
我們究竟在擴展什麼？
Dwarkesh Patel（以下簡稱Dwarkesh）： 我們三年前談過。在你看來，過去三年最大的更新是什麼？現在和當時的感覺有什麼最大的不同？
Dario Amodei（以下簡稱Dario）： 從宏觀上講，底層技術的指數級增長基本符合我的預期。雖然有一兩年的誤差。我不確定我是否預測到了程式碼方面的具體發展方向。但當我看這個指數曲線時，它大致符合我對模型進步的預期——從聰明的高中生到聰明的大學生，再到開始做博士和專業級的工作，在程式碼領域甚至超越了這個水平。前沿進展雖然有些不均衡，但大體符合預期。
最令人驚訝的是，公眾缺乏對我們距離指數曲線終點有多近的認識。對我來說，這真是太瘋狂了——無論是圈內還是圈外的人——都在談論那些老掉牙的政治熱點問題，而我們已經接近指數曲線的尾聲了。
Dwarkesh： 我想瞭解現在這個指數曲線是什麼樣子。三年前我問你的第一個問題是"擴展是怎麼回事，為什麼有效？"現在我有類似的問題，但感覺更複雜了。
至少從公眾的角度來看，三年前有眾所周知的公開趨勢，跨越多個數量級的計算量，你可以看到損失函數如何改善。現在我們有了強化學習擴展，但沒有公開已知的擴展定律。甚至不清楚這背後的原理是什麼。這是在教模型技能嗎？是在教元學習嗎？現在的擴展假設是什麼？
Dario： 實際上我的假設和2017年時一樣。
我想我上次談過這個，但我寫過一篇叫做"大計算塊假設"的文件。它不是專門關於語言模型擴展的。我寫它的時候GPT-1剛出來，那只是眾多事物之一。
那時候有機器人技術。人們試圖將推理作為獨立於語言模型的東西來研究，還有AlphaGo和OpenAI的Dota中那種強化學習的擴展。人們記得DeepMind的星海爭霸，AlphaStar。
這是一份更通用的文件。Rich Sutton幾年後發表了"苦澀的教訓"。這個假設基本相同。
它說的是，所有的聰明才智，所有的技術，所有"我們需要新方法來做某事"的想法，這些都不太重要。只有少數幾件事重要。我想我列出了七項。
一是你有多少原始計算能力。 二是資料的數量。 三是資料的質量和分佈。它需要是廣泛的分佈。 四是你訓練多長時間。 五是你需要一個可以擴展到極致的目標函數。預訓練目標函數就是這樣一個目標函數。另一個是強化學習目標函數，它說你有一個目標，你要去實現這個目標。在這其中，有客觀獎勵，比如你在數學和編碼中看到的，也有更主觀的獎勵，比如你在RLHF或更高階版本中看到的。
然後第六和第七項是關于歸一化或條件化的東西，只是為了獲得數值穩定性，這樣大計算塊就能以這種層流方式流動，而不是遇到問題。
這就是那個假設，也是我至今仍然持有的假設。我沒有看到太多與之不符的東西。
預訓練擴展定律是我們看到的一個例子。這些定律一直在持續。現在已經被廣泛報導，我們對預訓練感覺良好。它繼續給我們帶來收益。
改變的是，現在我們也看到強化學習出現了同樣的情況。我們看到一個預訓練階段，然後是在此基礎上的強化學習階段。對於強化學習，實際上是一樣的。
甚至其他公司在他們的一些發佈中也發表了內容說，"我們在數學競賽上訓練模型——AIME或其他競賽——模型表現如何與我們訓練它的時間呈對數線性關係。"我們也看到了這一點，而且不僅僅是數學競賽。這是各種各樣的強化學習任務。
我們看到強化學習的擴展與我們在預訓練中看到的擴展是一樣的。
Dwarkesh： 你提到了Rich Sutton和"苦澀的教訓"。我去年採訪了他，他實際上非常不認同大語言模型。我不知道這是否是他的觀點，但用一種方式來轉述他的反對意見：真正擁有人類學習核心的東西，不需要所有這些數十億美元的資料和計算，以及這些定製環境，來學習如何使用Excel，如何使用PowerPoint，如何瀏覽網頁。
我們必須使用這些強化學習環境來內建這些技能的事實，暗示我們實際上缺少一個核心的人類學習演算法。所以我們在擴展錯誤的東西。這確實提出了一個問題。如果我們認為會有類似人類即時學習能力的東西，為什麼我們要做所有這些強化學習擴展？
Dario： 我認為這把幾個應該分別思考的東西混在一起了。這裡確實有一個真正的謎題，但它可能並不重要。事實上，我猜它可能不重要。
這裡有一個有趣的事情。讓我暫時把強化學習排除在外，因為我實際上認為說強化學習在這個問題上與預訓練有任何不同是一個誤導。
如果我們看預訓練擴展，2017年Alec Radford做GPT-1時非常有趣。GPT-1之前的模型是在不代表廣泛文字分佈的資料集上訓練的。你有非常標準的語言建模基準。GPT-1本身實際上是在一堆同人小說上訓練的。那是文學文字，只是你能獲得的文字的很小一部分。
那時候大概是十億個詞之類的，所以是代表你在世界上能看到的相當狹窄分佈的小資料集。它的泛化能力不好。如果你在某個同人小說語料庫上做得更好，它不會很好地泛化到其他任務。我們有所有這些衡量標準。我們有各種衡量它在預測所有其他類型文字方面表現如何的標準。
只有當你在網際網路上的所有任務上進行訓練——當你從Common Crawl這樣的東西進行通用的網際網路抓取，或者抓取Reddit中的連結（這是我們為GPT-2做的）——你才開始獲得泛化能力。
我認為我們在強化學習上看到了同樣的事情。我們首先從簡單的強化學習任務開始，比如在數學競賽上訓練，然後轉向涉及程式碼等更廣泛的訓練。現在我們正在轉向許多其他任務。
我認為我們將越來越多地獲得泛化能力。所以這在某種程度上消除了強化學習與預訓練的區別。
但無論那種方式都有一個謎題，那就是在預訓練中我們使用了數兆個token。人類看不到數兆個單詞。所以這裡確實存在樣本效率差異。這裡確實有不同的東西。
模型從零開始，需要更多的訓練。但我們也看到，一旦它們被訓練好，如果我們給它們一百萬的長上下文——唯一阻礙長上下文的是推理——它們非常擅長在那個上下文中學習和適應。
所以我不知道這個問題的完整答案。我認為有些事情正在發生，預訓練不像人類學習的過程，但它介於人類學習的過程和人類進化的過程之間。
我們的許多先驗知識來自進化。我們的大腦不只是一塊白板。已經有整本書寫過這個。語言模型更像白板。它們真的是從隨機權重開始的，而人類大腦開始時就有所有這些區域連接到所有這些輸入和輸出。
也許我們應該把預訓練——以及強化學習——看作存在於人類進化和人類即時學習之間的中間空間。我們應該把模型進行的上下文學習看作介於人類長期學習和短期學習之間的東西。
所以有這樣一個層次結構。有進化，有長期學習，有短期學習，還有人類的即時反應。大語言模型的各個階段存在於這個光譜上，但不一定在完全相同的點上。
沒有與某些人類學習模式相對應的類似物，大語言模型落在這些點之間。這有意義嗎？
Dwarkesh： 有意義，雖然有些事情仍然有點令人困惑。例如，如果類比是這就像進化，所以樣本效率低是可以的，那麼如果我們要從上下文學習中獲得超級樣本高效的智能體，我們為什麼要費心建構所有這些強化學習環境？
有些公司的工作似乎是教模型如何使用這個API，如何使用Slack，如何使用其他東西。如果那種能即時學習的智能體正在出現或已經出現，為什麼有這麼多重點放在這上面，這讓我感到困惑。
Dario： 我不能代表其他人的重點。我只能談談我們是如何思考的。
目標不是在強化學習中教會模型每一個可能的技能，就像我們在預訓練中不這樣做一樣。在預訓練中，我們不是試圖讓模型接觸到單詞可以組合在一起的每一種可能方式。
相反，模型在很多東西上訓練，然後在預訓練中達到泛化。這是我近距離看到的從GPT-1到GPT-2的轉變。模型達到了一個點。我有過這樣的時刻，我想，"哦是的，你只要給模型一列數字——這是房子的價格，這是房子的平方英呎——模型就能完成模式並進行線性回歸。"
雖然不是很好，但它做到了，而且它以前從未見過那個確切的東西。
所以就我們正在建構這些強化學習環境而言，目標與五年或十年前預訓練所做的非常相似。我們試圖獲得大量資料，不是因為我們想覆蓋特定的文件或特定的技能，而是因為我們想要泛化。
我認為你提出的框架顯然是有道理的。我們正在朝著AGI前進。此時沒有人不同意我們將在本世紀實現AGI。關鍵是你說我們正在接近指數曲線的終點。
其他人看到這個會說，"我們從2012年以來一直在取得進展，到2035年我們將擁有類人智能體。"
顯然，我們在這些模型中看到了進化所做的事情，或者人類一生中學習所做的事情。我想瞭解你看到了什麼，讓你認為這是一年後而不是十年後。
擴展是藉口嗎？
Dario： 這裡可以提出兩種說法，一種更強，一種更弱。
從較弱的說法開始，當我在2019年第一次看到擴展時，我不確定。這是一個50/50的事情。我以為我看到了什麼。我的說法是，這比任何人想的都更有可能。也許有50%的機會會發生。
關於你所說的，在十年內我們將達到我所謂的"資料中心裡的天才之國"，我對此有90%的把握。很難超過90%，因為世界是如此不可預測。也許不可減少的不確定性使我們達到95%，你會遇到多家公司內部動盪、台灣被入侵、所有晶圓廠被導彈炸燬等情況。
Dwarkesh： 現在你給我們下了詛咒，Dario。
Dario： 你可以建構一個5%的世界，事情被推遲十年。
還有另外5%，那就是我對可以驗證的任務非常有信心。對於編碼，除了那個不可減少的不確定性，我認為我們將在一兩年內達到目標。我們不可能在十年內還沒有達到能夠進行端到端編碼的程度。
我的一點點根本不確定性，即使在長時間尺度上，是關於那些不可驗證的任務：規劃火星任務；做一些基礎科學發現，比如CRISPR；寫小說。
這些任務很難驗證。我幾乎可以肯定我們有一條可靠的路徑到達那裡，但如果有一點點不確定性，就在那裡。
在十年時間線上，我有90%的把握，這差不多是你能達到的最確定的程度。我認為說到2035年這不會發生是瘋狂的。在某個理智的世界裡，這會被認為是主流之外的觀點。
但對驗證的強調暗示我對這些模型是泛化的缺乏信念。如果你想想人類，我們既擅長那些能得到可驗證獎勵的事情，也擅長那些不能的事情。
Dario： 不，這就是為什麼我幾乎確定。我們已經看到從可驗證的事物到不可驗證的事物有相當大的泛化。我們已經看到了這一點。
但似乎你強調這是一個會分裂的光譜，我們會在那些領域看到更多進展。這似乎不像人類變得更好的方式。
Dario： 我們無法到達那裡的世界是我們做所有可驗證的事情的世界。其中許多會泛化，但我們沒有完全到達那裡。我們沒有完全填滿盒子的另一邊。這不是一個二元的事情。
即使泛化很弱，你只能做可驗證的領域，我也不清楚在這樣的世界裡你能否自動化軟體工程。從某種意義上說，你是"軟體工程師"，但作為軟體工程師的一部分工作包括寫關於你宏大願景的長備忘錄。
Dwarkesh： 我不認為那是軟體工程師工作的一部分。
Dario： 那是公司工作的一部分，不是專門針對軟體工程師的。但軟體工程師確實涉及設計文件和其他類似的東西。模型已經很擅長寫註釋了。
再說一次，我在這裡提出的主張比我相信的要弱得多，以區分兩件事。我們在軟體工程方面已經幾乎到了。
Dwarkesh： 按什麼標準？有一個標準是AI寫了多少行程式碼。
如果你考慮軟體工程歷史上的其他生產力改進，編譯器寫了所有的軟體行。寫了多少行和生產力提高有多大之間是有區別的。"我們幾乎到了"是什麼意思？
Dario： 生產力提高有多大，不僅僅是AI寫了多少行。
Dwarkesh： 我實際上同意你的觀點。
Dario： 我對程式碼和軟體工程做了一系列預測。我認為人們一再誤解它們。讓我列出這個光譜。
大約八、九個月前，我說AI模型將在三到六個月內編寫90%的程式碼行。這發生了，至少在某些地方。它發生在Anthropic，發生在許多使用我們模型的下遊人員身上。
但這實際上是一個非常弱的標準。人們以為我是說我們不需要90%的軟體工程師。這些事情相距甚遠。
光譜是：90%的程式碼由模型編寫，100%的程式碼由模型編寫。這在生產力上有很大差異。
90%的端到端軟體工程任務——包括編譯、設定叢集和環境、測試功能、編寫備忘錄等——由模型完成。
100%的今天的軟體工程任務由模型完成。即使發生這種情況，也不意味著軟體工程師會失業。他們可以做新的更高級的事情，他們可以管理。
然後在光譜的更遠處，對軟體工程師的需求減少了90%，我認為這會發生，但這是一個光譜。
我在"技術的青春期"中寫過這個，我用農業經歷了這種光譜。
Dwarkesh： 我實際上完全同意你的觀點。這些是彼此非常不同的基準，但我們正在以超快的速度通過它們。
你的願景的一部分是從90到100會很快發生，並且會帶來巨大的生產力提升。但我注意到的是，即使在綠地項目中，人們從Claude Code或其他東西開始，人們報告啟動了很多項目...我們在外面的世界中看到軟體的復興了嗎，所有這些否則不會存在的新功能？至少到目前為止，似乎我們沒有看到。
所以這確實讓我想知道。即使我從不需要干預Claude Code，世界也是複雜的。工作是複雜的。在自包含系統上閉環，無論是唯寫軟體還是其他什麼，我們會從中看到多大的更廣泛收益？
也許這應該稀釋我們對"天才之國"的估計。
Dario： 我同時同意你的觀點，這是這些事情不會立即發生的原因，但同時，我認為效果會非常快。
你可以有這兩個極端。一個是AI不會取得進展。它很慢。它將永遠擴散到經濟中。
經濟擴散已經成為這些流行語之一，成為我們不會取得AI進展或AI進展不重要的原因。
另一個軸是我們將獲得遞迴自我改進，整個事情。你不能只在曲線上畫一條指數線嗎？
在我們獲得遞迴後的許多納秒內，我們將在太陽周圍擁有戴森球。我在這裡完全是在諷刺這個觀點，但有這兩個極端。
但我們從一開始就看到的，至少如果你看Anthropic內部，有這種奇怪的每年10倍的收入增長。
所以在2023年，是從零到1億美元。在2024年，是從1億美元到10億美元。在2025年，是從10億美元到90-100億美元。
Dwarkesh： 你們應該買10億美元的自己的產品，這樣你們就可以...
Dario： 今年的第一個月，那個指數曲線...你會認為它會放緩，但我們在一月份又增加了幾十億美元的收入。
顯然那條曲線不能永遠持續下去。GDP只有那麼大。我甚至猜測它今年會有所彎曲，但那是一條快速曲線。那是一條非常快的曲線。我打賭即使規模擴大到整個經濟，它也會保持相當快的速度。
所以我認為我們應該考慮這個中間世界，事情非常快，但不是瞬間的，它們需要時間，因為經濟擴散，因為需要閉環。
因為它很繁瑣："我必須在我的企業內進行變更管理...我設定了這個，但我必須更改這個的安全權限才能使它真正工作...我有這個舊的軟體在編譯和發佈之前檢查模型，我必須重寫它。是的，模型可以做到這一點，但我必須告訴模型去做。它必須花時間去做。"
所以我認為到目前為止我們看到的一切都與這樣的想法相容：有一個快速指數曲線，那就是模型的能力。然後還有另一個快速指數曲線，那是下游的，那就是模型擴散到經濟中。
不是瞬間的，不是緩慢的，比任何以前的技術都快得多，但它有其限制。
當我看Anthropic內部，當我看我們的客戶：快速採用，但不是無限快。
Dwarkesh： 我能試試一個大膽的觀點嗎？
Dario： 可以。
Dwarkesh： 我覺得擴散是人們說的藉口。當模型不能做某事時，他們會說，"哦，但這是一個擴散問題。"
但你應該與人類進行比較。你會認為AI固有的優勢會使新AI的入職擴散比新人類的入職容易得多的問題。
AI可以在幾分鐘內閱讀你的整個Slack和你的drive。它們可以共享相同實例的其他副本擁有的所有知識。
當你僱用AI時，你沒有這種逆向選擇問題，所以你可以只僱用經過審查的AI模型的副本。
僱用人類要麻煩得多。人們一直在僱用人類。我們向人類支付超過50兆美元的工資，因為他們有用，儘管原則上將AI整合到經濟中應該比僱用人類容易得多。
擴展並不能真正解釋。
Dario： 我認為擴散是非常真實的，並不完全與AI模型的侷限性有關。
再說一次，有些人使用擴散作為一種流行語來說這不是什麼大事。我不是在談論那個。我不是在談論AI將以以前技術的速度擴散。
我認為AI的擴散速度會比以前的技術快得多，但不是無限快。
我只舉一個例子。有Claude Code。Claude Code非常容易設定。如果你是開發人員，你可以直接開始使用Claude Code。
大型企業的開發人員沒有理由不像個人開發人員或初創公司的開發人員那樣快速採用Claude Code。
我們盡一切可能推廣它。我們向企業出售Claude Code。
大型企業、大型金融公司、大型製藥公司，所有這些都在採用Claude Code，比企業通常採用新技術快得多。
但同樣，這需要時間。任何給定的功能或任何給定的產品，比如Claude Code或Cowork，將被一直在Twitter上的個人開發人員、A輪初創公司採用，比被從事食品銷售的大型企業採用要早幾個月。
只是有很多因素。你必須通過法律審查，你必須為每個人配置它。它必須通過安全和合規。
公司的領導者離AI革命更遠，他們有遠見，但他們必須說，"哦，我們花5000萬美元是有意義的。這就是這個Claude Code的東西。這就是它為什麼幫助我們公司。這就是它為什麼讓我們更有生產力。"
然後他們必須向下兩級的人解釋。他們必須說，"好的，我們有3000名開發人員。我們將如何向我們的開發人員推出它。"
我們每天都有這樣的對話。我們正在盡一切努力使Anthropic的收入增長每年20或30倍，而不是10倍。
再說一次，許多企業只是說，"這太有生產力了。我們將在我們通常的採購流程中走捷徑。"
他們的行動比我們試圖向他們出售普通API時快得多，許多企業都在使用。Claude Code是一個更引人注目的產品，但它不是一個無限引人注目的產品。
我認為即使是AGI或強大的AI或"資料中心裡的天才之國"也不會是一個無限引人注目的產品。它將是一個足夠引人注目的產品，也許可以獲得每年3-5倍或10倍的增長，即使你在數千億美元的規模上，這是非常難做到的，歷史上從未做到過，但不是無限快。
Dwarkesh： 我認為它會是一個輕微的放緩。也許這不是你的主張，但有時人們談論這個就像，"哦，能力在那裡，但因為擴散...否則我們基本上就在AGI了。"
Dario： 我不相信我們基本上就在AGI了。我認為如果你有"資料中心裡的天才之國"...
如果我們有"資料中心裡的天才之國"，我們會知道的。如果你有"資料中心裡的天才之國"，我們會知道的。這個房間裡的每個人都會知道。華盛頓的每個人都會知道。農村地區的人可能不知道，但我們會知道。
我們現在沒有那個。這是非常清楚的。
持續學習是必要的嗎？
Dwarkesh： 回到具體預測...因為有太多不同的東西需要消除歧義，當我們談論能力時，很容易互相誤解。
例如，當我三年前採訪你時，我問你一個關於三年後我們應該期待什麼的預測。你是對的。你說，"我們應該期待這樣的系統，如果你和它們交談一個小時，很難把它們與受過良好教育的人類區分開來。"我認為你是對的。
我在精神上感到不滿意，因為我的內部期望是這樣的系統可以自動化白領工作的大部分。所以談論你想從這樣的系統中獲得的實際最終能力可能更有成效。
我基本上會告訴你我認為我們在那裡。
讓我問一個非常具體的問題，這樣我們就可以精準地弄清楚我們應該很快考慮什麼樣的能力。也許我會在我很瞭解的工作背景下問這個問題，不是因為它是最相關的工作，而只是因為我可以評估關於它的主張。
拿視訊編輯來說。我有視訊編輯。他們工作的一部分包括瞭解我們觀眾的偏好，瞭解我的偏好和品味，以及我們擁有的不同權衡。他們在許多個月的過程中建立起對上下文的理解。
他們在工作六個月後擁有的技能和能力，一個可以即時掌握該技能的模型，我們應該什麼時候期待這樣的AI系統？
Dario： 我想你在說的是我們正在做這個三小時的採訪。會有人進來，會有人編輯它。他們會說，"哦，我不知道，Dario撓了撓頭，我們可以把那個剪掉。"
"放大那個。""有這個長討論，對人們來說不太有趣。還有另一個對人們更有趣的東西，所以讓我們做這個編輯。"
我認為"資料中心裡的天才之國"將能夠做到這一點。它能夠做到這一點的方式是它將對電腦螢幕有一般控制。你將能夠輸入這個。
它還將能夠使用電腦螢幕上網，查看你所有以前的採訪，查看人們在Twitter上對你的採訪的評論，與你交談，問你問題，與你的員工交談，查看你所做的編輯歷史，並從中完成工作。
我認為這取決於幾件事。我認為這實際上是阻礙部署的事情之一：在電腦使用方面達到模型真正精通使用電腦的程度。
我們已經看到基準測試中的這種攀升，基準測試總是不完美的衡量標準。但我認為當我們一年零一個季度前首次發佈電腦使用時，OSWorld大約是15%。
我不記得確切數字了，但我們已經從那裡攀升到65-70%。可能還有更難的衡量標準，但我認為電腦使用必須通過一個可靠性點。
Dwarkesh： 在你繼續下一點之前，我能跟進一下嗎？多年來，我一直在嘗試為自己建構不同的內部LLM工具。
通常我有這些文字輸入、文字輸出的任務，應該是這些模型的核心能力。然而我仍然僱用人類來做它們。
如果是像"識別這個文字中最好的片段是什麼"這樣的事情，也許大語言模型在上面做了七分之十的工作。但沒有這種持續的方式讓我與它們互動，幫助它們在工作上做得更好，就像我可以與人類員工一樣。
那種缺失的能力，即使你解決了電腦使用，仍然會阻礙我將實際工作外包給它們的能力。
Dario： 這回到了我們之前談論的在工作中學習。這非常有趣。我認為對於編碼智能體，我不認為人們會說在工作中學習是阻止編碼智能體端到端完成所有事情的原因。
它們一直在變得更好。我們在Anthropic有不寫任何程式碼的工程師。當我看生產力時，回到你之前的問題，我們有人說，"這個GPU核心，這個晶片，我以前自己寫。我只是讓Claude做。"生產力有巨大的提高。
當我看Claude Code時，對程式碼庫的熟悉度或模型沒有在公司工作一年的感覺，這不是我看到的投訴列表中的高位。
我認為我所說的是我們正在走一條不同的路徑。
Dwarkesh： 你不認為編碼之所以如此，是因為有一個外部的記憶支架存在於程式碼庫中實例化嗎？我不知道有多少其他工作有那個。
編碼取得快速進展正是因為它有這個其他經濟活動所沒有的獨特優勢。
Dario： 但當你這麼說時，你暗示的是，通過將程式碼庫讀入上下文，我擁有人類在工作中需要學習的一切。
所以那將是一個例子——無論它是否被寫下來，無論它是否可用——一個你需要知道的一切都從上下文窗口獲得的案例。
我們認為的學習——"我開始這份工作，我需要六個月來理解程式碼庫"——模型只是在上下文中做到了。
我真的不知道如何思考這個，因為有人定性地報告了你所說的。我相信你去年看到了，有一項重大研究，他們讓有經驗的開發人員嘗試在他們熟悉的儲存庫中關閉拉取請求。那些開發人員報告了提升。他們報告說使用這些模型他們感覺更有生產力。
但事實上，如果你看他們的輸出以及實際合併回的內容，有20%的下降。他們使用這些模型的結果是生產力降低了。
所以我試圖將人們對這些模型的定性感覺與以下幾點相協調：1）在宏觀層面，這個軟體的復興在那裡？然後2）當人們進行這些獨立評估時，為什麼我們沒有看到我們期望的生產力收益？
Dario： 在Anthropic內部，這真的是毫不含糊的。我們承受著難以置信的商業壓力，並且因為我們做的所有安全工作而讓自己更加困難，我認為我們做得比其他公司多。
在保持我們的價值觀的同時在經濟上生存的壓力是難以置信的。我們正在努力保持這個10倍收入曲線的增長。
沒有時間胡說八道。沒有時間感覺我們有生產力而實際上沒有。
這些工具使我們更有生產力得多。你認為我們為什麼擔心競爭對手使用這些工具？因為我們認為我們領先於競爭對手。
如果這秘密地降低了我們的生產力，我們不會經歷所有這些麻煩。我們每隔幾個月就能看到最終生產力，以模型發佈的形式。
對此沒有自欺欺人的餘地。這些模型使你更有生產力。
1）人們感覺自己有生產力是由這樣的研究定性預測的。但2）如果我只看最終輸出，顯然你們正在取得快速進展。
但這個想法應該是，通過遞迴自我改進，你製造了一個更好的AI，AI幫助你建構一個更好的下一個AI，等等等等。
相反，我看到的是——如果我看你、OpenAI、DeepMind——人們只是每隔幾個月就在領獎台上移動位置。也許你認為那會停止，因為你贏了或者什麼的。
但如果事實上上一個編碼模型有這些巨大的生產力收益，為什麼我們沒有看到擁有最好編碼模型的人有這種持久優勢。
Dario： 我認為我對情況的模型是有一個逐漸增長的優勢。我會說現在編碼模型給出的總因子加速可能是，我不知道，15-20%。那是我的看法。六個月前，可能是5%。
所以沒關係。5%不算數。它現在剛剛到達一個點，它是幾個因素中的一個，有點重要。那將繼續加速。
我會說六個月前，有幾家公司大致處於同一點，因為這不是一個顯著因素，但我認為它開始加速越來越多。
我還會說有多家公司編寫用於程式碼的模型，我們並不完全擅長阻止其中一些其他公司在內部使用我們的模型。
所以我認為我們看到的一切都與這種滾雪球模型一致。再說一次，我在所有這一切中的主題是所有這一切都是軟起飛，軟的、平滑的指數曲線，儘管指數曲線相對陡峭。
所以我們看到這個雪球聚集動力，它像10%，20%，25%，40%。隨著你的進行，阿姆達爾定律，你必須把所有阻止你閉環的東西清除掉。
但這是Anthropic內部最大的優先事項之一。
退一步說，在我們談論何時獲得這種在職學習之前？
似乎你在編碼方面提出的觀點是我們實際上不需要在職學習。
你可以有巨大的生產力提升，你可以為AI公司帶來潛在的數兆美元收入，而沒有這種基本的人類即時學習能力。
也許那不是你的主張，你應該澄清。但在大多數經濟活動領域，人們說，"我雇了某人，他們在最初幾個月不是那麼有用，然後隨著時間的推移，他們建立了背景、理解。"
實際上很難定義我們在這裡談論什麼。但他們得到了一些東西，然後現在他們是一個強大的力量，他們對我們如此有價值。
如果AI沒有發展出這種即時學習的能力，我有點懷疑我們是否會在沒有那種能力的情況下看到世界的巨大變化。
Dario： 我認為這裡有兩件事。現在有技術的狀態。
再說一次，我們有這兩個階段。我們有預訓練和強化學習階段，你把一堆資料和任務扔進模型，然後它們泛化。
所以這就像學習，但這就像從更多資料學習，而不是在一個人類或一個模型的一生中學習。
所以再說一次，這位於進化和人類學習之間。但一旦你學會了所有這些技能，你就擁有它們。
就像預訓練一樣，就像模型知道更多一樣，如果我看一個預訓練模型，它對日本武士的歷史瞭解比我多。它對棒球瞭解比我多。它對低通濾波器和電子學瞭解更多，所有這些東西。
它的知識比我的廣泛得多。所以我認為即使只是那個也可能讓我們達到模型在一切方面都更好的地步。
我們還有，再說一次，只是通過擴展現有設定的類型，上下文學習。我會把它描述為有點像人類的在職學習，但稍微弱一點，稍微短期一點。
你看上下文學習，如果你給模型一堆例子，它確實能理解。上下文中確實發生了真正的學習。
一百萬個token是很多的。那可以是幾天的人類學習。如果你想想模型閱讀一百萬個單詞，我需要多長時間才能閱讀一百萬個？至少幾天或幾周。
所以你有這兩樣東西。我認為現有範式中的這兩樣東西可能就足以讓你獲得"資料中心裡的天才之國"。
我不確定，但我認為它們會讓你得到其中的很大一部分。可能有差距，但我當然認為就目前而言，這足以產生數兆美元的收入。那是第一點。
第二點，這個持續學習的想法，單個模型在工作中學習的想法。我認為我們也在研究這個。
很有可能在接下來的一兩年內，我們也會解決這個問題。再說一次，我認為你在沒有它的情況下走了大部分路。
每年數兆美元的市場，也許所有我在"技術的青春期"中寫的國家安全影響和安全影響都可以在沒有它的情況下發生。
但我們，我想其他人，正在研究它。很有可能我們將在接下來的一兩年內到達那裡。
有很多想法。我不會詳細討論所有這些，但一個就是讓上下文更長。沒有什麼能阻止更長的上下文工作。
你只需要在更長的上下文上訓練，然後學會在推理時為它們提供服務。這兩個都是我們正在研究的工程問題，我假設其他人也在研究它們。
Dwarkesh： 這個上下文長度增加，似乎從2020年到2023年有一個時期，從GPT-3到GPT-4 Turbo，從2000上下文長度增加到128K。
我覺得從那時起的兩年左右，我們一直在相同的範圍內。當上下文長度變得比那長得多時，人們報告模型考慮完整上下文的能力出現定性下降。
所以我很好奇你在內部看到了什麼，讓你認為，"1000萬上下文，1億上下文，以獲得六個月的人類學習和建立上下文"。
Dario： 這不是一個研究問題。這是一個工程和推理問題。如果你想提供長上下文，你必須儲存你的整個KV快取。
在GPU中儲存所有記憶體、處理記憶體是很困難的。我甚至不知道細節。在這一點上，這是一個我不再能夠跟上的細節水平，儘管我在GPT-3時代知道它。"這些是權重，這些是你必須儲存的啟動..."
但現在整個事情都翻轉了，因為我們有MoE模型和所有這些。
關於你談論的這種退化，有兩件事，不要太具體。有你訓練的上下文長度和你服務的上下文長度。
如果你在小上下文長度上訓練，然後嘗試在長上下文長度上服務，也許你會得到這些退化。它比什麼都沒有好，你可能仍然提供它，但你會得到這些退化。
也許在長上下文長度上訓練更難。我想，同時，問一些可能的兔子洞。
如果你必須在更長的上下文長度上訓練，那不是意味著對於相同數量的計算，你能獲得的樣本會更少嗎？
也許不值得深入研究。我想得到更大圖景問題的答案。
我不覺得對為我工作了六個月的人類編輯和與我一起工作了六個月的AI有偏好，你預測那將是那一年？
Dario： 我對此的猜測是有很多問題，基本上當我們有"資料中心裡的天才之國"時，我們可以做到這一點。
我對此的看法，如果你讓我猜，是一到兩年，也許一到三年。真的很難說。我有一個強烈的觀點——99%，95%——所有這些將在10年內發生。我認為那只是一個超級安全的賭注。
我有一個預感——這更像是一個50/50的事情——它將更像是一到兩年，也許更像是一到三年。
所以一到三年。天才之國，以及稍微不那麼有經濟價值的編輯視訊任務。
Dwarkesh： 聽起來很有經濟價值，讓我告訴你。
Dario： 只是有很多像那樣的用例。有很多類似的。所以你預測在一到三年內。
如果AGI即將到來，為什麼不購買更多計算？
Dwarkesh： 然後，一般來說，Anthropic預測到2026年底或2027年初，我們將擁有"具有瀏覽當今人類進行數字工作的介面的能力、匹配或超過諾貝爾獎獲得者的智力能力以及與物理世界互動的能力"的AI系統。
你兩個月前接受DealBook採訪時強調了你公司相對於競爭對手更負責任的計算擴展。我試圖協調這兩種觀點。
如果你真的相信我們將擁有一個天才之國，你想要儘可能大的資料中心。沒有理由放慢速度。
一個諾貝爾獎獲得者的TAM，實際上可以做諾貝爾獎獲得者能做的一切，是數兆美元。
所以我試圖協調這種保守主義，如果你有更溫和的時間線，這似乎是理性的，與你關於進展的陳述觀點。
Dario： 它實際上都吻合在一起。我們回到這個快速但不是無限快的擴散。
假設我們以這個速度取得進展。技術以這麼快的速度取得進展。我非常確信我們將在幾年內到達那裡。
我有一個預感，我們將在一兩年內到達那裡。所以在技術方面有一點不確定性，但非常有信心它不會相差太多。
我不太確定的是，再說一次，經濟擴散方面。我真的相信我們可以在一兩年內擁有資料中心裡的天才之國的模型。
一個問題是：在那之後多少年，數兆的收入開始滾滾而來？我不認為它保證會是立即的。
可能是一年，可能是兩年，我甚至可以延伸到五年，儘管我對此持懷疑態度。
所以我們有這種不確定性。即使技術進展如我懷疑的那樣快，我們也不確切知道它將以多快的速度推動收入。
我們知道它即將到來，但根據你購買這些資料中心的方式，如果你相差幾年，那可能是毀滅性的。
這就像我在"慈愛機器"中寫的那樣。我說我認為我們可能會得到這個強大的AI，這個"資料中心裡的天才之國"。你給出的那個描述來自"慈愛機器"。
我說我們將在2026年得到它，也許是2027年。再說一次，那是我的預感。如果我相差一兩年，我不會感到驚訝，但那是我的預感。
假設發生了。那是起跑槍。治癒所有疾病需要多長時間？那是推動大量經濟價值的方式之一。
你治癒每一種疾病。有一個問題是有多少歸製藥公司或AI公司，但有巨大的消費者剩餘，因為——假設我們可以為每個人提供訪問，我非常關心這一點——我們治癒所有這些疾病。
需要多長時間？你必須進行生物學發現，你必須製造新藥，你必須經過監管過程。我們在疫苗和COVID中看到了這一點。
我們把疫苗推廣給每個人，但花了一年半。
我的問題是：從AI首次存在於實驗室到疾病實際上為每個人治癒，需要多長時間才能讓每個人都得到治癒一切的方法——AI是理論上可以發明的天才？
我們有脊髓灰質炎疫苗50年了。我們仍在試圖在非洲最偏遠的角落根除它。蓋茲基金會正在盡其所能嘗試。其他人也在盡其所能嘗試。但這很困難。
再說一次，我不期望大部分經濟擴散會像那樣困難。那是最困難的情況。但這裡有一個真正的困境。
我對此的看法是，它將比我們在世界上看到的任何東西都快，但它仍然有其限制。
所以當我們去購買資料中心時，再說一次，我看的曲線是：我們每年都有10倍的增長。
在今年年初，我們看到的是100億美元的年化收入。我們必須決定購買多少計算。
實際建構資料中心、預訂資料中心需要一兩年時間。
基本上我是在說，"在2027年，我得到多少計算？"
我可以假設收入將繼續每年增長10倍，所以到2026年底將是1000億美元，到2027年底將是1兆美元。
實際上將是5兆美元的計算，因為它將是1兆美元一年持續五年。我可以購買從2027年底開始的1兆美元計算。
如果我的收入不是1兆美元，即使是8000億美元，世界上沒有任何力量，沒有任何避險可以阻止我破產，如果我購買那麼多計算。
儘管我大腦的一部分想知道它是否會繼續增長10倍，但我不能在2027年購買每年1兆美元的計算。
如果我在那個增長率上只相差一年，或者如果增長率是每年5倍而不是10倍，那麼你就會破產。
所以你最終處於一個世界，你支援數千億，而不是數兆。你接受一些風險，即有如此多的需求以至於你無法支援收入，你接受一些風險，即你弄錯了，它仍然很慢。
當我談到負責任的行為時，我的意思實際上不是絕對數量。我認為確實我們的支出比其他一些玩家少一些。
實際上是其他事情，比如我們是否經過深思熟慮，還是我們在YOLO並說，"我們要在這裡做1000億美元或在那裡做1000億美元"？
我的印象是其他一些公司沒有寫下電子表格，他們並不真正理解他們正在承擔的風險。他們只是做事情，因為聽起來很酷。
我們仔細考慮過。我們是一家企業業務。因此，我們可以更多地依賴收入。它不如消費者那麼善變。我們有更好的利潤率，這是購買太多和購買太少之間的緩衝。
我認為我們購買的數量允許我們捕獲相當強勁的上行世界。它不會捕獲完整的每年10倍。
事情必須變得相當糟糕，我們才會陷入財務困境。所以我們仔細考慮過，我們做出了那個平衡。這就是我說我們負責任的意思。
Dwarkesh： 所以似乎我們實際上可能只是對"資料中心裡的天才之國"有不同的定義。因為當我想到實際的人類天才，資料中心裡的一個實際的人類天才之國，我會很樂意購買價值5兆美元的計算來運行資料中心裡的一個實際的人類天才之國。
假設摩根大通或Moderna或其他什麼不想使用它們。我有一個天才之國。他們會創辦自己的公司。
如果他們不能創辦自己的公司，他們受到臨床試驗的瓶頸...值得說明的是，對於臨床試驗，大多數臨床試驗失敗是因為藥物不起作用。沒有療效。
Dario： 我在"慈愛機器"中恰恰提出了這一點，我說臨床試驗將比我們習慣的快得多，但不是無限快。
Dwarkesh： 好的，然後假設臨床試驗需要一年時間才能成功，這樣你就可以從中獲得收入並製造更多藥物。
好的，那麼，你有一個天才之國，你是一個AI實驗室。你可以使用更多的AI研究人員。
你也認為聰明人從事AI技術工作有這些自我強化的收益。你可以讓資料中心從事AI進展。
從購買每年1兆美元的計算與每年3000億美元的計算中獲得的收益是否有實質性更多？
Dario： 如果你的競爭對手購買1兆，是的，有。
嗯，不，有一些收益，但同樣，有這個機會，他們之前就破產了。再說一次，如果你只相差一年，你就會毀掉自己。那就是平衡。
我們正在購買很多。我們正在購買相當多。我們購買的數量與遊戲中最大玩家購買的數量相當。
但如果你問我，"為什麼我們沒有簽署從2027年中期開始的10兆美元計算？"...首先，它無法生產。世界上沒有那麼多。
但第二，如果天才之國來了，但它在2028年中期而不是2027年中期來呢？你破產了。
Dwarkesh： 所以如果你的預測是一到三年，似乎你應該想要到2029年最晚有10兆美元的算力？即使在你陳述的時間線的最長版本中，你正在擴大建設的計算似乎也不一致。
Dario： 是什麼讓你這麼認為？
人類工資，比如說，每年大約是50兆美元——
Dwarkesh： 所以我不會專門談論Anthropic，但如果你談論這個行業，今年該行業正在建設的計算量可能是，稱之為，10-15千兆瓦。
它每年大約增長3倍。所以明年是30-40千兆瓦。2028年可能是100千兆瓦。2029年可能像300千兆瓦。
我在腦子裡做數學，但每千兆瓦成本可能是100億美元，每年大約10-15億美元。
你把所有這些加在一起，你得到的大約是你描述的。你得到的正是那個。到2028年或2029年，你每年得到多兆。
Dwarkesh： 那是對行業而言。
Dario： 那是對行業而言，沒錯。
Dwarkesh： 假設Anthropic的計算每年持續3倍增長，然後到2027-28年，你有10千兆瓦。乘以，如你所說，100億美元。所以那就像每年1000億美元。
但那麼你是說到2028年TAM是2000億美元。
Dario： 再說一次，我不想給出Anthropic的確切數字，但這些數字太小了。
Dwarkesh： 好的，有趣。
AI實驗室將如何真正盈利？
Dwarkesh: 你告訴投資者你們計畫從2028年開始盈利。這一年我們可能獲得作為資料中心的天才國度。這現在將解鎖醫學、健康和新技術的所有進步。這難道不正是你想重新投資業務並建立更大的“國度”以便他們能做出更多發現的時候嗎？
Dario: 在這個領域，盈利能力是一件有點奇怪的事情。我不認為在這個領域，盈利能力實際上是衡量消耗與投資業務的指標。讓我們以此為例。我實際上認為，當你低估了你將獲得的需求量時，就會發生盈利，而當你高估了你將獲得的需求量時，就會發生虧損，因為你是提前購買資料中心的。
這樣想。再次強調，這些是程式化的事實。這些數字並不精準。我只是試圖在這裡建立一個玩具模型。假設你一半的算力用於訓練，一半的算力用於推理。推理有一些超過50%的毛利率。所以這意味著如果你處於穩定狀態，你建立了一個資料中心，如果你確切知道你獲得的需求，你會獲得一定數量的收入。
假設你每年支付1000億美元用於算力。在每年500億美元上，你支援1500億美元的收入。另外500億美元用於訓練。基本上你是盈利的，你賺了500億美元的利潤。那是今天這個行業的經濟學，或者不是今天，而是我們預測的一兩年後的情況。
唯一讓這不成立的情況是如果你獲得的需求少於500億美元。那麼你有超過50%的資料中心用於研究，你就不盈利了。所以你訓練了更強的模型，但你不盈利。如果你獲得的需求比你想像的多，那麼研究就會受到擠壓，但你能夠支援更多的推理，你就更盈利了。也許我解釋得不好，但我試圖說的是，你首先決定算力的數量。然後你有一些推理與訓練的目標願望，但這由需求決定。它不是由你決定的。
Dwarkesh: 我聽到的是，你預測盈利的原因是你系統性地投資不足於算力？
Dario: 不，不，不。我是說這很難預測。關於2028年以及何時發生的事情，那是我們試圖對投資者盡力而為。所有這些東西都因為不確定性錐體而非常不確定。如果收入增長足夠快，我們可以在2026年盈利。如果我們高估或低估了下一年，那可能會劇烈波動。
Dwarkesh: 我試圖弄清楚的是，你腦子裡有一個業務模型，投資、投資、投資，獲得規模然後變得盈利。有一個單一的時間點事情會好轉。
Dario: 我不認為這個行業的經濟學是那樣運作的。
Dwarkesh: 我明白了。所以如果我理解正確的話，你是說由於我們應該獲得的算力數量和我們實際獲得的算力數量之間的差異，我們在某種程度上被迫盈利。但這並不意味著我們將繼續盈利。我們將把錢再投資，因為現在AI已經取得了如此大的進步，我們想要一個更大的天才國度。所以回到收入很高，但虧損也很高。
Dario: 如果我們每年都精準預測需求是多少，我們每年都會盈利。因為花費50%的算力用於研究，大致上，加上高於50%的毛利率和正確的需求預測會導致盈利。那就是我認為有點存在但被這些提前建設和預測錯誤所掩蓋的盈利商業模式。
Dwarkesh: 我想你把50%當作一種既定的常數，而事實上，如果AI進展很快，你可以通過擴大規模來增加進展，你就應該擁有超過50%並且不盈利。
Dario: 但我要說的是。你可能想把它擴大更多。記住對數規模收益。如果70%只能讓你通過1.4倍的因子得到稍微小一點的模型……那額外的200億美元，那裡的每一美元對你來說價值都要小得多，因為是對數線性的設定。所以你可能會發現將那200億美元投資於服務推理或僱傭更擅長他們所做事情的工程師更好。
所以我說50%的原因……那不完全是我們的目標。它不完全會是50%。它可能會隨時間變化。我要說的是對數線性回報，它導致你花費業務的一小部分。比如不是5%，不是95%。然後你會得到遞減的回報。
Dwarkesh: 我感覺很奇怪，我在說服Dario相信AI的進步或其他什麼。好的，你不投資於研究是因為它有遞減的回報，但你投資於你提到的其他事情。
Dario: 我認為宏觀層面的利潤——再次強調，我在談論遞減的回報，但是在你每年花費500億美元之後。這一點我相信你會提出，但在天才身上的遞減回報可能會相當高。
更一般地說，市場經濟中的利潤是什麼？利潤基本上是說市場上的其他公司可以用這筆錢做比我更多的事情。把Anthropic放在一邊。我不想提供關於Anthropic的資訊。這就是為什麼我給出這些程式化的數字。但讓我們推導行業的均衡。為什麼不是每個人都把100%的算力花在訓練上而不服務任何客戶？這是因為如果他們沒有獲得任何收入，他們就無法籌集資金，無法進行算力交易，無法在下一年購買更多算力。
所以將會有一個均衡，每家公司在訓練上的花費少於100%，當然在推理上的花費也少於100%。很明顯為什麼你不只是服務當前模型而從不訓練另一個模型，因為那樣你就沒有任何需求，因為你會落後。所以有一些均衡。不會是10%，不會是90%。讓我們作為一個程式化的事實說，它是50%。那就是我要表達的意思。我認為我們將處於這樣一個位置，即你在訓練上花費的均衡少於你在算力上能夠獲得的毛利率。
所以底層經濟學是盈利的。問題是當你購買下一年的算力時，你有這個地獄般的需求預測問題，你可能猜低了並且非常盈利但沒有算力用於研究。或者你可能猜高了，你不盈利並且擁有世界上所有的算力用於研究。這說得通嗎？僅僅作為一個行業的動態模型？
Dwarkesh: 也許退一步說，我不是說我認為“天才國度”會在兩年內到來，因此你應該購買這些算力。對我來說，你得出的最終結論非常有道理。但這似乎是因為“天才國度”很難，還有很長的路要走。所以退一步說，我試圖弄清楚的是，你的世界觀似乎與那些說“我們距離產生數兆美元價值的世界還有10年”的人相容。
Dario: 那根本不是我的觀點。所以我會做另一個預測。我很難看到在2030年之前不會有數兆美元的收入。我可以建構一個合理的世界。也許需要三年。那將是我認為合理的終點。就像在2028年，我們得到了真正的“資料中心裡的天才國度”。收入到2028年進入低幾千億，然後天才國度將其加速到數兆。我們基本上處於擴散的慢端。需要兩年才能達到數兆。那將是直到2030年的世界。我懷疑即使綜合技術指數和擴散指數，我們也會在2030年之前到達那裡。
Dwarkesh: 所以你提出了一個模型，Anthropic盈利是因為看起來從根本上我們處於一個算力受限的世界。所以最終我們繼續增長算力——
Dario: 我認為利潤的來源是……再次強調，讓我們把整個行業抽象出來。讓我們想像我們在經濟學教科書裡。我們有少數幾家公司。每家都可以投資有限的金額。每家可以將一部分投資於研發。他們有一定的邊際服務成本。該邊際成本的毛利潤率非常高，因為推理是高效的。有一些競爭，但模型也是差異化的。公司將競爭推高他們的研究預算。
但因為只有少數幾個玩家，我們有……那叫什麼？古諾均衡（Cournot equilibrium），我想，就是少數公司均衡。重點是它不會平衡到零利潤的完全競爭。如果經濟中有三家公司，並且都在某種程度上獨立地理性行事，它不會平衡到零。
Dwarkesh: 幫我理解一下，因為現在我們確實有三家領先的公司，而且它們沒有盈利。所以什麼在改變？
Dario: 再次強調，現在的毛利率非常正。發生的事情是兩件事的結合。一是因為我們仍處於算力的指數級擴展階段。一個模型被訓練出來。假設去年訓練一個模型花費了10億美元。然後今年它產生了40億美元的收入，推理成本為10億美元。再次強調，我在這裡使用程式化的數字，但這將是75%的毛利率和這25%的稅。所以那個模型整體賺了20億美元。
但與此同時，我們花費100億美元訓練下一個模型，因為存在指數級擴展。所以公司虧錢。每個模型都賺錢，但公司虧錢。我所說的均衡是一個我們擁有“資料中心裡的天才國度”的均衡，但那個模型訓練的擴展已經更加平衡了。也許它還在上升。我們仍然試圖預測需求，但它更加平穩了。
Dwarkesh: 我對那裡的幾件事感到困惑。讓我們從當前世界開始。在當前世界，你是對的，正如你之前所說，如果你把每個單獨的模型當作一家公司，它是盈利的。但當然，作為前沿實驗室的生產函數的一大部分是訓練下一個模型，對吧？
Dario: 是的，那是對的。
Dwarkesh: 如果你不那樣做，那麼你會盈利兩個月，然後你就沒有利潤了，因為你不會擁有最好的模型。但在某個點，這達到了它能達到的最大規模。然後在均衡中，我們有演算法改進，但我們花費大致相同的金額來訓練下一個模型，就像我們花費來訓練當前模型一樣。在某個點，你用光了經濟中的錢。固定的勞動總量謬誤……經濟將會增長，對吧？那是你的預測之一。我們將在太空中擁有資料中心。
Dario: 是的，但這又是我談到的主題的另一個例子。我認為有了AI，經濟增長將比以往任何時候都快。現在算力每年增長3倍。我不相信經濟每年會增長300%。我在《仁慈的機器》中說過，我認為我們可能會獲得每年10-20%的經濟增長，但我們不會獲得300%的經濟增長。所以我想最終，如果算力成為經濟產出的大部分，它將受限於此。
Dwarkesh: 所以讓我們假設一個算力保持上限的模型。前沿實驗室賺錢的世界是一個他們繼續取得快速進展的世界。因為從根本上說，你的利潤受限於替代品有多好。所以你能夠賺錢是因為你擁有前沿模型。如果你沒有前沿模型，你就不會賺錢。所以這個模型要求永遠沒有穩態。你永遠不斷地取得更多的演算法進展。
Dario: 我不認為那是真的。我是說，我覺得我們在上經濟學課。你知道泰勒·科溫（Tyler Cowen）的名言嗎？我們永遠不會停止談論經濟學。
Dwarkesh: 我們永遠不會停止談論經濟學。
Dario: 所以不，我不認為這個領域會成為壟斷。我所有的律師都不希望我說“壟斷”這個詞。我不認為這個領域會成為壟斷。你確實有些行業只有少數幾個玩家。不是一個，而是少數幾個玩家。通常，你獲得像Facebook或Meta這樣的壟斷——我總是叫他們Facebook——是通過這種網路效應。
你獲得只有少數幾個玩家的行業的方式，是非常高的進入成本。雲就是這樣。我認為雲是這方面的一個好例子。雲領域有三個，也許四個玩家。我認為AI也是一樣，三個，也許四個。原因是它太昂貴了。經營一家雲公司需要如此多的專業知識和如此多的資本。你必須投入所有這些資本。除了投入所有這些資本外，你還必須擁有所有這些其他需要大量技能才能實現的東西。
所以如果你去找某人說，“我想顛覆這個行業，這是1000億美元。”你會像，“好的，我投入1000億美元，並且我也賭你能做所有這些其他人一直在做的事情。”結果只是降低了利潤。你進入的影響是利潤率下降。所以，我們在經濟中一直有這樣的均衡，只有幾個玩家。利潤不是天文數字。利潤率不是天文數字，但它們不是零。這就是我們在雲上看到的。雲是非常同質化的。
模型比雲更具差異化。每個人都知道Claude擅長的事情與GPT擅長的事情不同，與Gemini擅長的事情不同。不僅僅是Claude擅長程式設計，GPT擅長數學和推理。它比那更微妙。模型擅長不同類型的程式設計。模型有不同的風格。我認為這些東西實際上彼此非常不同，所以我預計會看到比雲更多的差異化。
現在，實際上有一個反駁論點。那個反駁論點是，如果生產模型的過程，如果AI模型自己能做那個，那麼那可能會擴散到整個經濟中。但這並不是讓AI模型普遍商品化的論點。那有點像是一次性讓整個經濟商品化的論點。
我不知道在那個世界裡會發生什麼，基本上任何人都可以做任何事，任何人都可以建造任何東西，根本沒有任何護城河。我不知道，也許我們想要那個世界。也許那是這裡的終極狀態。也許當AI模型可以做所有事情時，如果我們解決了所有的安全和安保問題，那就是經濟再次自我扁平化的機制之一。但這有點遠在“資料中心裡的天才國度”之後了。
Dwarkesh: 也許表達那個潛在觀點的更精細的方式是：1) 看來AI研究特別依賴原始智力，這在AGI的世界裡將特別豐富。2) 如果你只看今天的世界，似乎很少有技術像AI演算法進展那樣擴散得如此之快。所以這確實暗示這個行業在結構上是擴散性的。
Dario: 我認為程式設計進展很快，但我認為AI研究是程式設計的超集，其中有些方面並沒有進展得那麼快。但我確實認為，再次強調，一旦我們搞定程式設計，一旦我們讓AI模型進展得很快，那麼這將加速AI模型做其他所有事情的能力。
所以雖然現在程式設計進展很快，我認為一旦AI模型正在建構下一個AI模型並建構其他所有東西，整個經濟將以同樣的速度發展。不過我在地理上有點擔心。我有點擔心僅僅是接近AI，聽說過AI，可能就是一個區分因素。所以當我說10-20%的增長率時，我擔心的是矽谷和世界上與矽谷有社會聯絡的部分增長率可能是50%，而在其他地方並沒有比現在的速度快多少。我認為那將是一個相當糟糕的世界。所以我經常思考的一件事是如何防止這種情況。
Dwarkesh: 你認為一旦我們擁有了這個資料中心裡的天才國度，機器人技術會在那之後很快解決嗎？因為看起來機器人技術的一個大問題是人類可以學習如何遠端操作當前的硬體，但目前的AI模型不能，至少不能以超高效的方式。所以如果我們擁有這種像人類一樣學習的能力，難道不應該也立即解決機器人技術嗎？
Dario: 我不認為這依賴於像人類一樣學習。它可以通過不同的方式發生。再次強調，我們可以讓模型在許多不同的視訊遊戲上訓練，這就像機器人控制，或者許多不同的模擬機器人環境，或者只是訓練它們控制電腦螢幕，然後它們學會泛化。所以它會發生……它不一定依賴於類人學習。
類人學習是它可能發生的一種方式。如果模型像，“哦，我拿起一個機器人，我不知道怎麼用，我學習，”那可能發生是因為我們發現了持續學習。那也可能發生是因為我們在很多環境上訓練模型然後泛化，或者可能發生是因為模型在上下文長度中學會了那個。實際上那種方式並不重要。
如果我們回到我們一小時前的討論，那種事情可以通過幾種不同的方式發生。但我確實認為，無論出於何種原因，當模型擁有這些技能時，機器人技術將被徹底變革——無論是機器人的設計，因為模型在這方面將比人類好得多，還是控制機器人的能力。所以我們將更擅長建構物理硬體，建構物理機器人，我們也將在控制它方面變得更好。
現在，這是否意味著機器人行業也將產生數兆美元的收入？我的回答是肯定的，但會有同樣的極其快速但不無限快的擴散。所以機器人技術會被徹底變革嗎？是的，也許再加一兩年。這就是我思考這些事情的方式。
Dwarkesh: 有道理。對於極快的進展有一種普遍的懷疑。這是我的看法。聽起來你們將在幾年內以某種方式解決持續學習。但就像幾年前人們沒有談論持續學習，然後我們意識到，“哦，為什麼這些模型不像它們可能的那樣有用，即使它們顯然通過了圖靈測試並且是許多不同領域的專家？也許就是這個東西。”然後我們解決了這個東西，我們意識到，實際上，還有另一個人類智能能做而這些模型不能做的事情，它是人類勞動的基礎。所以為什麼不認為會有更多像這樣的東西，我們發現了更多人類智能的碎片？
Dario: 嗯，說清楚點，我認為持續學習，正如我之前所說，可能根本不是一個障礙。我認為我們可能僅僅通過預訓練泛化和RL泛化就能到達那裡。我認為可能根本就沒有這樣一個東西。事實上，我會指出ML的歷史，人們提出一些看似障礙的東西，最後都在“算力大團塊”中溶解了。
人們談論，“你的模型如何跟蹤名詞和動詞？”“它們可以在句法上理解，但不能在語義上理解？這只是統計相關性。”“你可以理解一段話，你不能理解一個詞。有推理，你不能做推理。”但突然之間，結果證明你可以非常好地做程式碼和數學。所以我認為實際上有更強的歷史表明，其中一些事情看起來是個大問題，然後就有點溶解了。其中一些是真實的。對資料的需求是真實的，也許持續學習是一件真實的事情。
但再次強調，我會讓我們立足於像程式碼這樣的東西。我認為我們可能會在一兩年內達到模型可以端到端做SWE的地步。那是一個完整的任務。那是人類活動的一個完整領域，我們只是說模型現在可以做了。
Dwarkesh: 當你說端到端時，你的意思是設定技術方向，理解問題的背景，等等？
Dario: 是的。我是指所有這些。
Dwarkesh: 有趣。我覺得那是AGI完備的，這也許在內部是一致的。但這不像說90%的程式碼或100%的程式碼。
Dario: 不，我給出了這個光譜：90%的程式碼，100%的程式碼，90%的端到端SWE，100%的端到端SWE。新的任務為SWE創造出來。最終那些也會被完成。那裡有一個長長的光譜，但我們正在非常快地穿越這個光譜。
Dwarkesh: 我確實覺得很有趣，我看過你做的幾個播客，主持人會像，“但Dwarkesh寫了關於持續學習的文章。”這總是讓我笑出聲，因為你已經做了10年的AI研究員。我確信會有某種感覺，“好的，所以一個播客主寫了一篇文章，每次採訪我都被問到這個問題。”
Dario: 事實是我們都在試圖一起弄清楚這個問題。有些方面我能看到別人看不到的東西。這些天這可能更多地與在Anthropic內部看到一堆東西並必須做出一堆決定有關，而不是我有其他人沒有的偉大研究洞察力。我在經營一家2500人的公司。實際上對我來說，擁有具體的研究洞察力要比10年前甚至兩三年前難得多。
Dwarkesh: 隨著我們走向一個完全可以直接替代遠端工人的世界，API定價模型仍然是最合理的嗎？如果不是，定價AGI或服務AGI的正確方式是什麼？
Dario: 我認為這裡將會有很多不同的商業模式同時被試驗。我實際上確實認為API模型比許多人想像的更持久。我思考這個問題的一種方式是，如果技術正在快速進步，如果它是指數級進步，這意味著總是有過去三個月開發出的新用例的表面積。你建立的任何產品表面總是面臨變得無關緊要的風險。
任何給定的產品表面可能對模型的一定能力範圍有意義。聊天機器人已經遇到了限制，讓它變得更聰明並不能真正幫助普通消費者那麼多。但我不認為那是AI模型的限制。我不認為那是模型足夠好以及它們變得更好對經濟無關緊要的證據。這對那個特定的產品無關緊要。
所以我認為API的價值在於，API總是提供一個非常接近底層的機會，在最新的東西上進行建構。總是會有這種新初創公司和新想法的前沿，這些在幾個月前是不可能的，現在因為模型進步而成為可能。
我實際上預測它將與其他模型並存，但我們將始終擁有API商業模式，因為總是需要一千個不同的人嘗試以不同的方式試驗模型。其中100個成為初創公司，其中10個成為成功的大型初創公司。兩三個真正最終成為人們使用某一代模型的方式。所以我基本上認為它總是會存在的。
與此同時，我確信也會有其他模型。不是模型輸出的每個token都值同樣的錢。想想當有人打電話說，“我的Mac壞了，”或者什麼，模型說，“重啟它。”那些token的價值是什麼。某人以前沒聽過，但模型說了1000萬次。也許那值一美元或幾美分或什麼。而如果模型去一家製藥公司說，“哦，你知道，你正在開發的這個分子，你應該把那個芳香環從分子的那一端拿下來放在那一端。如果你那樣做，奇妙的事情就會發生。”那些token可能值數千萬美元。
所以我認為我們肯定會看到認識到這一點的商業模式。在某個點，我們將看到某種形式的“按結果付費”，或者我們可能會看到類似勞動的補償形式，那種按小時計費的工作。我不知道。我認為因為這是一個新行業，很多事情都會被嘗試。我不知道什麼最終會被證明是正確的事情。
Dwarkesh: 我同意你的觀點，人們必須嘗試各種事情來弄清楚使用這團智能的最佳方式是什麼。但我發現Claude Code很引人注目。我不認為在初創公司的歷史上有一個單一的應用程式像程式設計智能體那樣競爭激烈。Claude Code是這裡的類別領導者。這對我來說似乎很令人驚訝。這似乎並非本質上非得Anthropic來建構。我想知道你是否有關於為什麼必須是Anthropic，或者Anthropic是如何最終建構了一個除了底層模型之外還成功的應用程式的解釋。
Dario: 實際上發生的方式非常簡單，那就是我們有自己的程式設計模型，它們擅長程式設計。大約在2025年初，我說，“我認為時機已經到來，如果你是一家AI公司，你可以通過使用這些模型對自己的研究進行非同尋常的加速。”當然，你需要一個介面，你需要一個駕馭它們的工具。所以我鼓勵內部人員。我沒有說這是你們必須使用的一件事。
我只是說人們應該嘗試這個。我想它最初可能叫Claude CLI，後來名字最終改成了Claude Code。在內部，它是每個人都在使用的東西，並且看到了快速的內部採用。我看著它說，“也許我們應該對外發佈這個，對吧？”它在Anthropic內部看到了如此快速的採用。程式設計是我們做的很多事情。我們有數百人的受眾，在某些方面至少代表了外部受眾。
所以看起來我們已經有了產品市場契合度（product market fit）。讓我們發佈這個東西。然後我們發佈了它。我認為僅僅是我們自己正在開發模型，我們自己知道我們最需要如何使用模型，我認為這正在創造這種反饋循環。
Dwarkesh: 我明白了。也就是說，比如說Anthropic的一個開發者就像，“啊，如果它在這個X事情上更好就好了。”然後你就把那個烤進你建構的下一個模型中。
Dario: 那是其中一個版本，但還有就是普通的產品迭代。我們在Anthropic有一堆程式設計師，他們每天都使用Claude Code，所以我們得到快速反饋。這在早期更重要。現在，當然，有數百萬人使用它，所以我們也得到了一堆外部反饋。但能夠獲得這種快速的內部反饋真是太棒了。我認為這就是為什麼我們發佈了一個程式設計模型而沒有發佈一家製藥公司。我的背景是生物學，但我們沒有任何發佈一家製藥公司所需的資源。
法規會摧毀AGI的紅利嗎？
Dwarkesh: 現在讓我問你關於讓AI向好的方向發展。看起來無論我們對AI如何向好發展有什麼願景，都必須與兩件事相容：1) 建構和運行AI的能力正在極其迅速地擴散，以及 2) AI的數量，我們擁有的數量和它們的智力，也將非常迅速地增加。這意味著很多人將能夠建構大量未對齊的AI，或者那些只是試圖增加足跡或擁有像Sydney Bing那樣奇怪心理但現在是超人類的AI。在一個我們擁有大量不同的AI（其中一些未對齊）到處運行的世界裡，我們擁有一個均衡的願景是什麼？
Dario: 我認為在《技術的青春期》中，我對權力平衡持懷疑態度。但我特別懷疑的是，你有三四家公司都在建構源自同一事物模型，它們會相互制衡。甚至任何數量的它們會相互制衡。我們可能生活在一個進攻佔主導地位的世界，一個人或一個AI模型足夠聰明，可以做一些對其他所有事物造成損害的事情。
在短期內，我們現在的玩家數量有限。所以我們可以從有限數量的玩家開始。我們需要落實保障措施。我們需要確保每個人都做正確的對齊工作。我們需要確保每個人都有生物分類器。這些是我們立即需要做的事情。
我同意這並不能解決長期問題，特別是如果AI模型製造其他AI模型的能力激增，那麼整個事情可能會變得更難解決。我認為從長遠來看，我們需要某種治理架構。我們需要某種既保留人類自由，又允許我們治理大量人類系統、AI系統、混合人類-AI公司或經濟單位的治理架構。
所以我們將需要思考：我們如何保護世界免受生物恐怖主義的侵害？我們如何保護世界免受鏡像生命（mirror life）的侵害？可能我們將需要某種AI監控系統來監控所有這些事情。但我們也需要以一種保留公民自由和我們憲法權利的方式來建構它。所以我認為就像其他任何事情一樣，這是一個具有一套新工具和一套新漏洞的新安全景觀。
我的擔憂是，如果我們有100年讓這一切非常緩慢地發生，我們會習慣它。我們已經習慣了社會中存在爆炸物，或者存在各種新武器，或者存在攝影機。我們會在100年裡習慣它，我們會制定治理機制。我們會犯錯。我的擔憂僅僅是這一切發生得太快了。所以也許我們需要更快地思考如何讓這些治理機制發揮作用。
Dwarkesh: 看來在一個進攻佔主導地位的世界裡，在下個世紀的過程中——這個想法是AI正在使下個世紀會發生的進步在五到十年的某個時期內發生——即使人類是唯一的玩家，我們也仍然需要同樣的機制，或者權力平衡同樣難以處理。
Dario: 我想我們有AI的建議。但從根本上說，這似乎並不是一個完全不同的球賽。如果制衡要起作用，它們對人類也會起作用。如果它們不起作用，它們對AI也不會起作用。所以也許這註定了人類的制衡也是失敗的。再次強調，我認為有某種方法可以讓這發生。世界各國政府可能不得不共同努力讓這發生。我們可能不得不與AI討論建立社會結構，使這些防禦成為可能。我不知道。我不想說這在時間上太遙遠，但這在技術能力上太遙遠，可能會在很短的時間內發生，以至於我們很難提前預測它。
Dwarkesh: 說到政府介入，12月26日，田納西州立法機構提出了一項法案，該法案稱，“如果一個人故意訓練人工智慧提供情感支援，包括通過與使用者進行開放式對話，即屬犯罪。”當然，Claude試圖做的事情之一就是成為一個體貼、知識淵博的朋友。
總的來說，看起來我們將擁有這種拼湊的州法律。由於AI，普通人可能體驗到的很多好處將被削減，特別是當我們進入你在《仁慈的機器》中討論的那類事情時：生物自由、心理健康改善等。似乎很容易想像這些被不同的法律像打地鼠一樣打掉的世界，而像這樣的法案似乎並沒有解決你所擔心的實際生存威脅。
我很好奇想瞭解，在像這樣的事情背景下，Anthropic反對聯邦暫停州AI法律的立場。
Dario: 有許多不同的事情同時發生。我認為那條特定的法律是愚蠢的。這顯然是由那些可能對AI模型能做什麼和不能做什麼知之甚少的立法者制定的。他們就像，“AI模型服務我們，這聽起來很可怕。我不希望那發生。”所以我們實際上不支援那個。
但這並不是被投票表決的事情。被投票表決的事情是：我們將禁止所有州對AI的監管10年，而沒有任何明顯的聯邦AI監管計畫，這需要國會通過，這是一個非常高的門檻。所以這種我們要禁止各州做任何事情10年的想法……人們說他們有聯邦政府的計畫，但桌面上沒有實際提案。沒有實際嘗試。考慮到我在《技術的青春期》中列出的關於生物武器和生物恐怖主義自主風險等嚴重危險，以及我們一直在談論的時間線——10年是永恆——我認為那是瘋狂的事情。
所以如果那是選擇，如果你強迫我們選擇，那麼我們將選擇不暫停。我認為那個立場的好處超過了成本，但如果那是選擇，那不是一個完美的立場。現在，就我們應該做的事情而言，我會支援的事情是，聯邦政府應該介入，不是說“各州你們不能監管”，而是“我們要這樣做，各州你們不能偏離這個標準。”我認為只要聯邦政府說：“這是我們的標準。這適用於所有人。各州不能搞別的。”這種意義上的優先權（preemption）我是可以接受的。如果是以這種正確的方式進行，我會支援。
但是如果現在的想法是各州說：“你們什麼都不能做，而我們（聯邦政府）也什麼都不做，”這在我們看來非常不合理。我認為這種做法經不起時間的考驗，實際上隨著你看到的所有反對聲音，它已經開始顯得過時了。
至於我們想要什麼，我們討論過的事情是從透明度標準開始，以便監控其中一些自主性風險和生物恐怖主義風險。隨著風險變得更加嚴重，隨著我們獲得更多證據，我認為我們可以採取更有針對性的激進措施，比如規定：“嘿，人工智慧生物恐怖主義真的是個威脅。讓我們通過一項法律，強制人們必須使用分類器。”我甚至可以想像……但這要看情況。這取決於最終威脅有多嚴重。我們現在還不能確定。
我們需要以一種理智誠實的方式來推進這件事，我們要提前說明，目前風險尚未顯現。但我當然可以想像，按照目前事態發展的速度，今年晚些時候我們可能會說：“嘿，這個人工智慧生物恐怖主義的東西真的很嚴重。我們應該採取行動。我們應該把它寫入聯邦標準。如果聯邦政府不行動，我們就應該把它寫入州標準。”我完全可以看到這種情況發生。
我擔心的是這樣一個世界：如果你考慮到你預期的進步速度，再考慮到立法的生命周期……正如你所說，由於擴散滯後，收益來得比較慢，以至於我認為這種拼湊式的州法律，按照目前的軌跡，真的會起到阻礙作用。我的意思是，如果擁有一個情感聊天機器人朋友這種事都會讓人們抓狂，那麼想像一下我們希望普通人能夠體驗到的來自人工智慧的真正好處吧。從健康和健康壽命的改善，到心理健康的改善等等。
然而與此同時，似乎你認為危險已經出現在地平線上了，但我並沒有看到那麼多……相比於人工智慧的危險，這似乎對人工智慧的好處尤其有害。所以這可能就是我認為成本效益分析不太合理的地方。
Dwarkesh Patel: 這裡有幾件事。人們談論有成千上萬條這樣的州法律。首先，絕大多數、絕大多數的法律都不會通過。理論上世界是按某種方式運作的，但僅僅因為通過了一項法律，並不意味著它真的會被執行。執行它的人可能會想：“天那，這太蠢了。這意味著要關閉田納西州建造過的所有東西。”很多時候，法律的解釋方式會使其不像看起來那麼危險或有害。
當然，另一方面，如果你通過一項法律來阻止壞事發生；你也會遇到同樣的問題。
Dario Amodei: 我的基本觀點是，如果我們能決定通過什麼法律以及如何做事——當然我們只是其中的一小部分意見——我會解除很多圍繞人工智慧健康益處的管制。我不那麼擔心聊天機器人的法律。實際上，我更擔心藥物審批流程，我認為人工智慧模型將極大地加快我們發現藥物的速度，而審批管道會被堵塞。審批管道將無法準備好處理所有湧入的東西。
我認為監管程序的改革應該更多地偏向這樣一個事實：我們將會有很多東西出現，它們的有效性和安全性實際上將非常清晰明了，這是一件美妙的事情，而且非常有效。也許我們不需要圍繞它建立所有這些上層建築，那些原本是為那個藥物幾乎不起作用且經常有嚴重副作用的時代設計的。
與此同時，我認為我們應該大幅加強安全和安保方面的立法。就像我說過的，從透明度開始是我認為試圖不阻礙行業發展、試圖找到正確平衡的觀點。我很擔心這一點。有些人批評我的文章，說：“那太慢了。如果我們那樣做，人工智慧的危險會來得太快。”
好吧，基本上，我認為過去六個月以及接下來的幾個月將是關於透明度的。然後，如果當我們對這些風險更加確定時——我認為最早在今年晚些時候我們可能會確定——如果這些風險出現了，那麼我認為我們需要在實際看到風險的領域非常迅速地採取行動。
我認為這是做這件事的唯一方法，就是要靈活。現在的立法程序通常並不靈活，但我們需要向所有相關人員強調這件事的緊迫性。這就是為什麼我要發出這個緊迫的資訊。這就是為什麼我寫了《技術的青春期》（Adolescence of Technology）這篇文章。我想讓政策制定者、經濟學家、國家安全專業人士和決策者閱讀它，這樣他們就有希望比原本更快地採取行動。
Dwarkesh Patel: 有沒有什麼你可以做或倡導的事情，能讓人們更確定人工智慧的好處能夠更好地實現？我覺得你已經和立法機構合作說過：“好吧，我們要在這裡防止生物恐怖主義。我們要增加透明度，我們要加強對舉報人的保護。”
但我認為，默認情況下，我們期待的實際利益似乎在各種道德恐慌或政治經濟問題面前非常脆弱。
Dario Amodei: 實際上對於發達國家，我並不太同意這一觀點。我覺得在發達國家，市場運作得相當好。當某樣東西有很大的賺錢空間，而且它顯然是最好的可用替代品時，監管體系實際上很難阻止它。我們在人工智慧本身就看到了這一點。
如果我們談論藥物和技術的益處，我不那麼擔心這些益處在發達國家受到阻礙。我有點擔心它們進展太慢。正如我所說，我確實認為我們應該努力加快FDA的審批流程。我確實認為我們應該反對你描述的這些聊天機器人法案。單獨來看，我反對它們。我認為它們很愚蠢。
但我實際上認為更大的擔憂是開發中國家，那裡沒有運作良好的市場，而且我們往往無法在已有的技術基礎上進行建設。我更擔心那些人會被甩在後面。我也擔心即使開發出了治療方法，也許密西西比農村的某個人也無法很好地獲得它。那是我們在開發中國家擔憂的一個縮小版。
所以我們一直在做的事情是與慈善家合作。我們與向開發中國家、撒哈拉以南非洲、印度、拉丁美洲和世界其他發展中地區提供藥物和健康干預措施的人合作。我認為這是那件如果不干預就不會自動發生的事情。
Claude的總結
Dwarkesh Patel: 你們最近宣佈 Claude 將擁有一部符合一套價值觀的憲法，而不一定只是為了終端使用者。我可以想像這樣一個世界：如果它是為了終端使用者，它就保留了我們今天世界擁有的權力平衡，因為每個人都有自己的人工智慧為他們辯護。壞人與好人的比例保持不變。
這似乎對我們今天的世界很有效。為什麼不那樣做，而是要有一套特定的人工智慧應該遵循的價值觀更好？
Dario Amodei: 我不確定我會那樣劃分區別。這裡可能有兩個相關的區別。我認為你在談論這兩者的混合。一個是，我們是否應該給模型一套關於“做這個”與“不做這個”的指令？另一個是，我們是否應該給模型一套關於如何行動的原則？
這純粹是我們觀察到的一種實踐和經驗性的東西。通過教導模型原則，讓它從原則中學習，它的行為更加一致，更容易覆蓋邊緣情況，而且模型更有可能做人們想要它做的事情。換句話說，如果你給它一個規則列表——“不要告訴人們如何偷接汽車點火線，不要說韓語”——它並不真正理解這些規則，而且很難從這些規則中概括出來。這只是一個“做與不做”的清單。
然而如果你給它原則——它有一些硬性的護欄，比如“不要製造生物武器”，但是——總的來說你是在試圖理解它應該旨在做什麼，它應該旨在如何運作。所以僅從實踐角度來看，這被證明是一種更有效的訓練模型的方法。這就是規則與原則的權衡。
然後還有你在談論的另一件事，即修正性（corrigibility）與內在動機的權衡。模型應該在多大程度上像一種“緊身衣”，只是直接遵循給它指令的人的指令，與模型應該在多大程度上擁有一套內在的價值觀並自己去做事情？
在那方面我實際上會說，關於模型的一切都更接近於它應該主要做人們想要它做的事情的方向。它應該主要遵循指令。我們不是試圖建立某種自己跑去統治世界的東西。我們實際上非常偏向於可修正的一方。
現在，我們確實說有些事情模型不會做。我認為我們在憲法中以各種方式說過，在正常情況下，如果有人要求模型做一個任務，它應該做那個任務。那應該是默認的。但是如果你要求它做一些危險的事情，或者傷害別人，那麼模型就不願意那樣做。所以我實際上把它看作是一個主要可修正的模型，它有一些限制，但這些限制是基於原則的。
然後根本的問題是，這些原則是如何確定的？這不是Anthropic特有的問題。這將是任何人工智慧公司的問題。
Dwarkesh Patel: 但因為你們是真正寫下原則的人，所以我可以問你這個問題。通常，憲法是被寫下來的，刻在石頭上的，並且有一個更新和改變它的過程等等。在這種情況下，它似乎是一份Anthropic的人寫的檔案，可以隨時更改，指導著將成為許多經濟活動基礎的系統的行為。你怎麼看待這些原則應該如何設定？
Dario Amodei: 我認為這裡可能有三種大小的循環，三種迭代方式。一種是我們在Anthropic內部迭代。我們訓練模型，我們對它不滿意，我們就修改憲法。我認為這樣做很好。每隔一段時間發佈憲法的公開更新是好的，因為人們可以評論它。
第二層循環是不同的公司有不同的憲法。我認為這很有用。Anthropic發佈一份憲法，Gemini發佈一份憲法，其他公司發佈一份憲法。人們可以看它們並進行比較。外部觀察者可以批評說：“我喜歡這份憲法裡的這一條，和那份憲法裡的那一條。”這為所有公司創造了一種軟性激勵和反饋，去取其精華並加以改進。
然後我認為還有第三個循環，即人工智慧公司之外的社會，以及不僅僅是那些沒有硬實力的評論者。在那裡我們做了一些實驗。幾年前，我們與集體智慧項目（Collective Intelligence Project）做了一個實驗，基本上是民意調查，問人們我們的人工智慧憲法裡應該有什麼。當時，我們納入了其中一些變化。
所以你可以想像用我們對憲法採取的新方法做類似的事情。這有點難，因為當憲法是一個“做與不做”的清單時，這種方法更容易採取。在原則層面上，它必須有一定的連貫性。但你仍然可以想像從各種各樣的人那裡獲取觀點。
你也可以想像——這是一個瘋狂的想法，但這整個採訪都是關於瘋狂的想法——代議制政府系統有輸入。我今天不會這樣做，因為立法過程太慢了。這正是我認為我們應該對立法過程和人工智慧監管持謹慎態度的原因。
但在原則上沒有理由你不能說：“所有人工智慧模型都必須有一部憲法，它以這些東西開始，然後你可以在後面附加其他東西，但這部分特殊章節必須優先。”我不會那樣做。那太僵化了，聽起來過於指令性，就像我認為過於激進的立法那樣。但這確實是你可以嘗試做的一件事。
有沒有什麼不那麼強硬的版本？也許吧。我真的很喜歡第二個控制循環。
Dwarkesh Patel: 顯然，這不是實際政府憲法運作或應該運作的方式。並沒有這種模糊的感覺，即最高法院會感受人們的感覺——氛圍是什麼——並相應地更新憲法。對於實際政府，有一個更正式、程序化的過程。
但是你有一個憲法之間競爭的願景，這實際上非常讓人想起一些自由意志主義特許城市的人過去常說的，關於群島式的不同政府會是什麼樣子。誰能最有效地運作以及人們在那裡最快樂，這之間會有選擇。在某種意義上，你正在重現那個群島烏托邦的願景。
Dario Amodei: 我認為那個願景有值得推薦的地方，也有會出錯的地方。這是一個有趣的，在某些方面令人信服的願景，但有些事情會出錯，是你沒想到的。所以我雖然也喜歡第二個循環，但我覺得整件事必須是第一、二、三個循環的某種混合，這取決於比例。我認為那必須是答案。
Dwarkesh Patel: 當有人最終寫出相當於這個時代的《原子彈的製造》（The Making of the Atomic Bomb）的書時，什麼是歷史記錄中最難收集到的、他們最可能錯過的東西？
Dario Amodei: 我認為有幾件事。一個是，在這個指數增長的每一個時刻，外部世界在多大程度上不理解它。這是一種經常存在於歷史中的偏見。任何實際發生的事情在回過頭看時都顯得不可避免。
當人們回顧時，他們將很難把自己放在那些實際上在押注這件並非不可避免的事情發生的人的位置上，我們有過像我為規模化（scaling）或持續學習將被解決所做的論證那樣的爭論。我們內部有些人認為這發生的機率很高，但外部世界根本沒有對此採取行動。
我認為它的怪異，不幸的是它的封閉性……如果我們離它發生還有一年或兩年，街上的普通人完全不知道。這是我試圖通過備忘錄、通過與政策制定者交談來改變的事情之一。我不知道，但我認為那只是一件瘋狂的事情。
最後，我想說——這可能適用於幾乎所有歷史危機時刻——它是發生得多麼絕對地快，所有事情都是同時發生的。你可能認為經過精心計算的決定，實際上是你必須做出那個決定，然後你必須在同一天做出其他30個決定，因為一切發生得太快了。
你甚至不知道那些決定最終會變得至關重要。我的擔憂之一——儘管這也是對正在發生的事情的一種洞察——是某些非常關鍵的決定將是某人走進我的辦公室說：“Dario，你有兩分鐘。這件事我們應該做A還是做B？”
有人給我這個隨機的半頁備忘錄問：“應該做A還是B？”我說：“我不知道。我要去吃午飯了。做B吧。”結果那成了有史以來最重要的事情。
Dwarkesh Patel: 最後一個問題。通常沒有科技CEO每隔幾個月寫50頁的備忘錄。看起來你已經成功地為自己建立了一個角色，並圍繞你建立了一家公司，這與這種更具知識分子類型的CEO角色是相容的。我想瞭解你是如何建構這一點的。那是怎麼運作的？你只是離開幾個星期，然後告訴你的公司，“這是備忘錄。這是我們要做的”？也有報導說你在內部寫了很多這樣的東西。
Dario Amodei: 對於這一篇特別的，我是寒假期間寫的。我很難找到時間真正去寫它。但我以一種更寬以此的方式思考這個問題。我認為這與公司文化有關。我可能花了三分之一，也許40%的時間來確保Anthropic的文化是好的。
隨著Anthropic變得越來越大，直接參與模型的訓練、模型的發佈、產品的建構變得越來越難。有2500人。我有某些直覺，但很難參與每一個細節。我儘可能多地嘗試，但有一件事是非常有槓桿作用的，那就是確保Anthropic是一個工作的好地方，人們喜歡在那裡工作，每個人都把自己看作團隊成員，每個人都在一起工作而不是相互對抗。
我們看到隨著其他一些人工智慧公司的成長——不點名——我們開始看到脫節和人們互相爭鬥。我會爭辯說甚至從一開始就有很多這樣的情況，但情況變得更糟了。我認為我們在保持公司團結方面做得非常好，即使不是完美的，讓每個人都感受到使命，我們對使命是真誠的，每個人都相信那裡的其他人是為了正確的理由而工作。我們是一個團隊，人們並沒有試圖以犧牲他人為代價來獲得晉陞或在背後捅刀子，同樣，我認為這在其他一些地方經常發生。
你是怎麼做到這一點的？這是很多事情。是我，是負責公司日常營運的Daniela，是聯合創始人，是我們僱傭的其他人，是我們試圖創造的環境。但我認為文化中重要的一點是，其他領導者也是，但尤其是我，必須闡明公司是關於什麼的，為什麼要做它正在做的事情，它的戰略是什麼，它的價值觀是什麼，它的使命是什麼，它代表什麼。
當你達到2500人時，你不能逐個人去做這件事。你必須寫，或者你必須對全公司講話。這就是為什麼我每兩周在全公司面前講一個小時的話。我不會說我在內部寫文章。我做兩件事。第一，我寫這個叫DVQ的東西，Dario Vision Quest（Dario願景探索）。
不是我給它起這個名字的。那是它收到的名字，這是我想反對的名字之一，因為它聽起來像是我要去吸食佩奧特掌（致幻仙人掌）什麼的。但這名字就這麼叫開了。所以我每兩周在公司面前出現一次。我有一份三四頁的檔案，我就講三四個不同的話題，關於內部正在發生什麼，我們正在生產的模型，產品，外部行業，整個世界與人工智慧的關係以及地緣政治等等。就是這些的混合。
我非常誠實地講一遍，我說：“這就是我在想的，這就是Anthropic領導層在想的”，然後我回答問題。這種直接聯絡有很多價值，當你把事情順著鏈條向下傳遞六層時很難實現。公司很大一部分人來參加，或者是現場或者是虛擬的。這真的意味著你可以交流很多東西。
我做的另一件事是我在Slack裡有一個頻道，我就寫一堆東西並經常評論。通常那是回應我在公司看到的事情或人們問的問題。我們做內部調查，有些事情人們很關心，所以我把它們寫下來。我對這些事情非常誠實。我就非常直接地說出來。
關鍵是要建立一個對公司講實話的名聲，實事求是，承認問題，避免那種公司官話，那種在公共場合通常必要的防禦性溝通，因為世界很大，充滿了惡意解讀事情的人。但是如果你擁有一家你信任的人的公司，我們也試圖僱傭我們信任的人，那麼你真的可以完全不加過濾。
我認為這是公司的一個巨大優勢。它使它成為一個更好的工作場所，它使人們不僅僅是各部分的總和，並增加了我們完成使命的可能性，因為每個人都在使命上保持一致，每個人都在辯論和討論如何最好地完成使命。
Dwarkesh Patel: 好吧，作為外部版“Dario願景探索”的替代，我們有了這次採訪。這次採訪有點像那個。這很有趣，Dario。謝謝你接受採訪。
Dario Amodei: 謝謝你，Dwarkesh。 (硬AI)