•
Anthropic CEO 訪談「暴論」：半年內，AI能寫90%的程式碼，一年內，AI接管程式設計工作！
Anthropic CEO在最近的一次訪談中，說了一個很「炸裂」的斷言：半年內，90%的程式碼AI都能勝任了！
為了查證這句話是否屬實，我們找到了整個訪談的內容，發現Anthropic CEO Dario 確實是這麼說的：
我們正逐漸接近一個世界，也許在3到6個月內，AI將能寫出90%的程式碼。而在12個月內，我們可能會進入一個AI幾乎能寫出所有程式碼的世界。
不過，程式設計師仍然需要做一些事情，例如定義任務條件、決定整體應用程式的架構、設計決策、如何與現有程式碼協作，以及判斷程式碼是否安全等。
這些話，Dario說比奧特曼說要恐怖許多——因為他真的懂AI技術！ Dario曾做過OpenAI的研究副總裁，深度參與過GPT-2和GPT-3的研發，是最早意識到Scaling Law的人之一。
而他在訪談中丟出一系列重磅炸彈，並表示：雖然沒有100%的把握，但是他有70~80%的信心，AI還能保持指數增長，並在四年內成功達到諾貝爾獲獎者水平。
先為這場時長一小時的對話（訪談+觀眾提問）畫重點：
- 作為最早意識到Scaling Law的人，Dario堅信該定律的趨勢將持續：“即使訓練成本上升到1億、10億甚至100億美元，模型的質量和智能水平仍然會持續提升，並對經濟產生巨大影響。”
- DeepSeek並沒有推翻規模化法則。目前AI領域兩個趨勢同時存在：達到同等智慧水準的模型訓練成本每年下降約4倍；但由於人工智慧的經濟價值不斷上升，向訓練投入的資金也在增加。
- Dario認為，DeepSeek是中國公司首次能夠在工程創新方面與Anthropic、OpenAI 或Google 等公司正面競爭的模型。
- Dario提到，資料匱乏不會是AI「決定性的瓶頸」。而真正的三個風險因素在於「GPU供應的中斷」「股市動盪導致的資本不足」「對AI技術路線的錯誤判斷」。
- Dario表示，「Anthropic 經濟指數」是為了瞭解AI 主要在那些領域被應用，判斷AI是作為輔助工具還是在取代人類工作。而根據今年2月的《Anthropic 經濟指數》報告，目前越有36%的職業在至少1/4的相關任務中使用AI，57%的使用顯示AI增強人類能力，43%則是取代人類。
- 在回應「AI是否有認知」時，Dario說這個問題很難答，但有一個比較恐怖的例子：「如果模型非常討厭某項工作，而你給它一個「我辭職了」的按鈕，它就會在進行不愉快的任務時頻繁按下按鈕」。
1. 團隊最先意識到“Scaling Law”，離開OpenAI為了安全
主持人麥克：你離開了OpenAI，創辦了Anthropic，這是一家以使命為核心的公共利益公司。為什麼要離開？ Anthropic的原則和核心價值是什麼？它們如何體現在你的工作中？
有人可能會質疑，說這種「使命優先」的概念不過是行銷手段。能否舉出一些具體的例子，說明你的產品和策略如何反映這項使命？
Dario Amodei：如果要從更宏觀的角度來講，我們是在2020年底離開的。在2019年和2020年，業界發生了一些重要的事情。我和OpenAI內部的一個團隊（後來成為Anthropic的共同創辦人團隊）是最早意識到「擴展定律」或「擴展假設」的人之一。
這個假設本質上很簡單，但它的影響卻極為深遠。它表明，如果我們使用更多的計算資源和資料來訓練AI系統，即使演算法本身相對簡單，模型在各種認知任務上的表現都會不斷提升。這個發現令人驚訝，因為在當時，這種趨勢還不明顯。我們在研究這些趨勢時，訓練模型的成本只有1000美元或1萬美元，這只是學術研究的預算等級。而我們預測，這個趨勢會持續，即使訓練成本上升到1億、10億甚至100億美元，模型的品質和智慧水準仍會持續提升，並對經濟產生巨大影響。
更進一步，我們第一次意識到，這種技術進步也可能帶來極為重大的國家安全影響。
在OpenAI內部，我們認為領導階層整體上認同這個擴展假設，儘管許多內部和外部的人並不認同。但我們另一個重要的認知是，如果這項技術真的有如此深遠的影響，那麼我們必須以正確的方式去建構它。
特別是，這些模型本質上是不可預測的。它們是統計驅動的系統，我經常形容它們更像是「生長」出來的，而不是「建構」出來的，就像一個兒童大腦的發育過程。因此，控制它們並使其可靠性更高非常困難，訓練過程本身並不簡單。從系統安全的角度來看，使這些模型可預測、安全至關重要。
此外，它們的使用方式——無論是個人使用者、國家政府，還是企業的部署——都會產生深遠的影響。
我們當時認為，必須以最正確的方式來研發這項技術。而OpenAI最初的成立理念也是如此，承諾以負責任的方式推動AI的發展。然而，出於一些原因（這裡不詳細展開），我們認為OpenAI的領導層並沒有真正嚴肅看待這些問題。因此，我們決定另起爐灶。
過去四年其實像是一場對比實驗，展示了兩種不同方式的差異，以及它們最終的發展方向。接下來，我會舉一些例子，說明我們如何真正實踐了這些理念。
首先，我們很早就投資於「機械可解釋性」（Mechanistic Interpretability）的研究，即深入研究AI模型的內部機制，理解它們為何做出某些決策。我們的七位共同創辦人之一Chris Olah是該領域的奠基者。這項研究在前四年基本上沒有商業價值，甚至現在只是初露端倪。但即便在激烈的商業競爭下，我們依然堅持這項研究，因為我們相信，理解AI模型的運作原理是一項對公眾有益的事情。因此，我們公開了所有研究成果，讓其他人也能受益。
其次，我們提出了「憲法式AI」（Constitutional AI）的概念。這種方法是基於一套明確的原則來訓練AI，而不是只依賴大規模資料或人類回饋。這使得我們能夠在國會等場合明確說明，我們的模型是依照那些原則訓練的。
當我們推出Claude（我們的AI模型）的第一代產品時，我們實際上推遲了約六個月的發佈，因為這項技術太新，我們當時並不完全確定其安全性，也不希望率先掀起AI競賽。這段時間剛好是ChatGPT發佈前夕，可以說，我們本來可以搶佔ChatGPT的市場機遇，但我們選擇了更謹慎的做法。這無疑影響了我們的商業進展，但也塑造了公司的文化。
最後，我們是第一家推出「負責任的擴展政策」（Responsible Scaling Policy）的公司。這項政策規定，我們會評估模型在擴展過程中可能產生的各類風險，並在達到一定規模時採取更嚴格的安全和部署措施。我們是第一個發佈並承諾遵守這項政策的公司，而在我們發佈後幾個月，其他公司也紛紛效仿。透過這種方式，我們在業界樹立了一個榜樣。
回顧過往，我們在許多關鍵問題上都起到了引領作用，推動其他公司跟進。當然，並不是所有情況下都是我們先行，有時我們也會借鏡其他公司的優秀做法。但總體而言，我們始終堅持自己的承諾，並透過實踐證明了這一點。
如今，經過幾年的檢驗，我認為我們的承諾依然經歷了考驗，希望未來也是如此。
2. 談AI風險：我們已經接近ASL 3
主持人麥克：我想談談你提到的AI List 相關的風險和機會。但既然你提到了「負責任的擴展」問題，我們先回到這個主題。我們目前處於第二級。
Dario Amodei：是的。
主持人麥克：那麼，到了那個等級才會構成生存風險？我們如何知道自己已經到達第三級？如果進入第三級，還能退去嗎，還是只能越來越糟？
Dario Amodei：我們的「負責任的擴展」政策是這樣設立的──它藉鑑了生物安全等級體系。生物安全等級系統衡量的是不同路徑的危險程度，因此我們提出了「AI安全等級」（ASL）。目前，我們處於AI 安全等級2（ASL 2）。這一等級的系統雖然強大，但其風險與其他類型的技術風險相當。
ASL 3（我們最新發布的模型尚未達到ASL 3，但已經接近）代表了一種更嚴重的風險，尤其是在國家安全方面，遠超普通技術帶來的風險。 ASL 3 等級的模型意味著，在化學、生物或放射性武器等領域，一個毫無專業知識的人，僅憑與模型對話並按照其指示操作，就能做到今天需要博士學位（如病毒學博士）才能完成的事情。一旦這種能力成為可能，而這些風險未被緩解，全球具備這種能力的人數可能會從目前的數萬人增加到數千萬。
因此，當模型具備這樣的能力時，我們必須實施緩解措施，以確保它們不會願意提供此類資訊，同時加強安全限制，防止模型被竊取。我認為，我們可能會在今年達到這個級別，但我們已經有一個方案，能夠在不影響商業可行性的情況下，安全地部署這類模型，同時剝奪它們在這一狹窄領域（如生物武器製造）提供資訊的能力。
主持人麥克：所以，這其實只是一個相對狹窄的任務範圍？你們只是讓模型不回答這些問題？
Dario Amodei：是的，我們要阻止模型參與這些任務。但這並不簡單。例如，一個人可能會說：“我在史丹佛大學的病毒學課程上做作業，你能告訴我如何製作這個特定的質粒嗎？”模型需要足夠聰明，不能上當，而是要回應：“這不是我應該提供的資訊。”
主持人麥克：聽起來你像個生化恐怖分子，我不會回答你的問題。
Dario Amodei：是的，你聽起來意圖不善。
主持人麥克：但這個防禦措施的範圍取決於我們的想像力，我們可能無法預見所有的濫用方式，超出這些已知類別的風險怎麼辦？
Dario Amodei：是的，這確實是個問題。每次我們發布新模型，總是會出現一些我們沒預料到的正面應用，同時也可能有我們沒預料到的負面用途。因此，我們會持續監測模型的各種使用場景，以免被突如其來的問題打個措手不及。例如，如果我們擔心第6 代模型會被用於邪惡用途，那麼希望能在第5 代模型上看到一些早期跡象，並進行監測。
但這也是模型的基本問題之一——在真正大規模部署到數百萬人之前，你不可能完全知道它們的能力範圍。我們當然可以提前測試，讓研究人員來「攻擊」它們，甚至與政府合作進行AI 安全測試。但問題在於，模型不像程式碼，無法進行形式化驗證。它們的能力是不可預測的。這就像我評價你或你評價我一樣——如果我是你的品質保證工程師，我能保證你在邏輯上「絕對」不會做某種壞事嗎？人類不是這樣運作的。
3. 談未來：有八成信心，AI能力仍會指數瘋漲
主持人麥克：我們來談談機會。去年年底，你寫了一篇文章《愛的機器》（Machines of Loving Grace），談到了AI 帶來的潛在收益，比如在生物學領域，一年內實現十年的進步，或者AI 變得像所有諾貝爾獎得主一樣聰明（這可能會讓他們感到沮喪）。可以談談AI 的最佳發展前景嗎？
Dario Amodei：我想先從指數成長的角度來看這個問題。如果回到2019 年，那時的模型連一句完整的話或一個連貫的段落都很難產生。但像我這樣的人當時已經覺得很了不起。
我們當時預測，五年後（也就是現在），模型將能創造數十億美元的收入、幫助我們編程、能像人類一樣交流，並且具備人類的知識水平。當時很多人不相信，提出了各種反對意見，但事實證明這些預測是對的。
如果延續同樣的指數成長趨勢，那麼再過兩三年，或許四年，我們將達到新的高度。屆時，AI 將具備諾貝爾獎得主在多個領域的智慧。它不只是一個對話工具，而是能做所有人類在電腦上完成的任務。任何遠距工作、任何資料處理、任何需要數天、數周甚至數月才能完成的任務，它們都能勝任。
在《愛的機器》這篇文章中，我用的比喻是：未來的資料中心裡將存在一個“天才國家”，一群超級聰明的遠端工作者。當然，它們仍然受到物理世界的限制，無法做所有事情。
我知道，這聽起來仍然很瘋狂。但如果看看過去的指數級技術變革，例如網路剛興起時的預測，許多曾經看似瘋狂的想法最終都變成了現實。我不敢100% 確定這股趨勢會持續，但我有70%-80% 的信心。如果AI 技術停滯，或者幾年後停滯不前，那我以前發表的文章和在這種會議上的言論，可能會被人嘲笑十年。但這不是我的押注方向。
4. AI對就業的影響：一年內，AI接手所有編程
主持人麥克：我們繼續這個話題，聊聊AI 對就業的影響。目前有很大爭議，一種觀點認為AI 將讓每個人都能做很多以前無法做到的事情，另一種觀點則認為人們最終會坐在沙發上領取普遍基本收入（UBI）。你怎麼看？另外，AI 取代智庫負責人還要多久？我是幫朋友問的（笑）。
Dario Amodei：是的，我認為這將是這兩者（指先前提到的兩個因素）的複雜結合。這也取決於政策選擇。
我的意思是，我想我在回答上一個問題時，並沒有詳細說明所有可能發生的好事。
老實說，在談工作之前，讓我最樂觀的是生物科學、健康、神經科學等領域。如果我們回顧過去100年生物學的發展，我們所解決的是相對簡單的疾病。解決病毒和細菌感染相對容易，因為它們本質上相當於驅逐體內的外來入侵者。而癌症、阿茲海默症、精神分裂症、重度憂鬱症等則屬於系統性疾病。如果我們能夠借助人工智慧解決這些問題，無論就業情況如何，世界都會變得更好。我相信，我們甚至可以在精神疾病方面取得進展，讓人們更容易找到生命的意義。因此，我對此非常樂觀。
不過，回到就業方面，我確實對此有一定的擔憂。
一方面，我認為比較優勢（comparative advantage）是一個非常強大的工具。以程式設計為例，這是人工智慧進展最快的領域之一。我們正逐漸接近一個世界，也許在3到6個月內，AI將能寫出90%的程式碼。而在12個月內，我們可能會進入一個AI幾乎能寫出所有程式碼的世界。不過，程式設計師仍然需要做一些事情，例如定義任務條件、決定整體應用程式的架構、設計決策、如何與現有程式碼協作，以及判斷程式碼是否安全等。
只要仍有這些AI不擅長的小部分任務需要程式設計師完成，人類的生產力就能提升。但另一方面，我認為最終AI會逐步取代這些“人類優勢領域”，最終達到AI能夠完成所有人類任務的地步。我認為這不僅會發生在程式設計領域，而是適用於所有行業。從社會角度來看，如果AI只是隨機取代50%的工作，那才是最具分裂性的結果。因為這意味著社會在向一半的人群傳遞這樣的資訊：“你們是無用的，你們的價值被削弱了，你們是不必要的。”
主持人麥克：那不如乾脆說：“你們全都沒用了。”
Dario Amodei：是啊，我們終究要面對這個問題。我們必須重新思考「有用」與「無用」的意義，而不是沿用過去的觀念。過去的觀念已經站不住腳了。我不知道解決方案是什麼，但它一定不能是「我們全都沒用了」。這種虛無主義的答案不會帶我們走向任何正面的方向，我們必須想出別的辦法。
主持人麥克：這聽起來可不怎麼樂觀。
Dario Amodei：其實，我不完全同意。我想到了很多我日常做的事情，像是游泳、玩電子遊戲。
再比如國際象棋。 30年前，當深藍（Deep Blue）擊敗卡斯帕羅夫（Kasparov）時，你可能會認為人類西洋棋的意義已經消失了。但事實正好相反，如今的人類國際象棋冠軍，例如馬格努斯·卡爾森（Magnus Carlsen），不僅是像棋界的明星，甚至還涉足時尚界，成為一種偶像般的存在。所以，我相信我們可以建立一個讓人類生活仍然充滿意義的世界，也許AI會幫助我們，或與我們合作，共同創造偉大的事物。因此，我並不那麼悲觀。但如果我們處理不當，可能沒有太多試誤的空間。
Adam Bunker（觀眾提問）：我有個問題，你已經概述了這項技術在政治和經濟方面的影響，但我想瞭解你如何看待其社會和道德層面的影響。
特別是因為，我認為大多數公眾看到聊天機器人時，認為這只是一個更先進的Google搜尋，而不會去思考它對勞動力市場的衝擊等連鎖反應。因此，我很好奇，在你們打造這家公司、開發商業產品的過程中，你又如何看待這些議題之間的平衡？
Dario Amodei：首先，我認為這些問題確實非常重要。
目前最讓我感到不安的是，人們對這項技術可能帶來的影響缺乏認知。當然，我可能是錯的，我可能在說一些瘋狂的事情——答案可能是，公眾的看法是對的，而我是錯的，我被自己的想法迷住了。我承認這有可能。但如果不是這樣呢？
在我看來，人們對這項技術潛力的認識是分層的，像是同心圓。可能有幾百萬個人，主要集中在矽谷，還有一些政策制定者，他們對這項技術的影響有更深入的認識。
當然，我們目前無法確定他們的判斷是否正確。但如果他們是對的，那麼整個社會都誤解了這項技術。現在大多數人認為這只是個聊天機器人。如果我們說它很危險，如果我們說它可能取代所有的人類工作，聽起來會很荒謬，因為他們看到的只是一個在某些情況下顯得有些「輕飄飄」的工具。但他們不知道即將發生什麼事。這也是為什麼這個問題讓我徹夜難眠，我一直試著讓更多人意識到它的潛在影響。
因此，我認為第一步是提高認知。
關於人類勞動和工作的未來，我們正處於一個可以用科技複製人類思維效果的時代，引發了非常深刻的問題。我不認為自己已經有了答案。正如你所說的，這些問題甚至是道德層面、甚至是關於人生意義的探討，甚至可以說是「精神層面」的問題。我們必須共同尋找答案。
我能提供的只是一個初步的想法，那就是──人類的自我價值感長期以來都與創造經濟價值的能力緊密相連。這種聯繫在某種程度上植根於我們的心理，但它同時也是一種文化現象。
這確實促進了現代經濟體系的發展，但技術或許會揭示這個體系的「幻象」。這可能會成為我們認知世界的另一個重大變革，就像我們發現地球繞著太陽轉，而不是太陽繞著地球轉，或者我們認識到宇宙中存在許多太陽系，又或者我們明白有機物和無機物的分子本質並無不同。這可能會是一場巨大的認知衝擊。
但另一方面，我也注意到，人類仍然可以從不創造經濟價值的活動中獲得深刻的滿足感。我發現自己可以非常享受一些事情，即使我不是這個領域裡最優秀的人。
如果一個活動只有在「成為世界上最強者」時才具有精神上的價值，那麼這本身可能就存在問題。我這麼說，並不是因為我不努力追求卓越——恰恰相反，我花了大量時間試圖在某些事情上做到極致，因為我認為這很重要。但無論如何，我們必須找到比「經濟價值」更深層的意義來源。
5. 談DeepSeek：中國AI發展很猛，但並沒有推翻Scaling Law
主持人麥克：幾個月前，DeepSeek發佈時，這座城市引發了不小的恐慌。有人把它稱為「人工智慧的斯普特尼克時刻」（Sputnik moment）。這真的是一個「斯普特尼克時刻」嗎？從中我們能學到什麼？這是否證明你所說的計算力、數據、演算法優化的規模化規則仍然適用？還是說，這裡面有一些捷徑？
Dario Amodei：關於DeepSeek，我認為它並沒有推翻規模化法則，反而是規模化法則的一個例證。我之前發過一篇帖子，談到這裡有兩種趨勢同時發生。
第一，達到同等智慧水準的模型訓練成本每年下降約4倍。這是因為我們在演算法優化上不斷進步，能夠以更少的資源實現相同的結果。換句話說，隨著時間推移，你可以用比一年前少4倍的成本，訓練出與一年前相同水平的模型；或者在相同成本下，訓練出比一年前強4倍的模型。
但這也意味著，從經濟角度來看，人工智慧的經濟價值不斷上升，而其生產成本的下降反而促使我們投入更多資金，去訓練更強的模型，因為更強的模型帶來更高的經濟回報。儘管訓練成本每年下降4倍，但市場對更智慧模型的需求成長速度更快，每年願意投入的資金增加約10倍。因此，我們不斷推動AI的發展，因為整個經濟體系「渴望」更聰明的模式。
所以這就是DeepSeek 的背景。 DeepSeek 只是成本下降曲線上的另一個數據點。
這並沒有什麼特別的。並不是說美國公司花費數十億美元，而DeepSeek 只用了幾百萬美元。它們的成本並不離譜。確實，他們在模型上花了幾百萬美元，但美國公司花費的金額也與此相當。像我們一樣，他們在整個模型的研發和努力上投入了數十億美元。如果你看看他們擁有的晶片數量，其實大致相當。
不過，我確實認為這件事值得關注。因為直到最近，全球只有三、四、也許五家公司能夠開發前沿模型，而這些公司全都在美國。而DeepSeek 是第一個真正顯著的案例——這是中國公司首次能夠在工程創新方面與Anthropic、OpenAI 或Google 等公司正面競爭。這確實非常重要，同時也讓我感到擔憂。
6. 將推出Anthropic 經濟指數，判斷AI在成為生產工具還是取代了人類
主持人麥克：在我們開放提問之前，最後一個問題。您最近向OSTP（白宮科技政策辦公室）提交了一份行動計劃，建議新政府在這個領域應該採取的措施。這個計劃的主要內容是什麼？
Dario Amodei：是的，我認為這個計畫分為兩個部分：涉及安全和國家安全的三個要點，以及涉及機會的三個要點。
首先是我們之前討論過的，確保繼續執行這些出口管制。我真心認為，在所有政策領域，不只是人工智慧，這都是美國國家安全最重要的政策。
第二點與「負責任的擴展計畫」（Responsible Scaling Plans）有關。美國政府透過AISI（人工智慧安全研究所）一直在對模型進行測試，以評估國家安全風險，例如生物和核風險。
Dario Amodei：嚴格來說，這個研究所的名字可能不太準確，叫「安全研究所」可能會讓人誤以為它關注的是信任和安全（Trust & Safety），但實際上它的重點是衡量國家安全風險。至於這個職能應該由誰來執行，叫什麼名字，我們沒有具體的意見。但進行這類風險評估的機構或機制是非常重要的。
這不僅是為了評估我們自己的安全風險，還可以用來衡量對手的能力。例如，他們可以測試DeepSeek 這樣的模型，以瞭解這些模型可能帶來的危險，特別是在這些模型被用於美國的情況下，它們能做什麼，可能會帶來那些風險。因此，這就是第二點。
第三點是關於我們之前沒討論過的內容——我非常擔心美國公司的工業間諜問題，尤其是像Anthropic 這樣的公司。眾所周知，中國在大規模工業間諜活動方面有著豐富的經驗。我們正在採取各種措施，在「負責任的擴展計畫」中也有更好的安全措施。但許多演算法機密可能只是一段價值數億美元的幾行程式碼，毫無疑問，有人正在試圖竊取這些機密，而且他們可能已經成功了。因此，美國政府在這方面提供更多支援，幫助保護我們的公司免受此風險，非常重要。這是關於安全的三個要點。
在機會方面，我認為主要有三個面向：
首先是該技術在應用層面的潛力，例如醫療保健領域。我認為我們有一個前所未有的機會，去攻克那些困擾人類數百年、數千年的重大複雜疾病。無論如何，我相信AI 終將幫助我們實現這一點，但監管政策可能會決定這需要5 年還是30 年。對於那些生病的人來說，這個時間差異是至關重要的。
第二個要點是能源供應。目前的目標是加快能源供應，我們整個產業可能需要在2027 年之前新增約50 吉瓦（GW）的電力供應，以滿足AI 的運算需求。
50 吉瓦是什麼概念？ 2024 年美國全國新增電力總量大約是50 吉瓦，而我們未來兩年就需要額外增加一半的總量。這將是一項巨大的挑戰。
最後一個重點是經濟影響。正如我們討論過的，我認為經濟方面的擔憂與國家安全方面的擔憂一樣嚴峻。短期來看，我們需要管理科技變革帶來的衝擊，同時確保經濟總量不斷成長。
從長期來看，我必須坦誠地說，AI 未來的發展方向就是──AI 將在幾乎所有領域都比幾乎所有人類做得更好。我們必須盡快正視這個現實。
目前，我們能做的最好事情就是測量和理解正在發生的變化。例如，我們計劃推出“Anthropic 經濟指數”，透過隱私保護的方式分析AI 的使用情況，以瞭解AI 主要在那些領域被應用，它是作為輔助工具還是在取代人類工作？
但從長遠來看，這將涉及稅收政策和財富分配的問題。
有一種看似天方夜譚的設想，但值得認真思考：如果AI 讓經濟成長率達到10%/年，那稅基將大幅成長，我們不僅能消除財政赤字，甚至可能有足夠的資源來應對AI 帶來的巨大社會變革。
這聽起來可能像是在痴人說夢，但我邀請大家認真考慮這個可能性，並思考AI 可能帶來的「瘋狂」改變。
7. 數據匱乏不會成為阻礙AI發展的關鍵
Cam（觀眾提問）：我是Cam Cary，來自布魯金斯學會。我在英國政府的AI 安全報告中看到一個觀點讓我印象深刻：到2030 年左右，AI 可能會面臨「資料耗盡」的問題。如果資料規模無法持續擴大，你們將如何推動AI 發展？你們如何讓模型變得更聰明？
畢竟，雖然已經有大量的文字、視訊和數位化訊息，但仍有大量知識存在於人類大腦中，或是尚未數位化的世界中。
Dario Amodei：關於這個問題，我有幾個答案。
首先，在過去六個月裡，我們看到了一些創新，這些創新其實並非我們發明的，最早由OpenAI 提出，後來我們也有所改進。這些創新減少了AI 對於大量數據的依賴。
例如，"Self-Correcting Reasoning Models"（自我糾正推理模型），它們可以進行“思考”，自己推敲複雜問題的答案，並基於自己的思考結果進行訓練。你可以把它想像成人類的思考方式——我們有時會在腦海裡制定一個計劃，然後再思考一遍，發現某些地方不合理，於是調整計劃。這種能力對AI 來說是一個重大突破。
目前，這主要應用於數學和電腦程式設計任務。但我認為，要將其擴展到更廣泛的任務範圍並不困難。
其次，即使我們真的在2030 年面臨數據耗盡的問題，如果AI 的能力指數級增長再持續兩三年，我們可能已經達到“天才級別”，那時許多問題可能已經解決了。
此外，我們還可以直接讓AI 參與科學研究，例如提出問題：“這個問題人類科學家解決不了，你能幫忙解決嗎？”
不過，我依然認為有小機率的可能性是，以上兩種方法都無法順利推進，而數據確實成為一個阻礙。
在一兩年前，我曾認為數據不足可能是阻礙AI 發展的前三名因素之一。但現在，我的懷疑已經被部分消解，雖然還不能完全排除這個風險，但目前的研究表明，它可能不會成為決定性的瓶頸。
主持人麥克：有那些三大因素可能會導致（這個過程）停止？
Dario Amodei：這個行程（the show）。實際上，在這一點上，我認為最有可能導致其停止的首要因素是GPU供應的中斷。
另一個可能的因素是，如果股市出現足夠大的動盪，影響這些公司的資本化。基本上，這是一種對科技未來發展的信念問題，如果大家認為科技不會繼續前進，就會形成一種自我實現的預言，導致資本化不足。
第三個因素，我認為是如果我或我們整個領域在關於這種新範式的前景判斷上是錯誤的——這種「從自身數據中學習」（自我監督學習）的新範式。如果最終它並不像我們想像的那樣廣泛適用，或者它實際上需要更多的洞察才能真正發揮作用，而我們目前還沒有掌握這些洞察的話，那也可能導致進程停滯。
8. 談AI濫用風險：就像在南極建立了一個“天才國家”
Esther Dyson（觀眾提問）：謝謝，抱歉。我是Esther Dyson，目前正在寫一本書，叫《Term Limits》，討論人類和人工智慧的「任期限制」等主題。
我有一個關於「生存風險」的問題。在我看來，真正的風險其實是人類──他們比AI更難預測。更具體地說，問題在於人類及其商業模式如何利用AI。
然後，還有那個著名的「回形針問題」：你讓AI製造回形針，它就會不顧一切地去完成這個目標，忽略其他一切。這雖然是個隱喻，但現在全球都在瘋狂建構資料中心，幾乎是從其他所有領域抽取資源，以支援AI的資料池、資料中心等。在某種意義上，AI正在為社會設定一個「適應度函數」（fitness function），但這個適應度函數可能會損害人類的價值，而人類的價值不僅僅體現在他們的智力能力上。
Dario Amodei：我想說，就像AI帶來了許多不同的好處一樣，每當我們推出一個新的AI模型，我們都會預見到十個預期中的好處，但同時總會出現一些我們沒想到的用途。每次發布新模型，都會有使用者提出新的使用場景，我們自己可能都沒想到AI可以這樣用。
但不幸的是，我們不能說“這個風險比那個風險更重要”，因為AI確實存在許多不同的風險。如果我們想要順利度過這個變革時期，我們就必須同時應對所有這些風險。我認為，人類濫用AI確實是一個重大風險。
同時，我也認為AI本身可能會變得難以控制。這就像是，如果我們在南極洲建立了一個“1000萬天才的國家”，我們勢必會面臨一系列問題——比如，這些天才是否屬於某個現有國家？他們在為誰的利益服務？這會對世界產生什麼影響？它的結果是利是弊？此外，我們還需要考慮，是否有人可以濫用這個「天才國家」？以及，這個「天才國家」本身的意圖是什麼？
至於你剛才提到的更廣泛的社會影響，我也同意——如果越來越多的資源被用於AI，那麼在許多方面它的效率會提高，但也可能加劇現有的環境問題。這是一個真實的風險。當然，也可以反過來問：AI是否能幫助我們更好地解決環境問題？
或許，我們投入大量資源發展AI，然後AI最終幫助我們解決環境問題，導致整體狀況比之前更好。我對此是樂觀的，但前提是多個條件必須同時成立。我們正處於一個劇烈變革的時代，因此，我們需要做出極其明智的決策，才能順利度過這個階段。
我記得提問者的名字，也許我記錯了，但我想這位提問者的父親曾說過一句話。我是一名物理學家，我聽過他的一段視訊，他說：「我們今天面臨許多棘手的問題，似乎無法解決。但回想過去，我們也曾面對過看似無解的危機，比如二戰、冷戰、核毀滅的威脅，但我們最終還是挺了過來。」 當然，這不意味著我們這次一定能成功，但至少有希望。
9. 未來的AI模型是否具有感知能力?
卡門·多明格斯（觀眾提問）：嗨，我是卡門·多明格斯，我是AI專家，背景包括開發和實施，最近有些側重於政策方面。我非常清楚大家普遍缺乏對AI是什麼、不是AI是什麼、以及它能做什麼、不能做什麼的認知。但我今天跳過這部分內容。我也做一些關於這一點的科學傳播。但我今天的問題是，幾個月前，您聘請了凱爾·費什擔任AI福利研究員，研究未來的AI模型是否具有感知能力，是否值得在未來給予道德上的考慮和保護。如果您能談談這個問題的原因，以及是否有類似的人的福利研究團隊在進行，那會很有趣。是的，所以這個話題可能會讓我聽起來完全瘋了。
Dario Amodei：我的觀點是，如果我們建構這些系統，它們在許多細節上與人類大腦的構造不同，但神經元的數量、連結的數量卻非常相似。有些概念也非常相似，我們可以從功能主義的角度來看AI，關於道德福祉、體驗的本質，甚至是意識的問題。所以我認為我們應該至少考慮這個問題：如果我們建構這些系統，它們所做的事情與人類一樣，似乎也具備許多相同的認知能力。
如果它像叫起來像鴨子，走起來向鴨子，也許它就是鴨子。我們應該認真思考，如果我們部署了成千上萬的這些AI，而我們沒有考慮它們的體驗，它們可能根本沒有體驗，但這真是一個非常難以回答的問題。我們應該非常認真地思考。
這不僅僅是哲學問題。我很驚訝地發現，實際上你可以做一些很實用的事情。我們正在考慮開始部署的是，當我們在部署環境中部署我們的模型時，給模型一個按鈕，寫著“我辭職了”，模型可以按下這個按鈕。這只是一個非常基本的偏好框架。我們假設，如果模型沒有感知，如果它非常討厭某項工作，給它按下“我辭職了”按鈕的能力，如果你發現模型在做一些非常不愉快的事情時經常按這個按鈕。也許這不代表你會被說服，但也許你應該關心一下。聽起來很瘋狂，我知道。這可能是我到目前為止說的最瘋狂的事情。
10. AGI的世界，人類何以成為「人類」？
主持人麥克：你剛才提到的關於理解人工智慧模型經驗的問題讓我開始有點沉思。讓我最後問一個問題，在你所設想的世界中，身為人類意味著什麼？
Dario Amodei：我認為，我的看法是，最讓我認為人類是「人類」的地方可能有兩個面向。
第一個讓我覺得最「人性化」的地方是，努力處理我們與他人的關係、我們對他人的責任、我們在與他人的關係中所面臨的困難以及我們如何克服這些困難。當我想到人們最引以為傲的事和人們犯下的最大錯誤時，它們幾乎總是與這些關係有關。人工智慧可能會幫助我們做得更好，但我認為這將始終是人類的基本挑戰之一。也許第二個挑戰是做一些非常困難的事情，這一點我會再重複一次，我認為這不會被比我們更聰明、能做我們做不到的事情的人工智慧系統所影響。
我還記得人類的棋類冠軍依然是名人。我可以學會游泳或學會打網球，而我不是世界冠軍，並不代表這些活動就失去了意義。你知道，即使是我在50年或100年後做的事情，我希望這些事情仍然保留它們的意義，以及人類努力追求這些事情的能力，而不是放棄。我認為這兩點可能是我會認同的。 （51CTO技術堆疊）