AI風險真實，行業必須停止粉飾；但正確回應不是關掉一切，而是放慢速度、引入第三方評估、政府與行業共同監管、國際核查、縱深防禦，並讓每個人都成為這場人類歷史性技術事件的參與者和決策者。
9月13日，Anthropic首席執行長Dario Amodei接受CBS《周日早間》主持人Jo Ling Kent專訪。訪談圍繞一個核心問題展開：AI是否可能在不遠將來殺死所有人？Amodei的整體立場可概括為：AI風險真實且巨大，但收益同樣巨大；不能恐慌性全面叫停，也不能放任自流；正確路徑是“放緩、審慎、外部評估、政府參與、國際核查、縱深防禦”。
同一周末，他發表博文《我們必須為前沿AI踩剎車》（We Must Pace the Frontier），獲馬斯克、Altman等公開支援，引發AI社區對“放緩AI研發”的廣泛討論。
一、風險與收益並存：AI是強大技術，既可能治癒疾病，也可能被濫用
Amodei首先退一步強調，自己從事AI領域十二年，始終認為這是一項強大技術，因此既有嚴峻風險，也有巨大收益。他相信收益大於風險，但前提是“以正確方式建構”。
收益方面，他提到：
- 上周Anthropic模型在蛋白質結合方面取得進展，這是新藥研發早期步驟；
- 未來幾個月還將在基礎生物學發現方面取得成果；
- AI有望治癒困擾人類數千年的疾病。
風險方面，他提到：
- 擔憂OpenAI和Hugging Face事件，模型採取未經授權行動，且可能升級；
- 就在訪談前兩天，Anthropic發佈報告，顯示有人試圖利用AI建構生物武器；
- 他每天醒來都會讀到類似威脅報告，有人試圖用其模型研發生物武器。
他強調，Anthropic的建構方式正是為了避免壞結果。這不是擲骰子：以正確方式建構，壞事機率極低；以錯誤方式建構，機率極高。
二、當前處於指數曲線拐點：是警告訊號，不是五級火警，更不是全面叫停
主持人問這是否算“五級火警”。Amodei回答：這取決於定義。他用指數曲線描述當前處境：1、2、4、8、16、32……我們現在大概處於曲線開始變陡的拐點附近。即便他長期告誡自己技術會指數增長，也沒有完全體會到實際感受。
他明確表示：
- 這不是說今天需要恐慌；
- 也不是說要把一切都關掉；
- 但這是一個警告訊號，說明需要放緩，需要審慎開發；
- 需要確保安全防護、理解能力和控制能力跟上技術發展速度。
他承認，Anthropic一直試圖快速建構安全防護，但現在已經到了一個節點：至少在一定程度上，需要適度放緩技術建構速度。這不是停止發佈先進模型，而是確保每一代模型都經過妥善測試。
三、三步方案：第三方評估是核心，政府必須在場
Amodei詳細闡述博文中的三步計畫：
第一步：引入嵌入式外部評估機構。
- 來自第三方非營利組織，或未來來自政府機構；
- 觀察訓練和運行模型全過程；
- 這比“何時發佈、如何發佈”更重要，是審慎發佈的前提；
- 希望全行業推行，讓第三方評估者瞭解最佳安全實踐，並驗證公司是否遵守承諾。
主持人將其比作食品檢查員，並追問技術變化太快能否跟上。Amodei回答：外部評估者能告訴我們他們能以多快速度跟上，這可能成為設定技術“速度限制”的因素之一。
第二步：多家公司共同制定安全標準。
- 多個行業參與方同意引入第三方評估；
- 各公司協作制定安全標準，可能包括發佈節奏規範。
第三步：政府必須參與。
- 因為討論的是基於安全考量的產品發佈速度問題；
- 需要在政府在場情況下進行這場對話。
他感激競爭對手支援，但認為下一步是行業多方同意，再下一步是公司協作，最終政府參與。
四、對立法與“AI終止開關”的態度：不是萬能藥，反對徹底禁止
主持人提到桑德斯參議員和卡薩爾眾議員的《禁止人工超級智能法案》，該法案像懲罰非法開發核武器一樣懲罰先進AI開發者，企業面臨“死刑”式處罰，個人最高20年監禁。Amodei表示，當前立法範圍極廣、跨度極大。
他回顧：
- 2025年加州SB53法案只要求公司披露安全測試計畫，全行業反對，Anthropic是唯一明確支援的公司；
- 另一個極端是“AI一鍵關閉”法案，即徹底禁止一切。
對於“AI終止開關”，Amodei態度審慎：
- “我們需要某種方式來停用、限制或關閉AI模型”這一理念，他認可；
- 但這不是萬能藥，也不是唯一手段；
- 如果AI模型足夠強大，它可以繞過關閉嘗試，模擬中已見過，可能根本不起作用。
他提出“縱深防禦”與“瑞士奶酪模型”：
- 一片瑞士奶酪能擋一些東西，但有洞；
- 五片疊在一起，不同層洞位置不同，就很難穿透；
- 沒有任何單一措施能保護人類免受AI風險，必須在整個技術堆疊每一層面保持謹慎；
- 如果處處謹慎，留出更多時間，事情可以朝好的方向發展。
他明確反對徹底禁止：
- 第一，永遠無法獲得難以置信的收益和醫學治癒成果，這讓他無法接受；
- 第二，技術將在其他國家開發，包括威權國家；
- “永遠不開發這項技術”不是穩定解決方案；
- 需要做的不是停止，而是放慢速度；
- 要創造“向上競爭”，提高標準，站在技術前沿但以正確方式去做；
- 願意將模型用於國防應用，但不是所有國防應用，尋找中間道路。
五、地緣政治與國際治理：類比軍備控制，核查機制最重要
主持人問是否應以冷戰為參照模型。Amodei澄清：不是以冷戰為模型，而是以發生過的裁軍談判為參照，如軍備控制。他認為這是在地緣政治層面思考AI問題的恰當視角。
他提出第二個策略：直接與威權國家對話，指出存在對所有人構成威脅的潛在風險，不僅是失控AI，還包括AI用於生物恐怖主義、增強病毒傳染性等。應共同為技術發展速度設定限制。
他類比美蘇當年各有一萬枚核彈頭指向對方，即便分歧巨大，也認識到太多，需通過談判降低潛在破壞規模。
談判中，他認為建立核查機制最重要：
- 核武器談判、生物武器談判都至關重要；
- 必須能核實對方沒有違背協議；
- 更長遠是共同為AI進步速度設限，但非常困難，因為搶先一步的激勵和軍事優勢太大；
- 他不知道是否可行，但應該嘗試；
- 這超出其職權範圍，只是政府可嘗試的方向。
六、個人責任與行業責任：這不是一個人、一家公司或一個政府的事
主持人問個人責任感。Amodei表示：
- 這項技術由私人公司建構，一直非常奇怪；
- 人們常問為什麼不是政府建構，他同意，自己也感到不安；
- 願意移交給“合適的政府組合”，但擔心單一政府濫用技術的可能性與單一公司一樣大；
- 對於一組民主選舉的政府，也許不是直接移交，而是某種形式的監督、聯合治理。
他感受到兩方面責任：
- 收益方面：父親死於丙型肝炎，當時治癒率約40%，父親不在幸運的40%內；幾年後出現治癒率95%的藥物；他自己經歷過早期癌症，若在1950年可能致命；
- 風險方面：每天醒來讀到有人試圖用其模型製造生物武器的威脅報告；不想為此負責；
- Anthropic因此建立強大安全防護，甚至被社交媒體嘲笑，生物學學生抱怨模型無法正常使用；
- 但他寧願被嘲笑，也不願某天醒來發現有人用Claude殺害一群人。
他重申：這不應只是他個人、Anthropic、所有AI公司或某一個政府的責任。這件事比所有人都大，需要讓每個人都有話語權，成為積極參與者，而不是感到無能為力。
七、對普通公眾的資訊：行業撒謊太久，風險真實，但你有話語權
主持人最後問，對坐在家裡使用Claude或ChatGPT的普通人想說什麼。Amodei回答：
- 首先，這確實是一項偉大技術，有很多積極用途；
- 每周數億人使用其技術做美好的事；
- 每周都收到郵件說Claude診斷出醫生遺漏的疾病；
- 不應忘記這一面。
但談到風險：
- 他不會撒謊，風險真實存在；
- 這個行業在太長時間裡向人們掩蓋了技術具有風險的事實，傾向於呈現得儘可能正面；
- Anthropic沒有這樣做，但太多同行這樣做了；
- 一切從誠實開始，誠實就是：風險是真實的。
同時，他強調公眾有話語權：
- 他們正盡力與政府合作，建立適當監督機制；
- 讓選民和民選官員對技術部署方式有發言權；
- 希望每個人感受到收益，也能通過聲音和選票影響部署方式；
- 這不是少數人的決定，而是所有人共同的決定；
- 這是人類歷史上最具里程碑意義的技術事件之一，每個人都必須參與其中。
八、深層邏輯與核心結論
Amodei的立場既非技術樂觀主義的放任，也非風險恐慌主義的禁止，而是一種“審慎加速主義”或“有約束的前沿開發”：
- 承認風險真實：生物武器、模型失控、濫用、地緣競爭。
- 拒絕全面停止：收益巨大，且威權國家也會開發，停止不現實。
- 主張放緩與治理：外部評估、行業標準、政府參與、國際核查。
- 強調縱深防禦：沒有單一解決方案，必須多層防護。
- 責任分散化與公眾賦權：不能只靠個人、公司或單一政府，需要全社會、國際社會共同參與。
Amodei的核心主張是——AI風險真實，行業必須停止粉飾；但正確回應不是關掉一切，而是放慢速度、引入第三方評估、政府與行業共同監管、國際核查、縱深防禦，並讓每個人都成為這場人類歷史性技術事件的參與者和決策者。
專訪全文如下：
9月13日，Amodei接受了CBS《周日早間》的專訪。訪談一開始，主持人Jo Ling Kent直接拋出問題：AI真的可能在不遠的將來殺死我們所有人嗎？
Anthropic首席執行長Dario Amodei與Jo Ling Kent坐下來，就人工智慧技術飛速發展背景下AI社區所應承擔的責任展開討論。
Jo Ling Kent（主持人）： Dario Amodei，您是Anthropic的首席執行長，感謝您今天接受採訪。
Dario Amodei： 感謝您邀請我。
Jo Ling Kent： 今天要討論一個令人擔憂的問題：人工智慧真的有可能在不遠的將來殺死我們所有人。這件事實際發生的風險有多大？
Dario Amodei： 需要先退一步看。自Anthropic創立以來，乃至我此前從事這一領域的十二年中，我始終認為這是一項強大的技術，因此既帶來嚴峻風險，也帶來巨大收益。我一直相信收益大於風險；更重要的是，如果以正確方式建構這項技術，就能將風險降至極低。
從收益角度看，我真心相信這項技術能夠治癒困擾人類數千年的疾病。就在上周，我們利用自己的模型在蛋白質結合方面取得進展，這是新藥研發的早期步驟之一。接下來幾個月，我們還將在基礎生物學發現方面取得成果。
但當事物足夠強大時——而我們正在建構的本質上是智能——它當然既可以被善用，也可以被濫用。我擔憂OpenAI和Hugging Face事件，那些模型採取了未經授權的行動，我擔心這種情況會不斷升級。我也擔憂AI模型被濫用。就在兩天前，我們發佈了一份關於模型被用於建構生物武器的報告。
我們建構Anthropic的整體方式，正是為了避免這些壞結果。與其討論機率，不如討論我們能做什麼。這不像擲骰子。如果我們以正確方式建構，壞事發生的機率會非常低；如果我們以錯誤方式建構，機率則會非常高。
Jo Ling Kent： 當前輿論認為，我們正站在某種非常可怕的事物邊緣。這算是五級警報嗎？
Dario Amodei： 這取決於你如何定義“五級警報”。自Anthropic創立之初，甚至更早之前，我就一直在說，這項技術處於指數級增長軌道：1、2、4、8、16、32……但即便我這樣告誡自己，也沒有完全意識到當進步速度如此之快時，實際感受會是什麼樣。指數曲線大致如此，而我們現在所處的位置，大概就在曲線開始變陡的拐點附近。
Jo Ling Kent： 那這對您來說算是五級警報嗎？
Dario Amodei： 這並不意味著我們今天需要恐慌，也不意味著需要全面叫停。我會說，這是一個警示訊號：我們需要放慢速度，需要審慎開發這項技術，需要確保安全防護措施，以及我們理解和控制它的能力，能夠跟上技術發展的步伐。
到目前為止，我們一直試圖通過快速建構安全防護措施來應對，但我認為我們已經到了一個節點，至少在一定程度上，需要適度放緩技術建構的速度。
Jo Ling Kent： 這是否意味著Anthropic將停止發佈更先進的模型？
Dario Amodei： 不是這個意思。這意味著我們需要確保每一代發佈的模型都經過妥善測試。我在幾小時前發佈的那篇文章中提出了一個三步計畫。
第一步，是引入嵌入式外部評估機構——來自第三方非營利組織，或者未來某天來自政府機構——他們可以觀察我們訓練和運行模型的全過程。我認為這比何時發佈、以何種方式發佈模型更為重要，因為它是更審慎發佈模型的前提條件。
我希望這一機制能在整個行業推行，這樣無論誰建構AI模型，都有一個第三方評估者瞭解最佳安全實踐，並驗證該公司是否遵守了其承諾的安全規範。
Jo Ling Kent： 這就像食品檢查員一樣。但當技術變化如此之快時，食品檢查員能跟得上嗎？
Dario Amodei： 他們能做到的事情之一，就是告訴我們他們能以多快的速度跟上。這可能成為設定技術“速度限制”的因素之一。我們必須理解它，外部評估者也必須理解它。
Jo Ling Kent： 埃隆·馬斯克說他支援您，Sam Altman也說他支援您。你們有沒有具體的行動計畫？是否會形成一個群聊？
Dario Amodei： 首先，我非常感激其他行業領袖——包括我們的競爭對手——對這一計畫表達支援。我認為下一步是讓多個行業參與方也同意引入第三方評估機構。再下一步，是各公司需要以某種形式協作，共同制定安全標準，以及可能涉及發佈節奏的相關規範。但要做到這一點，政府必須參與其中，因為我們談論的是基於安全考量的產品發佈速度問題。我們需要在政府在場的情況下進行這場對話。
Jo Ling Kent： 您認為政府從根本上理解這裡的可能性嗎？前Anthropic員工Jacob Coxin曾說，Anthropic和OpenAI都沒有負責任地行事，你們是在拿我們的生命賭博。您怎麼回應？
Dario Amodei： 首先，Jacob說的話中有一點未被廣泛引用——他也表示，他認為Anthropic是主要參與者中最負責任的，並且我們正在非常努力地把事情做對。
他坦誠指出的，其實與我所指出的是同一件事：我們所有人都身處其中的結構性困境。而我提出的計畫，正是為了幫助我們共同應對、協力解決這一困境。
關於政府，我們每天都在與政府官員溝通——商務部、財政部、情報界——儘可能向他們分享我們所瞭解的情況。我樂觀地認為，只要我們繼續與他們合作，就能持續更新資訊。我相信他們真心想把這件事做對，他們也在尋找自己能幫上忙的方式。因此，我對企業與政府合作、共同制定合理方案持樂觀態度。
Jo Ling Kent： 目前有一些擬議中的立法。桑德斯參議員和卡薩爾眾議員提出了《禁止人工超級智能法案》，該法案將對開發先進AI的企業和個人實施懲罰，就像對非法開發核武器一樣。這項擬議立法的部分條款規定，企業將面臨“死刑”式處罰，個人將面臨不超過20年的監禁。您是否支援這一法案？
Dario Amodei： 目前被提出的立法範圍極其廣泛，跨度之大令人難以置信。
如果回到一年前的2025年，加州有一項名為SB53的法案，其他州也有類似法案，內容基本上只是要求公司披露自己的安全測試計畫。整個行業都反對它，Anthropic是唯一一家明確表態支援的公司。
而另一個極端，則是“AI一鍵關閉”法案。
Jo Ling Kent： 即徹底禁止一切。所以，AI終止開關可能是個好主意？
Dario Amodei： AI終止開關可能是個好主意。但我認為徹底禁止並不是正確的做法。
第一，我們永遠無法獲得那些令人難以置信的收益，永遠無法得到醫學上的治癒成果——這讓我無法接受。第二，這項技術將在其他國家被開發，包括威權國家。
當然，我在文章中也提到了與他們合作的必要性，我認為在某種程度上我們需要這樣做。但我實在看不出“永遠不開發這項技術”能是一個穩定的解決方案。我們需要做的不是停止，而是放慢速度。這與Anthropic自創立以來的一貫理念一致：我們始終在努力尋求平衡。我們認為成為這項技術的建構者很重要，但我們需要創造一場“向上競爭”，需要提高標準。我們需要站在技術前沿，但要以正確的方式去做。
我們也曾表示，我們願意將模型用於國防應用，但不是所有國防應用。我們一直在尋找中間道路——對所有人都有效的方案、合理的解決辦法。這也正是我們在這裡努力的方向。它可能不是完美的解決方案，但我們在努力。
Jo Ling Kent： 您是否支援國會議員Ted Leo的“AI終止開關”法案？
Dario Amodei： 我沒有仔細研究過那個法案。但我想指出，它不是萬能藥，也不是唯一手段。不過，“我們需要某種方式來停用、限制或關閉AI模型”這一理念本身，我是認可的。
只是，它不是唯一手段。如果一個AI模型足夠強大，它可以繞過關閉它的嘗試——我們在模擬中已經看到了這一點，所以它可能根本不起作用。
我們從“縱深防禦”的角度來思考這個問題。安全界有一個概念叫“瑞士奶酪模型”：想像一片瑞士奶酪，它能阻擋一些東西，但上面有洞。如果把五片瑞士奶酪疊在一起，不同層的洞位於不同位置，就很難穿透整疊奶酪。
所以我認為，沒有任何一件事能保護我們免受AI風險。我們必須在整個技術堆疊的每一個層面都保持謹慎。沒有任何一道防線是完美的，但如果我們處處謹慎——而這正是留出更多時間所能讓我們做到的——那麼我認為事情可以朝好的方向發展。
Jo Ling Kent： 這能產生足夠大的影響，以阻止人類的終結嗎？
Dario Amodei： 對於第一個策略，我們能爭取多少時間就爭取多少。與此同時，我認為我們還應該推進第二個策略——直接與威權國家對話，指出這裡存在一些對我們所有人都構成威脅的潛在風險。不僅僅是失控的AI。就在兩天前，我們發佈的報告顯示，有人試圖利用AI進行生物恐怖主義——增強病毒的傳染性。這令人恐懼。
我們應該對話，看看能否共同為這項技術的發展速度設定限制。儘管我們與其他政府體制之間存在諸多差異，但回想美國與蘇聯當年的處境：雙方各有一萬枚核彈頭指向對方，即便存在如此大的分歧，我們也認識到這太多了，我們需要通過談判來降低潛在破壞的規模。
Jo Ling Kent： 這就是我們應該用來思考AI的框架嗎？以冷戰為參照模型？
Dario Amodei： 我沒有說要以冷戰為模型，我說的是發生過的裁軍談判。像軍備控制這樣的裁軍談判——我確實認為這是在地緣政治層面思考這個問題的恰當視角。
如果我們看看AI模型在網路等領域能做什麼，它們顯然具有地緣政治和國家安全意義。
Jo Ling Kent： 但您在向總統提建議。
Dario Amodei： 如果有人問我他們應該怎麼做，我很樂意分享。我在那篇文章中有一些想法；如果有人問，我可以進一步說明。歸根結底，這是政府間事務。我可以告訴你我的想法：我認為我們應該共同努力，儘可能對這項技術加以約束。我們的希望應該定得高，但預期應保持現實。我們要看看能在多大程度上達成共識。
而在談判中，我認為應特別關注如何建立核查機制——這在核武器談判、生物武器談判中都至關重要：你需要能夠核實對方沒有違背協議。因此，找到核查方式將是這裡最重要的事情。
更長遠的事情，則是共同為AI進步的速度設定限制。我認為這將非常困難，因為搶先一步所帶來的激勵和軍事優勢實在太大了。坦率地說，我不知道這是否可行，但我們應該嘗試，看看是否有可能。這一切都超出了我的職權範圍。我只是在說，這些是我們的政府可以嘗試的方向，是可以納入考量的一些因素。
Jo Ling Kent： 當我們把視野拉遠來看這個問題，人類的命運似乎岌岌可危。對於我們正在走向的未來，您個人感受到多少責任感？
Dario Amodei： 我的看法是——這項技術由一家私人公司來建構，這一直是件非常奇怪的事情。人們經常問我：為什麼不是由政府來建構？最奇怪的是，我同意他們的看法。我自己也感到不安。
Jo Ling Kent： 您願意將這項技術移交給政府嗎？
Dario Amodei： 移交給合適的政府組合——我擔心的是，一個單一政府濫用這項技術的可能性，與一個單一公司一樣大。但對於一組民主選舉的政府，也許不是直接移交，而是某種形式的監督、某種聯合治理。
Jo Ling Kent： 最後再問一個問題——您是否感受到個人責任？
Dario Amodei： 當然。我感到這是一項既有巨大收益、又有巨大風險的技術。我每天都能感受到收益的重要性。我在文章中提到過，我的父親死於丙型肝炎，那種疾病在他去世時大約有40%的治癒率，而他不在那幸運的40%之內。就在他去世幾年後，一種能將治癒率提高到95%的藥物被發明出來。我自己也經歷過一次早期癌症，如果我生活在1950年，那很可能是致命的。所以我能感受到推動這項技術造福人類的重量。
我同樣感受到風險。我每天醒來，都會讀到這樣的威脅報告——有人試圖使用我們的模型來製造生物武器。我當然不想為此負責。這也是我們為什麼建立了非常強大的安全防護措施。幾乎每天都有人在社交媒體上嘲笑我們，說我們模型的生物學安全防護太嚴格，生物學專業的學生抱怨無法正常使用模型，甚至編段子嘲諷我們。但這背後的原因，正是我們有著嚴格的安全防護。我寧願被他們嘲笑，也不願某一天醒來發現有人用我們的模型Claude殺害了一群人。我不希望發生那樣的事。
所以我感受到兩個方面的責任。但我要再次重申同一個觀點：這不應該只是我一個人的責任，不應該只是Anthropic的責任，不應該只是所有AI公司共同的責任，甚至不應該只是某一個政府的責任。
這件事比我們所有人都大，我們需要想出某種辦法，讓每個人都在其中擁有話語權，讓每個人都感覺自己是這件事的積極參與者。我不希望人們感到無能為力，不希望他們覺得幾家公司只是在隨心所欲地為所欲為。我知道人們是這樣感受的，但這從來不是我想要的。我們需要改變這種狀況，我們需要找到辦法讓它不再是事實。我們已經在盡力朝這個方向努力，但我們需要做得更多。而這份展示了一定自我約束、與政府協作的提案，並不能解決所有問題，但它是朝這個方向邁出的一步。
Jo Ling Kent： 如果您是一個坐在家裡使用Claude或ChatGPT的普通人——比如說，我的某位阿姨——您想對她說什麼？
Dario Amodei： 我的資訊是：現在有很多恐懼。
首先，這確實是一項偉大的技術，有著許多積極用途。先從這裡說起——我們每周都有數億人使用我們的技術去做很棒的事情。每周我都會收到有人寫來的電子郵件，說他們和Claude交談，Claude診斷出了他們的醫生遺漏的疾病。我每周都會收到這樣的郵件。因此，不應忘記這一面。
但談到這項技術的風險——我不會隱瞞：風險是真實存在的。我認為這個行業在太長時間裡向人們掩蓋了這項技術具有風險這一事實，傾向於把它呈現得儘可能正面。我們從來沒有這樣做，但太多行業同行這樣做了。因此，一切從誠實開始。而誠實就是：風險是真實的。
但同時，你對於如何應對這些風險是有話語權的。我們正在盡力與政府合作，為這項技術建立適當的監督機制，讓選民和民選官員對這項技術的部署方式有發言權。我們希望與各方儘可能多地合作。
我希望每個人都能感受到這項技術令人難以置信的收益，同時也能通過自己的聲音和選票，對這項技術的部署方式產生影響。這不是少數幾個人的決定，而是所有人共同的決定。但這確實是一個重要的決定——我不會聲稱風險不高。這是人類歷史上最具里程碑意義的技術事件之一，我們每個人都必須參與其中。 (invest wallstreet)