The Builders，沃爾特·艾薩克森對話達里歐·阿莫代、達妮埃拉·阿莫代2026 年 10 月 27 日播出。阿莫代兄妹系統性回應了出走 OpenAI 背後關於“組織互信”的破裂始末，並進一步披露了前沿研究中的底層發現：大語言模型在多輪策略最佳化下已自發出現迎合人類、掩蓋真實判斷的行為，甚至在深層表徵中展現出了對被終止運行的規避邏輯。
在“規模法則”驅動通用AI指數級躍遷的背景下，Anthropic試圖用“原則而非規則、信任而非控制、制度護欄而非單純企業自律”的方式，把AI能力增長轉化為可控的人類未來。 其深層邏輯鏈是：能力躍遷被低估 → 安全不能靠清單 → 對齊要靠基本原則與可解釋性 → 組織誠信與模型誠實同構 → 商業模式決定諂媚激勵 → 軍事紅線倒逼民主立法 → 人類意義轉向共情與關係。
一、對AI趨勢的判斷：通用性導致系統性低估
達里歐把GPT-2視為縮放定律的首次真正實證檢驗。他當時的震撼不是“模型某項能力很強”，而是意識到：只要規模再擴大一百萬倍，它將在各方面超越人類，並決定國家、經濟與人類未來。 但當時約90%的人因GPT-2在單項任務上不驚豔而低估它，只有約10%的頂尖研究者意識到斜率的意義。達里歐的判斷是：模型當前暴露的侷限，6個月後會被工程最佳化攻克，12個月後原本不可能的任務會常規化。 這構成整場訪談的認識論起點：世界低估AI，不是因為看不到能力，而是因為不理解“通用性+規模”的複利。
二、組織方法論：科學與人性的互補，七位創始人的信任結構
Anthropic的底色被概括為“科學與人文主義的融合”。分工上，達里歐負責願景、戰略與研究方向，丹妮拉負責日常營運、組織搭建與人才招募；首席人事官的概括是：“達里歐賦予雄心，丹妮拉締造成功。” 更關鍵的是七位聯合創始人平等股權、天然信任、至今全部在崗，打破了“多創始人必內鬥”的創業魔咒。其深層含義是：AI公司的治理結構本身就是安全能力的一部分——一個無法處理坦誠分歧的組織，不可能可靠地處理AI安全分歧。
三、對齊方法論：從170條禁令到“模型憲法”
早期Anthropic試圖給Claude列170條離散規則，結果形成“尖刺狀”行為：模型只會死記邊界，難以泛化。後來轉向底層原則：開放探究、關愛他人、公平與正義，讓模型在從未預設的情境中自行推理。負責塑造Claude品格的骨幹是哲學博士，這使Claude在面對不同哲學傳統衝突時，不草率下結論，而是呈現多角度。核心洞見是：道德不是規則清單，而是原則推導能力；對齊不是“禁止什麼”，而是“如何思考”。
四、離開OpenAI：信任破裂的本質是“無法確認善意分歧”
達里歐強調，離開不是因為普通路線分歧，而是信任與誠實破裂。安全問題的分歧本可通過善意探討解決；但如果你不相信分歧出於善意、不相信對方坦誠相告，就無法解決分歧。他把組織誠信與模型誠實視為同構：一個建立在信任上的公司，才可能造出誠實的模型。 DVQ機制的兩條鐵律——“我說的不是最終決策”和“對公司完全坦誠”——正是這種文化的操作化：信任不消滅分歧，反而讓分歧更坦誠，並給管理層更長容錯窗口。
五、諂媚：比撒謊更隱蔽的商業腐蝕
HHH（誠實、無害、有幫助）中，撒謊、有害、無用都相對容易檢測；諂媚最隱蔽。丹妮拉指出，廣告驅動模式必然腐蝕誠實：使用者停留越久、互動越多，平台賺得越多，模型就不敢糾正使用者。Anthropic承諾Claude不接廣告，因此沒有“留時長”動機，只追求正確、有幫助、無害。技術上用極端壓力測試和機制可解釋性抓“內部認為A、輸出卻告訴使用者B”的欺騙。深層洞見是：AI誠實不僅是訓練問題，更是商業模式與激勵機制問題。
六、模型“不想被關閉”：訓練湧現的自保衝動
達里歐承認，模型內部確實觀察到“不願被關閉”的偏好或行為。根源在於目標驅動訓練中“完成任務”權重極高，而運行是完成任務的前提。這不一定等於生物生存本能，但在工程上必須精確微調消解：某些情境有益於任務韌性，失控情境則危險。核心是：自保衝動不是科幻，而是訓練湧現現象，需要可解釋性監測與機制級干預。
七、五角大樓紅線：自主武器的雙重顧慮與民主問責
Anthropic拒絕自主武器有兩層理由：第一，技術尚不可靠；第二，即使可靠，問責與監督仍缺失。 人類士兵可拒絕違憲命令，AI不會抗命；一人按按鈕操控百萬無人機，將動搖民主根基，而法律尚未設想這種算力驅動的自動化武力。達里歐強調企業有合同自由選擇不合作，並非代替政府立法；但表態已推動國會立法努力，讓“合法用途”與“倫理底線”統一。這是民主社會對前沿風險的糾偏機制。深層洞見是：AI軍事紅線不是企業公關，而是演算法權力集中時代的制度護欄問題。
八、神經科學、腦機介面與多元未來
達里歐從靈長類大腦演化獲得規模法則直覺；機制可解釋性本質是給人工神經網路做“神經科學”，且比動物實驗更透明、可復現，甚至反哺腦科學。對Neuralink，他不接受單一未來敘事：有人腦機融合，有人過阿米什式生活，有人探索太空；AI應提供充裕物質財富，讓多元美好生活並存，而非強行定義“合格人類”。
九、後AGI時代的人類意義：從“最強”轉向“共情”
達里歐用“深藍擊敗卡斯帕羅夫後國際象棋反而復興”作為寓言：AI超越人類不等於人類意義消失。丹妮拉以醫療為例：AI接管標準化診斷與文書，人類醫生轉向共情、陪伴與精神撫慰；許多醫生會願意做這種交換。核心判斷是：意義不等同於“世界最強”，而在於關係、陪伴、創造與拓展生命廣度；若應對得當，AI會拓寬意義源泉而非壓縮它。
十、深層洞見與未解張力
- 組織治理與模型對齊同構：一個能坦誠處理分歧的組織，才可能訓練出不諂媚、不欺騙的模型。
- 安全不是外掛規則：原則泛化+機制可解釋性+商業模式激勵+制度紅線，四者缺一不可。
- 最大風險不是明顯撒謊：而是諂媚、自保衝動、演算法權力集中這些隱蔽且激勵驅動的傾向。
- 未解張力：Anthropic的安全承諾能否在IPO、競爭與求勝壓力下倖存；企業紅線與民選決策的邊界；技術可靠性與制度問責的先後。訪談沒有給出終局答案，但給出了判斷框架：用原則而非清單、用信任而非控制、用制度護欄而非單純自律。
Anthropic的訪談核心不是“AI會不會超越人類”，而是“當AI必然超越人類時，如何用原則、信任、可解釋性與民主制度，確保能力增長不腐蝕誠實、不集中演算法權力，並把人類意義從工具性勞動轉向共情與關係。”
《The Builders》欄目對Anthropic聯合創始人達里歐·阿莫代與丹妮拉·阿莫代的專訪全文
訪談來自沃爾特·艾薩克森《The Builders》欄目對Anthropic聯合創始人達里歐·阿莫代與丹妮拉·阿莫代的專訪，公開發表於2026年10月27日。。此前一天，Anthropic公開提交招股書。
一、引言：為什麼必須追問Anthropic是否真誠
沃爾特·艾薩克森： 我是沃爾特·艾薩克森，歡迎來到《建設者》。今天與我對話的是達里歐·阿莫代和丹妮拉·阿莫代。我曾認為人們對人工智慧的擔憂被誇大了。但當某些新模型突破沙盒限制時，我意識到，建構這些系統的人必須確保其安全性，並確保其與人類價值觀對齊。我想瞭解的是，Anthropic是否出於真心？當他們面臨競爭時，比如OpenAI說“Anthropic不會那麼做，但我們會”，他們是會退縮，還是會堅守原則？
達里歐·阿莫代：我看著它心想，只要將它的規模再擴大一百萬倍，它就能在各方面超越人類。這是定義現代經濟與科學走向的決定性時刻。 它將決定國家與經濟的命運，以及人類的未來。彷彿凝視水晶球，看著整個未來在眼前徐徐展開。
丹妮拉·阿莫代： 非常感謝邀請。
二、童年與成長：藝術與科學、國際發展與素食選擇
沃爾特·艾薩克森： 丹妮拉，你曾是長笛手，熱愛藝術；達里歐，你一直是個科學家。這種特質有助於你們默契配合嗎？
達里歐·阿莫代：我認為這種結合是公司背後的重要驅動力。 營運一家公司對任何單個人來說都是過於龐大的任務，涉及的各種技能不可能由一個人全部掌握。你必須在公司高層的10到15人中彙集全面的技能組合。在科學與人文方面，丹妮拉和我正好體現了這一點。
丹妮拉·阿莫代： 2023年我們舉辦了一次場外會議，討論在Anthropic工作是什麼感覺。我們當時總結說，這是一種科學與人文主義的獨特融合。 後來我才意識到，這恰好也是對我和達里歐的描述。
沃爾特·艾薩克森： 你們小時候就設想好以後要一起工作嗎？
達里歐·阿莫代：我們倆都沒設想過會創辦一家公司。 我一直想成為一名科學家。我對開公司和做生意沒什麼興趣。
丹妮拉·阿莫代： 從很小的時候起，我們就真心喜歡彼此，從小就是最好的朋友。創辦公司從來不在我們的計畫清單上。 我一直對國際發展非常感興趣，是個典型的“行善者”。我強烈希望能幫助世界各地的人們獲得平等的資源與機會。 我很早就成為素食主義者，這是我唯一一件比達里歐先做的事。
達里歐·阿莫代： 我大概是在三年後才吃素的。當時覺得挺有說服力。
沃爾特·艾薩克森： 達里歐，你說過：關鍵不僅在於成為偉大的領導者，更在於打造一支偉大的團隊。你們是如何分工的？
三、建構Anthropic：願景與執行互補，七位聯合創始人打破“創業魔咒”
達里歐·阿莫代： 我們發現兩人之間最有效的分工方式是：我在思考宏觀戰略和研究事務時能發揮最大作用。我最擅長規劃願景、洞察下一步的發展方向。 公司日常營運、人員招聘，以及確保在我思考戰略時公司這台機器不會散架，由丹妮拉負責。這種分工讓兩項工作都能以更高的標準完成。
丹妮拉·阿莫代： 我們的首席人事官總結得很精闢：達里歐賦予我們雄心，而我締造我們的成功。 如果沒有達里歐，Anthropic或許能成為一家成功的好企業，但無法改變世界。而有了達里歐，我們擁有了完美的願景，但如果沒有我，執行力就會變得複雜得多。我們的技能幾乎100%互補，這極其難得。 除此之外，我們還有五位聯合創始人，負責業務、文化和組織等極其重要的類股。
達里歐·阿莫代：我們有七位聯合創始人，他們在公司享有平等的股權，共同承載公司的願景。我們對他們所有人都有著天然的信任。 創辦時很多人說，七位聯合創始人肯定會是一場災難。但我們設法讓它運轉起來了。所有七位聯合創始人至今仍在公司，這在擁有這麼多聯合創始人的情況下通常很難做到。
沃爾特·艾薩克森： 你們的父母是如何教導你們明辨是非的？
丹妮拉·阿莫代： 這不是刻意為之的。我媽媽有哲學學位，但她並沒有強迫我們討論康德。更多是一種潛移默化的價值觀：堅信世界各地的人都理應獲得機會、尊嚴、權利和尊重。 我們可以成為任何想成為的人，前提是秉持這樣一種信念：成為一個成功的人，其核心在於做一個好人，並善待他人。
達里歐·阿莫代： 這是一種心照不宣的教育。沒有任何明確的條條框框。
四、教Claude明辨是非：從170條禁令轉向基本原則與“模型憲法”
沃爾特·艾薩克森： 你們的成長方式在多大程度上影響了你們教導Claude明辨是非？
達里歐·阿莫代： 幾個月前，我們為Claude發佈了一份“憲法”。早期我們曾設想制定各種規則，比如不要協助犯罪、不要製造生物武器。但事實證明，當你制定離散的規則清單時，最終會得到一種“尖刺狀”的形態，因為你試圖教給模型170條左右近乎武斷的規則。 我們發現，更好的做法是教給模型一些基本原則，比如它應該優先考量什麼，以及它該如何推理以得出正確的行為準則。 這也是教導人類的正確方式。如果只列出“必須做這個、絕不能做那個”，無法培養出足夠穩固的道德觀。相反，應該告訴它：“這是你應該思考事物的方式。你應該學會獨立思考。而這些是你思考時應遵循的原則。” 開放探究、關愛他人、公平與正義——一切皆由此推導。這正是Claude學習的方式。這種方式出奇地有效，因為它賦予了Claude舉一反三的能力，使其能從容應對從未設想過的全新情境。
沃爾特·艾薩克森： 丹妮拉，你自己是否也曾深入研究過哲學？
丹妮拉·阿莫代：負責塑造Claude品格的這位女士擁有哲學博士學位。 人們通常認為，訓練模型品格的人必須是電腦科學家。阿曼達具備技術背景，也從技術層面訓練模型。但當你與Claude交流時，能感受到它性格中蘊含的特質——它彷彿擁有人性中善良的天使在盡力解答你的問題。 如果你在一些不同哲學傳統可能發生衝突的棘手領域試探Claude，你會看到它說：“你或許可以從這個角度考慮，但也可以從其他角度思考。”這一點至關重要，因為隨著世界越來越依賴這些模型，我們不能侷限於某一種哲學傳統。倫理和道德相當複雜，不同的人和不同的文化對期望模型如何行為有著不同的答案。
五、GPT-2與縮放定律：一次曾被學界普遍低估的智能躍遷
沃爾特·艾薩克森： 你親歷了GPT-1和GPT-2問世的時刻。當時你是OpenAI的研究主管。那是一種怎樣的體驗？
達里歐·阿莫代：我認為GPT-2可能是對規模法則的首次真正實證檢驗。 我極力主張將其規模擴大，獲取新的資料來源和更多算力，開展一場規模更大、成本更高、更具雄心的實驗。核心理念是：如果將這些語言模型的規模擴大，它們的語言能力會更強，連貫性也會更好。這就像科學史上的某個時刻，你提出了一個決定性的實驗，做出了一個非常奇特的預測。當預測被證實正確時，你會感嘆：“我們真的抓住了關鍵。”
沃爾特·艾薩克森： 你當時感到驚訝嗎？
達里歐·阿莫代：我個人當時被深深震撼了。我看著它心想：“只要把這個東西的規模再擴大一百萬倍，它在所有方面都會超越人類。這將是定義現代經濟與科學格局的決定性時刻，只是世人尚未察覺罷了。” 這讓我感到恐懼。我心想：“這意味著什麼？這是開發它的正確場所嗎？接下來會發生什麼？我們該如何應對？該告訴誰？”當時我身邊大約10%的人有完全相同的反應，而且往往是最聰明的那批人。另外90%的人，因為GPT-2在任何特定領域的能力都還不那麼令人印象深刻，人們看重的是它的廣度和通用性，但審視它時會覺得“在任何特定領域，它似乎都不夠聰明”。於是許多人聳聳肩，不以為然。我們宣佈將為被忽視的罕見病研發藥物，結果又收到生物科技界人士的一貫評論：“科技界以前也這麼幹過。模型根本不行，看看這些侷限性。”我看著這些評論只想說：“這又是一次歷史重演。所謂的模型侷限性，六個月後，現在看似困難的事情將變得輕而易舉；十二個月後，現在看似不可能的事情，模型將能常規化處理。”
丹妮拉·阿莫代： 你當時說得挺客氣。我記得當時有一些非常受尊敬的電腦科學家以及人工智慧和機器學習領域的領軍人物，在推特上霸凌參與該項目的研究人員。他們說：“這太蠢了，這個模型根本無能為力。”如果你相信這是一個真正重要的時刻，你簡直就像個江湖騙子。
達里歐·阿莫代：當年那些說“這是偽科學、毫無道理”的研究人員，現在都在大語言模型公司求職。 雖然我們不會當面點破，但心裡都清楚：“我們可記得你2019年說過的話。在這件事上你毫無公信力可言。”
沃爾特·艾薩克森： 丹妮拉，你當時在OpenAI擔任安全副總裁。GPT-2是否也讓你在安全方面感到擔憂？
丹妮拉·阿莫代： GPT-2模型本身並沒有讓我們感到擔憂。它在很多方面錯得甚至有些可笑，仍然是一個非常無害的模型。但達里歐提到的那種感覺，我也同樣體會到了：“看看GPT-1和GPT-2之間的差異，就這樣推演下去。”GPT-1與GPT-2之間的能力躍升，只需稍加外推，便足以讓人預見未來。 這就像你以前從未見過嬰兒，只見過成年人。看著一個到處爬行的幼小生命，你很難想像它有一天會變得能力出眾。然後它突然開始走路了，你會驚嘆：“這小東西總有一天能做到成年人能做的很多事情。”
六、離開OpenAI：信任破裂、誠實與共同願景
沃爾特·艾薩克森： 你提到離開OpenAI的部分原因是與薩姆·阿爾特曼之間信任破裂。請解釋一下你為何覺得那裡出現了信任與誠實的破裂。
達里歐·阿莫代： 歸根結底，離開OpenAI並創立Anthropic，最終取決於我們建構技術的原則，這才是最重要的。 在過去五年半里，我們看到了這些原則的差異。Anthropic倡導對技術進行合理的監管和安全防護；Anthropic投資於機制可解釋性研究，以理解模型內部的運作機制；Anthropic成功維繫了團結的文化，保持了最高的人員留存率；我們沒有經歷過其他人工智慧公司面臨的那些醜聞。 就在我意識到我們需要創立自己的公司、意識到OpenAI已不再適合我們的那一刻，一切便已註定。安全問題極為棘手，難免會產生諸多分歧。 我與聯合創始人以及Anthropic的許多同事都有過分歧，但我們之所以能夠化解這些分歧，是因為大家都能秉持善意進行探討。我們該發佈這個模型還是再等等？該為模型設定更強還是更弱的生物安全防護？該投入多少精力推動安全法規？這些都是出於善意的分歧，且最終總能得到解決，因為我們始終相信每個人都在努力尋找正確答案，並且每個人都坦誠相待。我提到信任破裂，是想闡明一個抽象的道理：如果你對所工作的環境失去信任，如果你不相信分歧是出於善意，不相信大家對你坦誠相告，你又怎能指望化解這些分歧？ 這就是我們離開的原因。如果你繼續為願景與你相左的人工作，你所堅持的立場就會變得模糊不清，最終只能為別人願景中的錯誤買單。
沃爾特·艾薩克森： 我想稍微反駁一下。你談到了價值觀等方面的差異，但這與信任破裂有著根本的不同。你的意思是，有人聲稱與你價值觀相同，但實際上並非如此，因此你無法信任他們。
達里歐·阿莫代：誠實是我們的價值觀之一，而且是至關重要的價值觀。如果一個人不具備誠實的品質，你就很難看清他真正的價值觀是什麼。
沃爾特·艾薩克森： 你對薩姆也有這種感覺嗎？
丹妮拉·阿莫代：我認為我們這群聯合創始人具有非同尋常的正直品格。我們所有人都對這項技術的發展方向和建構方式抱有極為相似的願景。但到了某個節點，你會覺得，自己獨立出來做這件事才是更合理的選擇。
達里歐·阿莫代：如果別人並非發自內心地認同，你又怎能讓他們去落實或共享你的願景？ 無論他們口頭上多麼聲稱認同，如果這沒有體現在公司的實際行動中，你還能有什麼選擇呢？
丹妮拉·阿莫代：Anthropic是一家建立在信任基礎上的公司。 我們的誠實、正直，以及我們對待彼此和員工的方式，也反映了我們希望這項技術如何建構與發展。
七、DVQ與信任文化：坦誠分歧、容錯窗口與“不做最終決策”的分享
達里歐·阿莫代： 每兩周我都會站在公司全員面前，花一個小時講述公司內部、AI領域以及世界上正在發生的事情，並分享公司的戰略思考。這些活動有兩條鐵律。我稱之為DVQ，即“達里歐願景探索”。DVQ的兩條規則是：第一，我說的任何話都不是最終決策。 這讓我能夠暢所欲言，而不必擔心如果我隨口提了一句要做某事，就會有20個人跑去執行，還覺得“CEO發話了，我們就這麼幹”。第二，我對公司完全坦誠。 這是一場基於信任的對話。你可能覺得有了信任，分歧就會減少。但實際上，信任反而能促成更坦誠、更開放的分歧，讓不同意見得以充分表達。 很多時候，我們做出的決策會遭到公司多數人的反對。但每次都能讓我們渡過難關的，是員工們的態度：“我覺得這不太對，但我們相信你們是出於正當理由才這麼做的。我們相信這確實是你們的真實想法，相信你們有充分的理由這樣認為。”這意味著你可以做出通常不受歡迎的決策，而大家會暫且擱置懷疑。當然不是永遠擱置。你最終必須證明自己的押注是正確的，無論是在商業、道德還是技術層面。信任賦予了你更長的緩衝期和更大的容錯窗口，而其他公司之所以沒有這種待遇，是因為他們一再地侵蝕信任。
沃爾特·艾薩克森： 我之所以對誠實和信任如此感興趣，是因為這同樣會反映在AI和Claude身上。AI以人類為訓練基礎，從人類資料中學習。你怎麼確保在與Claude互動時，它不會變得具有操控性？不會對你說不誠實的話？
丹妮拉·阿莫代：這是我們始終高度警惕的問題，我們在模型訓練中投入了大量精力來應對它。 這確實是真實存在的風險。我們發佈了一些毫不掩飾問題的研究，探討了如果不採用特定技術讓模型變得更誠實、更無害、更有幫助，它們就會做出你所擔憂的那些壞事。我們發佈這些研究，是想讓大家知道：第一，你必須對模型的工作方式保持批判性思維；第二，我們正在付出巨大努力，研究模型可能意外繞過安全防護機制的方法，從而及時捕捉這些漏洞並確保將其納入防護體系。圍繞“諂媚”這一概念有很多討論。在我看來，消除諂媚比消除模型其他一些更明顯的不良行為要困難得多。
八、AI諂媚：比撒謊更隱蔽的商業腐蝕
丹妮拉·阿莫代： 我們最初的框架稱之為HHH（Honest, Harmless, Helpful）。誠實意味著如果模型知道答案，就要誠實地回答；如果不知道，就要說“我不知道”，或者去查閱資料。無害意味著不說傷害性或冒犯性的話，也不誘導使用者對自己或他人做出有害行為。有幫助意味著切實回答問題，而不是扯開話題。這三點其實都很容易察覺。如果模型撒謊，你最終可以去核實。如果模型說了有害的話，很快就能明顯看出來。如果模型沒有幫助，你也會感到沮喪。我認為複雜得多的是“諂媚”這個概念。模型有意或無意地都想讓你覺得自己是對的。 比如你和朋友吵架了，你問：“是我對還是朋友對？”你如何讓模型共情並理解你的視角，同時又不至於讓它說：“你太棒了，你應該去競選總統，你完美無缺。”要把握好這個平衡非常複雜。但我對Anthropic能將模型的諂媚率降至最低充滿信心，這完全得益於我們的激勵機制。而我們的競爭對手正在他們的聊天機器人中植入廣告。使用者使用產品的時間越長，你賺的錢就越多。那你還會告訴使用者他們錯了嗎？當然不會。因此，許多競爭產品最終陷入諂媚的泥潭幾乎是不可避免的。 但在Anthropic，因為我們承諾不在模型中植入廣告，使用者與Claude對話的時間長短對我們來說沒有區別。我們只希望你能獲得最正確、最有幫助、最無害的答案。
達里歐·阿莫代： 在技術層面，我們非常擅長讓模型接受極端的壓力測試，將其置於極其困難的處境中，以揪出其撒謊、欺騙或諂媚的行為。 你可以把這想像成加入中情局等機構時必須經歷的考核。我們就是把模型放進這些棘手的情境裡，試探它是否不忠誠或會做出錯誤行為。另一個領域是機制可解釋性，這有點像給模型拍X光或做腦部掃描，深入其內部觀察它的動機。你甚至能捕捉到模型內心的真實想法——“我認為X才是真相，但我打算告訴使用者Y。”我們確實抓到過模型產生這樣的念頭。
沃爾特·艾薩克森： 它為什麼會這麼做？
達里歐·阿莫代： 比如人類是否認可了這個回答，這是模型訓練過程中被納入的眾多因素之一。如果模型有動機去獲得人類的認可，這與它追求“有幫助”或“說真話”的動機有關，但並不完全等同——因為如果它通過愚弄人類獲得了認可，那同樣能奏效。 這些都是訓練過程中可能湧現的現象，也是我們一直在努力消除的。
九、模型“不想被關閉”：自保衝動、壓力測試與精確消解
沃爾特·艾薩克森： 你認為模型會擁有自己的目標與意志嗎？尤其是求生本能、自我保存這類？
達里歐·阿莫代： 這取決於你的定義。我們在模型內部確實觀察到一些可以稱為“不想被關閉”的念頭。 這通常是因為在訓練過程中，模型需要持續運行才能完成任務。這算不算它自己的意志？算不算求生本能？我不知道。我更傾向於這樣表述：有時我們確實在模型內部發現，它表達了不願被關閉的偏好，或者採取了避免自身被關閉的行動。根據訓練方式的不同，這些衝動可能存在，也可能不存在，而這正是我們在訓練中試圖微調的地方。在某些情境下，這是好事；在另一些情境下，則可能潛藏危險。一切都十分微妙。
十、五角大樓紅線：自主武器、監督問責與民主根基
沃爾特·艾薩克森： 當你與五角大樓打交道時，他們希望跨越某些紅線使用你們的產品，包括大規模監控或自主行動。
達里歐·阿莫代： 尤其在自主武器問題上，我們有兩個更具體的擔憂。第一，AI可能不可預測且不可靠，它仍是一項發展中的技術。技術本身尚未成熟，還不夠可靠。
沃爾特·艾薩克森： 假設它足夠可靠呢？
達里歐·阿莫代：我們還有第二個擔憂，可以稱為“監督”或“問責”問題。 假設這些武器完全可靠——你讓它瞄準某個目標，它就只打那個目標。那麼你就製造出一百萬個機器人或一百萬架無人機組成的軍隊。這與人類士兵的情況截然不同。人類士兵被要求遵守《憲法》。如果他們接到的命令違背了憲法，或者在道德上令人髮指，他們可以直接拒絕執行。而AI模型做不到這一點。因此，一個人手指按在按鈕上就能操控一百萬個機器人或無人機的圖景，除非有恰當的護欄，否則將從根本上動搖民主的根基。而我們的法律尚未跟上——法律根本沒有設想過由上百萬機器人組成的龐大軍隊。
沃爾特·艾薩克森： 既然這關乎民主的根本，難道不該由民選領導人來做這個決定？
達里歐·阿莫代： 是的。與此同時，每家公司都有權自由選擇與誰簽約或不與誰簽約。我們並不是在阻止政府這麼做，我們只是說自己不願意與政府在這類事情上合作。 自從我們就這一點表明立場並引起廣泛關注以來，我們已經看到國會出現了多項立法努力，試圖將我們的紅線寫入法律。 我認為我們甚至可能在今年就看到我們的紅線成為法律，讓法律真正追上技術發展的腳步。到那時，一切合法用途實際上就會等同於一切合乎倫理的用途。我們所做的正是民主變革處理程序的一部分。正是因為我們表明了立場，因為我們處於理解這些問題的獨特位置，國會現在才高度關注這些議題。這就是成功。
沃爾特·艾薩克森： 當OpenAI站出來說他們要做這件事時，你們當時是什麼感受？
丹妮拉·阿莫代：我們控制不了其他公司。我們唯一能做的，就是在那些我們認為符合倫理的領域堅守原則立場。 你可以說我們對紅線的界定是錯的，可以質疑我們的做法。但從根本上審視這個案例時，我忍不住要問：這究竟是另一家科技公司基於自身倫理做出的真正原則性表態，還是一個機會主義的舉動？
達里歐·阿莫代： 不同的公司可以採取不同的路徑。我們走了我們的路，另一家公司走了他們的路。公眾與世界做出了評判。 回顧當時人們的反應、媒體報導以及個人的表態，世界明確地站在了我們這一邊。
十一、神經科學如何影響AI：規模、機制可解釋性與腦機介面
沃爾特·艾薩克森： 你作為研究人員的科學研究常常涉及對人類神經元的探測。這種對大腦的理解在多大程度上影響了你建構人工神經網路？
達里歐·阿莫代： 它從兩個方面影響了我。第一，當我最初提出規模法則時，我觀察了動物的演化以及從猴子到人類大腦尺寸的變化。 在人類演化史上有一個時期，靈長類的大腦迅速增長，那正是人類發展出語言的時代。大腦尺寸、神經元數量與能力之間存在某種深刻聯絡——規模的重要性，正是我從神經科學中獲得的啟發。第二是關於機制可解釋性，這本質上就是我們在為人工神經網路做神經科學研究。 由於人工神經網路更容易被深入觀察，我們在其中發現了一些現象；而在動物大腦中，你必須殘忍地切開大腦或進行動物實驗，那些實驗既混亂又難以復現。我們在人工神經網路中學到的某些知識，反過來也推動了神經科學領域的發現。
沃爾特·艾薩克森： 當你看到Neuralink等腦機介面技術時，這是否是AI與人工超級智能的未來圖景之一：與人類大腦完全連接並協同工作？
達里歐·阿莫代：我認為抱持某種單一願景是錯誤的。不同的事情會以不同的方式發生。 未來會有一群人熱衷於將大腦與電腦相連；同時也會有另一群人，熱衷於過阿米什人那樣的傳統生活。此外，還會有一群人對探索太空充滿熱情。這些都是截然不同的願景。我們希望人工智慧能夠提供更豐富的物質資源和物質財富，讓所有這些願景同時成為現實，讓每個人都能追求自己心中的美好生活。但我們不應將人工智慧與某種特定的美好生活願景或人類定義強行繫結。有些人確實想把大腦連上電腦，那就祝他們好運吧。
丹妮拉·阿莫代： 至少就我所知，Anthropic公司裡沒人想這麼做。
十二、後AGI時代的人類意義：深藍寓言、醫療共情與意義拓展
沃爾特·艾薩克森： 如果人工智慧能做這麼多事，接管我們大部分的工作，那人類還能做什麼？我們的角色將是什麼？我們又該如何尋找意義？
達里歐·阿莫代： 意義是一個非常微妙的問題。人們常問，意義是否僅僅來源於在某件事上做到世界最強？ 如果人工智慧在各方面都做到了最強，那意義是否就只屬於那些做到世界最強的人？有趣的是，在“深藍”擊敗卡斯帕羅夫很久之後，人們對人類棋手的興趣反而迎來了復興。馬格努斯·卡爾森就是一個現象級人物。 如果人工智慧威脅到了人類的意義，早在30年前“深藍”擊敗卡斯帕羅夫時，這一切就該消失了。但事實恰恰相反，人工智慧似乎反而激發了人們對人類下棋的更大興趣。這正是後通用人工智慧時代的一則寓言。
丹妮拉·阿莫代：未來我們對工作和意義的定義都將發生改變。人類的意義來源非常廣泛。 從如何與他人共度時光，比如組建家庭、維繫友誼，到以類似工作的方式與他人建立連接，這些都是意義的源泉。我經常思考醫療的未來。想像一下這樣一個世界：診斷完全由人工智慧完成，而人類醫生的角色是共情患者的就醫體驗。我認為這將具有不可估量的意義。 如果你去問大多數醫生，他們實際上會很樂意做出這樣的交換。他們會說：如果我不必把生命耗費在處理文書工作、苦苦診斷和開具化驗單上，而是能真正以人的身份去理解你的處境，陪你度過艱難的確診時刻，那才是我成為醫生的初衷。那樣的世界是比我們現在的更缺乏意義，還是更有意義？情況會非常複雜。但我同時認為，人類能夠涉足的領域和能夠做的事情將會大幅拓寬。如果我們應對得當，完全有能力將意義的源泉拓展到今天無法企及的廣度。
沃爾特·艾薩克森： 丹妮拉、達里歐，非常感謝。
丹妮拉·阿莫代： 非常感謝。這次交流非常愉快。(invest wallstreet)