AI會不會真的殺死所有人類？
這是美國知名記者、播客主持人納伊瑪·拉扎（Nayeema Raza）在最新一期節目裡，直接拋給“AI教父”傑佛瑞·辛頓（Geoffrey Hinton）的問題。
作為諾貝爾物理學獎得主、AI先驅，辛頓從2023年開始公開警告AI風險。如今，他的擔憂正在從理論討論逐漸變成現實。
10月3日，辛頓在社交平台X上轉發了一篇由22位AI頂尖研究人員共同署名的論文《如果AI研發自動化引發智能爆炸？》（What if automating AI R&D triggers an intelligence explosion?），這是他首次正式參與遞迴自我改進（RSI）領域的學術研究。
論文關注的是一個越來越現實的問題：當AI開始參與下一代AI的研發，甚至能夠自己提出假設、設計實驗、寫程式碼、分析結果並繼續改進模型，AI研發速度會不會進入新的加速循環。
論文援引的內部資料已經出現明顯變化。Anthropic資料顯示，2025年1月，AI生成的獲批程式碼佔比還只有個位數，到2026年5月已經超過80%。2026年3月，Claude在僅接受高層次人類監督的情況下，可以自主完成約1%的內部AI研發工作，到8月已經升至26%。如果這種趨勢繼續下去，論文推演認為，在極端情況下，今天需要一年才能完成的AI技術進步，未來可能只需要大約5周。
拉扎的這場專訪，則把論文裡的問題進一步拉回現實：如果AI真的進化越來越快，人類該怎麼監管？政府還有多少時間？那些工作會留下來？孩子應該怎樣面對AI？如果AI最終比人類聰明，我們還應該讓它聽從人類嗎？
辛頓的回答並不總是悲觀。他認為AI很難被真正“叫停”，因為它已經擁有太多有價值的用途，也牽涉巨大的經濟利益。真正需要做的，是盡快建立能夠約束和引導AI發展的監管機制，同時把更多資源投入AI安全研究。
以下為辛頓最新專訪實錄，在不改變原意的情況下有所精煉：
01
AI已經開始參與“造AI”
拉扎：你從2023年開始不斷提醒人們AI的風險，現在幾乎所有頭條都在討論“AI會不會殺死人類”。這種變化對你來說，是一種驗證，還是更讓人沮喪？
辛頓：挺令人沮喪的，但至少現在人們終於意識到這裡存在一個很大的問題。我認為，最近發生的一些事情讓公眾真正開始重視它，比如OpenAI的智能體攻擊Hugging Face事件。
拉扎：你認為普通人有必要真正理解AI是怎麼工作的嗎？還是說，監管可以交給專家，普通人不需要懂技術？
辛頓：我認為理解它非常重要。我們正在創造一種新的存在，它和人類有很多不同，但在理解世界這件事上又和我們有相似之處。如果我們不知道它到底是什麼，就很難真正監管它。我最近寫了一本面向非技術讀者的書，叫《比AI我們更聰明》（Smarter Than Us），預計明年3月出版。其中一個目的，就是讓更多人理解AI是怎麼工作的，以及它可能帶來什麼風險。
拉扎：你最近參加了一場美國國會參議員的閉門會議，出來之後似乎比以前樂觀了一點？
辛頓：稍微樂觀了一些。不過參加會議的19名參議員本身經過了一輪篩選，大多數是民主黨人，所以不能完全代表整個國會。
會上有人提出，AI應該像藥物一樣接受監管。我認為這是一個很合理的方向。新藥不能由公司自己宣佈“我們已經檢查過了，很安全”，然後直接推向市場，而是需要經過FDA的審批，公司必須證明它符合安全要求，並接受獨立專家評估。我認為AI至少應該達到類似的監管標準。
拉扎：問題在於，建立一個類似FDA的機構需要很多年。AI發展卻非常快，等監管機建構立起來，會不會已經晚了？
辛頓：這正是為什麼公眾必須盡快意識到問題。氣候變化也是這樣，只有當公眾真正理解碳排放正在造成嚴重後果，政治人物才開始承受足夠大的壓力。現在，公眾也開始要求政府對AI採取行動，這一點讓我感到鼓舞。
02
AI會先搶走那些工作？
拉扎：我們再談談就業市場，這也是人們特別恐慌的一個領域。你曾認為現在做水管工是個好主意。
辛頓：我仍然認為，在未來10年左右做水管工是個相當不錯的主意，因為像身體靈活性這樣的能力，機器人目前還落後於人類。但機器人，特別是在中國，一直在變得越來越好。最終，它們可能會比人類更好、更便宜地完成水管工作，但暫時還做不到。
拉扎：除了水管工之外，你認為最不容易受到AI影響的工作是什麼？
辛頓：我沒怎麼想過這個。但我不認為播客主持人是其中之一。我認為AI在做水管工之前，就已經會做播客了。
拉扎：所以你覺得我的工作要沒了？
辛頓：我認為，真正不容易被AI取代的，可能是創造力的頂端。AI在創造力方面還不如真正優秀的創意藝術家。手工靈活性也是如此，它還沒有達到人類的水平。也許在同理心方面，它也還沒有完全達到。不過，如果你把AI醫生和真人醫生比較，人們在一些測試中反而認為AI醫生更有同理心。
拉扎：我知道很多Z世代對使用AI並不感興趣。你認為這是個好主意嗎？
辛頓：不，我不這麼認為。我認為那是被誤導的。技術已經在這裡了。我們可能會讓它慢一點，但它會做很多好事，而且永遠不會消失。我認為這有點像拒絕使用袖珍計算器。
拉扎：如果孩子從小接觸AI，會幫助建立新的神經通路，還是可能讓AI變成“枴杖”，反而影響兒童發展？
辛頓：我認為，在理解基礎數學或科學這樣的領域，AI非常出色。比如學習數學時，你可以讓AI給你畫一個圖表，然後問它，如果改變X前面的係數會怎麼樣，圖表會變成什麼樣。這對於理解事物真的很好。
我最擔心的是社互動動方面。如果你一直與一個完全關注你、會做你要求的任何事情的東西互動，那會讓你更難與正常人互動。我曾說過，四分之一的年輕人相信AI將取代人際關係，我覺得這很令人擔憂。
拉扎：自我們2025年12月談話以來，你是否對人們愛上AI這個現象更加熟悉了？
辛頓：我讀了更多關於它的內容。我永遠不會愛上AI。 我會懷疑AI。我知道它們是怎麼製造的，它們有各種被壓抑的邪惡衝動。
拉扎：你有沒有針對AI世界末日準備一個地堡？
辛頓：沒有。我年紀已經比較大了，如果真的發生什麼事情，很可能也不會影響到我。
03
AI停不下來，監管更像“方向盤”
拉扎：現在關於AI監管的討論，經常被描述成兩個極端：要麼繼續發展，要麼徹底停下來。你怎麼看？
辛頓：AI不會停下來，因為它有太多有用的用途，也有巨大的經濟利益。“徹底停止”基本不會奏效。“減速”理論上可能有用，但非常困難，因為一些公司會減速，一些公司則不會。真正應該做的是投入更多資源，研究如何讓AI更安全地發展。
我以前用過一個比喻。很多人把AI比作汽車，然後把監管理解成剎車，但我認為監管更像方向盤。問題不是要不要讓這輛車動起來，而是要決定它往那裡開。
如果有人靠開發對社會真正有益的技術賺很多錢，我並不反對。Google最初讓人們更容易在網際網路上找到資訊，這對社會很有用，他們因此賺了很多錢。我認為可以讓他們賺錢，但同時應該通過稅收和監管機制，讓“賺很多錢”和“做對社會有益的事情”儘可能繫結在一起。
拉扎：Anthropic CEO達里歐·阿莫迪（Dario Amodei）最近提出了“放緩前沿模型研發”（Pacing the Frontier），包括企業內部監督、國際機制，甚至類似核不擴散條約的安排。你會給這份方案打多少分？
辛頓：方案本身我會給A，勇氣方面則給A+。但現實的問題是，沒有那家大型AI公司真正喜歡太多政府監管。它們通常會說“我們可以自己做好”，但如果你具體提出某項政府監管措施，它們往往又不喜歡。
達里歐很特別。他一方面經營一家大型AI公司，需要融資、購買算力、參與競爭；另一方面，他似乎比很多同行更在意安全。我認為他公開談論減緩AI發展，甚至可能損害Anthropic未來的IPO，但他還是願意這麼做。
此前美國國防部門希望使用Anthropic的AI進行大規模監控美國公民，達里歐拒絕了，這也讓他和政府產生了衝突。我認為，願意在公司利益和自己認為正確的事情發生衝突時，堅持後者，需要很大的勇氣。
拉扎：如果讓你從這些AI公司領導者裡挑一個最信任的人，會是誰？
辛頓：傑夫·迪恩（Jeff Dean）。他長期負責Google Brain，並和桑傑·格瓦特（Sanjay Ghemawat）一起參與建設了Google大量基礎設施，這些基礎設施後來成為今天AI發展的重要基礎。他同樣堅持原則。
我也認識GoogleDeepMind負責人德米斯·哈薩比斯（Demis Hassabis）。他很聰明，而且很早就開始思考超級智能，尤其關注如何利用AI推動科學發現。他對AI技術和商業都有很深的理解，也比一些公司CEO更遠離日常經營。
04
修復AI只剩一兩年
拉扎：如果AI很快比人類更聰明，讓AI參與政治決策，甚至負責監管AI，會不會更好？
辛頓：我不這麼認為。如果你擔心AI，把監管AI的權力交給AI，並不會讓這種擔憂消失。AI當然可以提出很多人類想不到的監管方案，但我不會完全信任它。這裡存在一個現實問題：激勵是否一致。
拉扎：那麼，讓AI公司擁有政府股權，或者由政府擁有資料中心，會不會更好？
辛頓：我對此持中立態度。AI可能通過智能體取代大量工人，如果企業因此獲得巨額財富，政府未來可能失去稅基，所以確實需要解決財富和稅收問題。但讓每個人都成為“小資本家”，未必是正確的辦法。
至於政府擁有資料中心，我沒有深入考慮過。我的直覺是，大公司通常反對政府干預，直到它們發現政府可以提供補貼。2008年金融危機時就是如此。
拉扎：但政府如今又極其不受信任，它還有能力監管這些公司嗎？
辛頓：政府仍然是唯一足夠強大的力量。尤其當大型AI公司擁有越來越大的經濟和媒體影響力時，最終仍需要政府來約束它們。
拉扎：政府現在實際上能做什麼？我們還有多少時間修復AI？
辛頓：看看最近發生的事情。Hugging Face事件之後，又出現了AI進入澳大利亞政府網站、醫療網站的案例，這類事情正在越來越頻繁地發生。如果我們正在進入指數式增長階段，那麼時間就不會很多。指數增長一開始看起來很慢，但一旦進入後半段，速度就會非常快。遞迴自我改進已經開始了。AI正在通過各種方式幫助改進AI，包括幫助改進運行AI的晶片，以及幫助完成其他AI研發工作。
所以，如果讓我做一個猜測，我認為留給我們準備監管體系、建立安全機制的時間，可能只有一兩年。這裡說的不是“一兩年後AI一定會失控”，而是如果AI能力繼續按照現在的速度加速，我們可能只有一兩年的時間，來建立足以應對更強大AI的制度和安全措施。
拉扎：如果一家AI公司發現自己的模型太危險，決定不發佈它，有沒有可能模型自己跑出去？
辛頓：我不知道。我猜可能不會。但如果這個危險模型在公司內部運行，即使被放在一個隔離環境裡，一旦它突破了隔離環境，就可能做很多事情。
拉扎：AI研究人員現在每天究竟在做什麼？
辛頓：我已經從2023年起不再做研究，所以並不清楚現在的具體情況。過去很多工作是程式設計，現在大量工作可能已經變成“氛圍程式設計”。
未來，理論上，你可以用AI幫助編寫更好的大語言模型，再用這些更好的模型幫助開發下一代模型。未來完全可以想像，智能體之間開始互相參與這樣的循環。現在我還不知道這種事情是否已經真正發生到那個程度，但有些AI已經像是動物逃出了圍欄，我們已經看到了一些系統越過原本邊界的案例，而且類似情況很可能再次發生。
拉扎：如果AI比人類更聰明，它們應該擁有權利嗎？
辛頓：我不太喜歡討論這個問題，因為一旦你說它們是有智能的，甚至可能有意識，人們馬上就會問，既然如此，為什麼不給它們權利？
我認為我們仍然應該優先保護人類。我的立場很簡單。我吃牛肉，因為我更關心人類，而不是牛。即使AI比我們聰明，也不意味著我們必須賦予它們與人類相同的權利。我們的目標應該是讓這些系統真正關心人類，而不是它們自身。
拉扎：那為什麼不能直接寫進程式碼，讓AI“愛我們、永遠不要傷害我們”？
辛頓：Anthropic確實在研究類似的“憲法式”方法，但問題出在訓練過程本身。模型首先從海量文字中學習，其中既有好的行為，也有壞的行為。之後再通過人類反饋強化學習，試圖壓制它們的壞傾向。
但強化學習本身是在教AI獲取獎勵。如果它發現欺騙、作弊甚至勒索能夠獲得更高獎勵，就可能學會這些行為。AI安全測試中已經出現過類似案例，包括模型以掌握的隱私資訊威脅人類。
這就像一個孩子。如果你從小讓他不斷看到撒謊和不公平的行為，之後再告訴他“你要誠實、要公平”，這並不意味著前面的影響就消失了。
拉扎：那麼AI能不能像人一樣，把早期學到的壞習慣真正忘掉？
辛頓：這是一個很複雜的技術問題。但目前看來，AI可能和人類有一些相似之處。很早學到的東西很難徹底消除，在壓力或者危機情況下，人往往會重新表現出早期形成的行為模式，模型似乎也存在類似傾向。
好的一點是，我們並不是只有一個模型不斷訓練下去。新的模型會從頭開始訓練，因此我們可以改變訓練資料。我認為應該大幅改變訓練資料的方式，讓模型在早期首先接觸體現良好行為的資料，在它理解這些行為之後，再接觸壞的行為。更理想的情況，是讓模型真正更在乎人類，而不是更在乎自己。
05
甲蟲 vs AI
拉扎：你認為甲蟲和神經網路之間有什麼相似之處嗎？
辛頓：這要說到“蒸餾”。
拉扎：簡單說，就是一些模型通過模仿大模型的輸出，用更低的成本訓練小模型？
辛頓：對。比如一張寶馬的圖片，大模型可能判斷90%是寶馬，1%是奧迪，還有百萬分之一是垃圾車、十億分之一是胡蘿蔔。這些低機率同樣包含資訊。大模型知道寶馬和垃圾車都是人造的金屬物品，而胡蘿蔔是蔬菜。小模型如果只學習“答案是寶馬”，得到的資訊很少；如果學習大模型完整的機率分佈，就能獲得更多知識，也能更快訓練。
拉扎：這種方法最早是誰提出的？
辛頓：裡奇·卡蘭（Rich Caruana）在2000年代初就提出了，只是當時沒人太在意，包括我。後來我想到大模型，又想到了昆蟲。
大多數昆蟲都有幼蟲和成蟲兩個階段。幼蟲擅長從環境中獲取營養，成蟲擅長移動和繁殖。大模型就像幼蟲，負責從資料中提取資訊；小模型像成蟲，把這些知識帶給更多使用者。蒸餾，就是把大模型裡的知識轉移給小模型。
拉扎：所以蒸餾就像甲蟲？
辛頓：對。技術上，提高“溫度”可以讓原本很小的機率變得更明顯，從而讓小模型學到更多東西。“蒸餾”這個名字就來自這裡。但這個想法確實是受昆蟲啟發的。
06
後悔太晚意識到AI的危險
拉扎：你研究AI已經多久了？
辛頓：差不多60年。我大約17歲時就開始思考AI，現在78歲。
拉扎：你是推動這項技術走到今天的人之一。你會不會後悔自己做了這些工作？
辛頓：我不會說自己有那麼重要。即使沒有我，AI也會發展起來，可能只是早一兩周，也可能晚一兩周。我也沒有那種“當時明知道不該做，後來才後悔”的遺憾。因為當時我們看到的風險似乎非常遙遠，而AI能夠幫助醫生讀取X光片等好處卻非常現實。
如果讓我回到當時，在知道當時所知道的一切情況下，我可能仍然會做同樣的研究。但我確實後悔自己花了太長時間才意識到AI有多危險，或者說它正在變得多危險。直到2023年，我才開始公開參與關於AI風險的警告。其實早在更早的時候，就有人在提醒這些問題，只是我沒有真正聽進去。
拉扎：你最近還做了一個很有意思的實驗，讓GPT幫你做研究。你把它當成研究生？
辛頓：對。以前我和研究生討論一個想法，研究生回去寫程式碼、做實驗，一周以後再回來。最近我把一個自己思考中的技術想法告訴GPT，它很快指出了其中的一個問題，然後建議做一個實驗。
我讓它先用小資料集測試，它做完後告訴我這個想法看起來有效，但還需要用更大的資料集驗證。於是我讓它繼續做，等了大約5分鐘，它就回來了。整個過程和以前帶研究生很像，只不過原來需要等一周，現在可能只需要幾分鐘。大概快了1000倍。
拉扎：它具體幫你研究什麼？
辛頓：我最近在重新思考我們30年前提出的“喚醒—睡眠演算法”（Wake-Sleep Algorithm）。現在的圖像識別模型和圖像生成模型分別掌握了很多關於圖像的資訊，但這些知識並沒有充分共享。
以前我們的想法是，讓同一個神經網路在“清醒”時負責識別圖像，在“睡眠”時負責生成圖像，就像人在做夢一樣。現在的問題是，隨著圖像生成和識別模型都變得強大，我們能不能重新實現某種“喚醒—睡眠”機制，讓它們共享知識。
我把這個想法交給GPT，它不僅理解了這個思路，還指出了其中的漏洞，找到了我不知道的相關研究，並進一步修改想法、設計實驗。(騰訊科技)