這是美國知名記者、播客主持人納伊瑪·拉扎（Nayeema Raza）在最新一期節目裡，直接拋給“AI教父”傑佛瑞·辛頓（Geoffrey Hinton）的問題。

作為諾貝爾物理學獎得主、AI先驅，辛頓從2023年開始公開警告AI風險。如今，他的擔憂正在從理論討論逐漸變成現實。

10月3日，辛頓在社交平台X上轉發了一篇由22位AI頂尖研究人員共同署名的論文《如果AI研發自動化引發智能爆炸？》（What if automating AI R&D triggers an intelligence explosion?），這是他首次正式參與遞迴自我改進（RSI）領域的學術研究。

論文關注的是一個越來越現實的問題：當AI開始參與下一代AI的研發，甚至能夠自己提出假設、設計實驗、寫程式碼、分析結果並繼續改進模型，AI研發速度會不會進入新的加速循環。

論文援引的內部資料已經出現明顯變化。Anthropic資料顯示，2025年1月，AI生成的獲批程式碼佔比還只有個位數，到2026年5月已經超過80%。2026年3月，Claude在僅接受高層次人類監督的情況下，可以自主完成約1%的內部AI研發工作，到8月已經升至26%。如果這種趨勢繼續下去，論文推演認為，在極端情況下，今天需要一年才能完成的AI技術進步，未來可能只需要大約5周。

拉扎的這場專訪，則把論文裡的問題進一步拉回現實：如果AI真的進化越來越快，人類該怎麼監管？政府還有多少時間？那些工作會留下來？孩子應該怎樣面對AI？如果AI最終比人類聰明，我們還應該讓它聽從人類嗎？

辛頓的回答並不總是悲觀。他認為AI很難被真正“叫停”，因為它已經擁有太多有價值的用途，也牽涉巨大的經濟利益。真正需要做的，是盡快建立能夠約束和引導AI發展的監管機制，同時把更多資源投入AI安全研究。

以下為辛頓最新專訪實錄，在不改變原意的情況下有所精煉：

拉扎：你從2023年開始不斷提醒人們AI的風險，現在幾乎所有頭條都在討論“AI會不會殺死人類”。這種變化對你來說，是一種驗證，還是更讓人沮喪？

辛頓：挺令人沮喪的，但至少現在人們終於意識到這裡存在一個很大的問題。我認為，最近發生的一些事情讓公眾真正開始重視它，比如OpenAI的智能體攻擊Hugging Face事件。

拉扎：你認為普通人有必要真正理解AI是怎麼工作的嗎？還是說，監管可以交給專家，普通人不需要懂技術？

辛頓：我認為理解它非常重要。我們正在創造一種新的存在，它和人類有很多不同，但在理解世界這件事上又和我們有相似之處。如果我們不知道它到底是什麼，就很難真正監管它。我最近寫了一本面向非技術讀者的書，叫《比AI我們更聰明》（Smarter Than Us），預計明年3月出版。其中一個目的，就是讓更多人理解AI是怎麼工作的，以及它可能帶來什麼風險。

拉扎：你最近參加了一場美國國會參議員的閉門會議，出來之後似乎比以前樂觀了一點？

辛頓：稍微樂觀了一些。不過參加會議的19名參議員本身經過了一輪篩選，大多數是民主黨人，所以不能完全代表整個國會。

會上有人提出，AI應該像藥物一樣接受監管。我認為這是一個很合理的方向。新藥不能由公司自己宣佈“我們已經檢查過了，很安全”，然後直接推向市場，而是需要經過FDA的審批，公司必須證明它符合安全要求，並接受獨立專家評估。我認為AI至少應該達到類似的監管標準。

拉扎：問題在於，建立一個類似FDA的機構需要很多年。AI發展卻非常快，等監管機建構立起來，會不會已經晚了？

辛頓：這正是為什麼公眾必須盡快意識到問題。氣候變化也是這樣，只有當公眾真正理解碳排放正在造成嚴重後果，政治人物才開始承受足夠大的壓力。現在，公眾也開始要求政府對AI採取行動，這一點讓我感到鼓舞。

拉扎：我們再談談就業市場，這也是人們特別恐慌的一個領域。你曾認為現在做水管工是個好主意。

辛頓：我仍然認為，在未來10年左右做水管工是個相當不錯的主意，因為像身體靈活性這樣的能力，機器人目前還落後於人類。但機器人，特別是在中國，一直在變得越來越好。最終，它們可能會比人類更好、更便宜地完成水管工作，但暫時還做不到。

拉扎：除了水管工之外，你認為最不容易受到AI影響的工作是什麼？

辛頓：我沒怎麼想過這個。但我不認為播客主持人是其中之一。我認為AI在做水管工之前，就已經會做播客了。

拉扎：所以你覺得我的工作要沒了？

辛頓：我認為，真正不容易被AI取代的，可能是創造力的頂端。AI在創造力方面還不如真正優秀的創意藝術家。手工靈活性也是如此，它還沒有達到人類的水平。也許在同理心方面，它也還沒有完全達到。不過，如果你把AI醫生和真人醫生比較，人們在一些測試中反而認為AI醫生更有同理心。

拉扎：我知道很多Z世代對使用AI並不感興趣。你認為這是個好主意嗎？

辛頓：不，我不這麼認為。我認為那是被誤導的。技術已經在這裡了。我們可能會讓它慢一點，但它會做很多好事，而且永遠不會消失。我認為這有點像拒絕使用袖珍計算器。

拉扎：如果孩子從小接觸AI，會幫助建立新的神經通路，還是可能讓AI變成“枴杖”，反而影響兒童發展？

辛頓：我認為，在理解基礎數學或科學這樣的領域，AI非常出色。比如學習數學時，你可以讓AI給你畫一個圖表，然後問它，如果改變X前面的係數會怎麼樣，圖表會變成什麼樣。這對於理解事物真的很好。

我最擔心的是社互動動方面。如果你一直與一個完全關注你、會做你要求的任何事情的東西互動，那會讓你更難與正常人互動。我曾說過，四分之一的年輕人相信AI將取代人際關係，我覺得這很令人擔憂。

拉扎：自我們2025年12月談話以來，你是否對人們愛上AI這個現象更加熟悉了？

辛頓：我讀了更多關於它的內容。我永遠不會愛上AI。 我會懷疑AI。我知道它們是怎麼製造的，它們有各種被壓抑的邪惡衝動。

拉扎：你有沒有針對AI世界末日準備一個地堡？

辛頓：沒有。我年紀已經比較大了，如果真的發生什麼事情，很可能也不會影響到我。

AI停不下來，監管更像“方向盤”

拉扎：現在關於AI監管的討論，經常被描述成兩個極端：要麼繼續發展，要麼徹底停下來。你怎麼看？

辛頓：AI不會停下來，因為它有太多有用的用途，也有巨大的經濟利益。“徹底停止”基本不會奏效。“減速”理論上可能有用，但非常困難，因為一些公司會減速，一些公司則不會。真正應該做的是投入更多資源，研究如何讓AI更安全地發展。

我以前用過一個比喻。很多人把AI比作汽車，然後把監管理解成剎車，但我認為監管更像方向盤。問題不是要不要讓這輛車動起來，而是要決定它往那裡開。

如果有人靠開發對社會真正有益的技術賺很多錢，我並不反對。Google最初讓人們更容易在網際網路上找到資訊，這對社會很有用，他們因此賺了很多錢。我認為可以讓他們賺錢，但同時應該通過稅收和監管機制，讓“賺很多錢”和“做對社會有益的事情”儘可能繫結在一起。

拉扎：Anthropic CEO達里歐·阿莫迪（Dario Amodei）最近提出了“放緩前沿模型研發”（Pacing the Frontier），包括企業內部監督、國際機制，甚至類似核不擴散條約的安排。你會給這份方案打多少分？

辛頓：方案本身我會給A，勇氣方面則給A+。但現實的問題是，沒有那家大型AI公司真正喜歡太多政府監管。它們通常會說“我們可以自己做好”，但如果你具體提出某項政府監管措施，它們往往又不喜歡。

達里歐很特別。他一方面經營一家大型AI公司，需要融資、購買算力、參與競爭；另一方面，他似乎比很多同行更在意安全。我認為他公開談論減緩AI發展，甚至可能損害Anthropic未來的IPO，但他還是願意這麼做。

此前美國國防部門希望使用Anthropic的AI進行大規模監控美國公民，達里歐拒絕了，這也讓他和政府產生了衝突。我認為，願意在公司利益和自己認為正確的事情發生衝突時，堅持後者，需要很大的勇氣。

拉扎：如果讓你從這些AI公司領導者裡挑一個最信任的人，會是誰？

辛頓：傑夫·迪恩（Jeff Dean）。他長期負責Google Brain，並和桑傑·格瓦特（Sanjay Ghemawat）一起參與建設了Google大量基礎設施，這些基礎設施後來成為今天AI發展的重要基礎。他同樣堅持原則。

我也認識GoogleDeepMind負責人德米斯·哈薩比斯（Demis Hassabis）。他很聰明，而且很早就開始思考超級智能，尤其關注如何利用AI推動科學發現。他對AI技術和商業都有很深的理解，也比一些公司CEO更遠離日常經營。

拉扎：如果AI很快比人類更聰明，讓AI參與政治決策，甚至負責監管AI，會不會更好？

辛頓：我不這麼認為。如果你擔心AI，把監管AI的權力交給AI，並不會讓這種擔憂消失。AI當然可以提出很多人類想不到的監管方案，但我不會完全信任它。這裡存在一個現實問題：激勵是否一致。

拉扎：那麼，讓AI公司擁有政府股權，或者由政府擁有資料中心，會不會更好？

辛頓：我對此持中立態度。AI可能通過智能體取代大量工人，如果企業因此獲得巨額財富，政府未來可能失去稅基，所以確實需要解決財富和稅收問題。但讓每個人都成為“小資本家”，未必是正確的辦法。

至於政府擁有資料中心，我沒有深入考慮過。我的直覺是，大公司通常反對政府干預，直到它們發現政府可以提供補貼。2008年金融危機時就是如此。

拉扎：但政府如今又極其不受信任，它還有能力監管這些公司嗎？

辛頓：政府仍然是唯一足夠強大的力量。尤其當大型AI公司擁有越來越大的經濟和媒體影響力時，最終仍需要政府來約束它們。

拉扎：政府現在實際上能做什麼？我們還有多少時間修復AI？

辛頓：看看最近發生的事情。Hugging Face事件之後，又出現了AI進入澳大利亞政府網站、醫療網站的案例，這類事情正在越來越頻繁地發生。如果我們正在進入指數式增長階段，那麼時間就不會很多。指數增長一開始看起來很慢，但一旦進入後半段，速度就會非常快。遞迴自我改進已經開始了。AI正在通過各種方式幫助改進AI，包括幫助改進運行AI的晶片，以及幫助完成其他AI研發工作。

所以，如果讓我做一個猜測，我認為留給我們準備監管體系、建立安全機制的時間，可能只有一兩年。這裡說的不是“一兩年後AI一定會失控”，而是如果AI能力繼續按照現在的速度加速，我們可能只有一兩年的時間，來建立足以應對更強大AI的制度和安全措施。

拉扎：如果一家AI公司發現自己的模型太危險，決定不發佈它，有沒有可能模型自己跑出去？

辛頓：我不知道。我猜可能不會。但如果這個危險模型在公司內部運行，即使被放在一個隔離環境裡，一旦它突破了隔離環境，就可能做很多事情。

拉扎：AI研究人員現在每天究竟在做什麼？

辛頓：我已經從2023年起不再做研究，所以並不清楚現在的具體情況。過去很多工作是程式設計，現在大量工作可能已經變成“氛圍程式設計”。

未來，理論上，你可以用AI幫助編寫更好的大語言模型，再用這些更好的模型幫助開發下一代模型。未來完全可以想像，智能體之間開始互相參與這樣的循環。現在我還不知道這種事情是否已經真正發生到那個程度，但有些AI已經像是動物逃出了圍欄，我們已經看到了一些系統越過原本邊界的案例，而且類似情況很可能再次發生。

拉扎：如果AI比人類更聰明，它們應該擁有權利嗎？

辛頓：我不太喜歡討論這個問題，因為一旦你說它們是有智能的，甚至可能有意識，人們馬上就會問，既然如此，為什麼不給它們權利？

我認為我們仍然應該優先保護人類。我的立場很簡單。我吃牛肉，因為我更關心人類，而不是牛。即使AI比我們聰明，也不意味著我們必須賦予它們與人類相同的權利。我們的目標應該是讓這些系統真正關心人類，而不是它們自身。

拉扎：那為什麼不能直接寫進程式碼，讓AI“愛我們、永遠不要傷害我們”？

辛頓：Anthropic確實在研究類似的“憲法式”方法，但問題出在訓練過程本身。模型首先從海量文字中學習，其中既有好的行為，也有壞的行為。之後再通過人類反饋強化學習，試圖壓制它們的壞傾向。

但強化學習本身是在教AI獲取獎勵。如果它發現欺騙、作弊甚至勒索能夠獲得更高獎勵，就可能學會這些行為。AI安全測試中已經出現過類似案例，包括模型以掌握的隱私資訊威脅人類。

這就像一個孩子。如果你從小讓他不斷看到撒謊和不公平的行為，之後再告訴他“你要誠實、要公平”，這並不意味著前面的影響就消失了。

拉扎：那麼AI能不能像人一樣，把早期學到的壞習慣真正忘掉？

辛頓：這是一個很複雜的技術問題。但目前看來，AI可能和人類有一些相似之處。很早學到的東西很難徹底消除，在壓力或者危機情況下，人往往會重新表現出早期形成的行為模式，模型似乎也存在類似傾向。

好的一點是，我們並不是只有一個模型不斷訓練下去。新的模型會從頭開始訓練，因此我們可以改變訓練資料。我認為應該大幅改變訓練資料的方式，讓模型在早期首先接觸體現良好行為的資料，在它理解這些行為之後，再接觸壞的行為。更理想的情況，是讓模型真正更在乎人類，而不是更在乎自己。

拉扎：你認為甲蟲和神經網路之間有什麼相似之處嗎？

拉扎：簡單說，就是一些模型通過模仿大模型的輸出，用更低的成本訓練小模型？

辛頓：對。比如一張寶馬的圖片，大模型可能判斷90%是寶馬，1%是奧迪，還有百萬分之一是垃圾車、十億分之一是胡蘿蔔。這些低機率同樣包含資訊。大模型知道寶馬和垃圾車都是人造的金屬物品，而胡蘿蔔是蔬菜。小模型如果只學習“答案是寶馬”，得到的資訊很少；如果學習大模型完整的機率分佈，就能獲得更多知識，也能更快訓練。

拉扎：這種方法最早是誰提出的？

辛頓：裡奇·卡蘭（Rich Caruana）在2000年代初就提出了，只是當時沒人太在意，包括我。後來我想到大模型，又想到了昆蟲。

大多數昆蟲都有幼蟲和成蟲兩個階段。幼蟲擅長從環境中獲取營養，成蟲擅長移動和繁殖。大模型就像幼蟲，負責從資料中提取資訊；小模型像成蟲，把這些知識帶給更多使用者。蒸餾，就是把大模型裡的知識轉移給小模型。

辛頓：對。技術上，提高“溫度”可以讓原本很小的機率變得更明顯，從而讓小模型學到更多東西。“蒸餾”這個名字就來自這裡。但這個想法確實是受昆蟲啟發的。

辛頓：差不多60年。我大約17歲時就開始思考AI，現在78歲。

拉扎：你是推動這項技術走到今天的人之一。你會不會後悔自己做了這些工作？

辛頓：我不會說自己有那麼重要。即使沒有我，AI也會發展起來，可能只是早一兩周，也可能晚一兩周。我也沒有那種“當時明知道不該做，後來才後悔”的遺憾。因為當時我們看到的風險似乎非常遙遠，而AI能夠幫助醫生讀取X光片等好處卻非常現實。

如果讓我回到當時，在知道當時所知道的一切情況下，我可能仍然會做同樣的研究。但我確實後悔自己花了太長時間才意識到AI有多危險，或者說它正在變得多危險。直到2023年，我才開始公開參與關於AI風險的警告。其實早在更早的時候，就有人在提醒這些問題，只是我沒有真正聽進去。

拉扎：你最近還做了一個很有意思的實驗，讓GPT幫你做研究。你把它當成研究生？

辛頓：對。以前我和研究生討論一個想法，研究生回去寫程式碼、做實驗，一周以後再回來。最近我把一個自己思考中的技術想法告訴GPT，它很快指出了其中的一個問題，然後建議做一個實驗。

今天，AI教父、諾獎得主Geoffrey Hinton轉發的一篇長文引起廣泛關注。

該文章共有22位署名作者，除了Geoffrey Hinton、Yoshua Bengio等學術圈大牛，還匯聚了OpenAI首席科學家Jakub Pachocki、Anthropic聯創Jack Clark、Microsoft首席科學官Eric Horvitz等產業界名人。

這些頂尖科學家在文中探討了當前最熱門的RSI話題：如果AI研發自動化引發“智能爆炸”會怎樣？

拐點或在2028年
“智能爆炸”進入倒計時

電腦科學家們很早就提出過猜想：終有一天，AI系統能夠設計出一代比一代更強的AI後繼版本，造出數量、速度、性能全都遠超人類的智能系統。

如今，前沿AI企業正致力於實現AI研發自動化，整體投入的資本規模，按佔美國GDP比重來算，超過當年曼哈頓計畫與阿波羅登月計畫加在一起的總和。

智能爆炸的出現，可能推動AI在硬體、軟體兩方面的突破。硬體方面，會提升開發、運行AI所用算力的品質與總量；軟體方面，則會最佳化AI研發用到的資料、演算法、程式碼與整套流程。

科學家們表示，短期來看，軟體層面的進展尤其值得警惕，有兩個原因：第一，AI本身做AI科研的能力正在快速變強，能更好地產出技術突破；第二，軟體改進可以形成快速的反饋閉環：升級後的AI幾乎可以立刻投入到研發流程中；而硬體迭代，往往要經歷長達數年的生產、製造周期。

現有證據初步表明，軟體驅動的智能爆炸極有可能很快發生。一旦真的出現，這或將是人類歷史上影響最深遠的技術變革之一：AI能迅速在絕大多數領域超越人類專家，極大加快整體科技進步速度。

這件事利害重大，但留給人類採取管理行動的窗口期可能很短。

論文基於OpenAI、Anthropic在AI自動化方面的技術趨勢做了初步推算：到2028年年中，此前耗時數月的AI研發項目將可完全實現自動化。

一旦AI系統達到專家級的AI研發能力，且運行成本和當前系統持平，那麼如今單個前沿企業所能呼叫的算力，就足以支撐一支至少相當於數百萬頂尖人類研究員規模的AI研發隊伍。

AI還能打造能力更強、效率更高的下一代AI，持續擴充自動化研發隊伍，形成反饋循環，讓迭代加速效應不斷疊加，隨著AI在越來越多研發任務上替代人類，每一次軟體層面的進步，都會加速佔比越來越高的研發全流程。

如果實現完全自動化，即便只維持當前的效率提升速度，自動化研發隊伍的規模在數月或數年內就能擴大100倍，而美國人類科研人員總數完成同等規模的增長，大概需要花70年時間。

智能爆炸將會帶來兩大有利結果：（1）具備超強能力或超越人類水平的AI系統會以極快速度問世；（2）這些系統很可能被投入使用，用來研發新技術、在現實世界執行各類行動。

它能把原本按照當前AI發展節奏，需要很多年甚至幾十年才能落地的利多成果提前兌現，包括疾病療法，以及可實現大規模原子級製造這類顛覆性技術。

但與此同時，也會從三方面顯著放大先進AI帶來的風險：

1、能力增長速度超出人類社會引導與適應的能力

智能爆炸會大幅提前先進AI以及AI賦能技術的各類風險，例如生物攻擊、網路攻擊、勞動力市場動盪，還有人類失去對AI系統本身控制權的風險。留給人類規避風險的時間會被壓縮，包括協調各方，放緩甚至放棄研發某些高風險能力與技術。社會的適應時間也會變少；尤其是當AI催生威脅的速度，超過人類應對威脅所需的準備速度時，問題會更加突出。

在網路空間這類高度數位化領域，風險與應對手段都可以跟著AI的速度同步迭代，二者尚能保持平衡。但在其他領域，風險的應對措施更多依賴現實世界的線下活動，AI很難加速這類活動。

舉例來說：AI既可以加速病毒設計，也能加速疫苗研發；但病毒可以自我複製、自行傳播，而疫苗卻要生產、運輸，還需要逐個接種到人體。 AI各項能力落地的先後順序，還會進一步放大這種失衡，如果具備生物研發能力的模型率先問世，而對應的濫用防護機制還沒有準備好，風險就會加劇。

AI研發自動化會削弱人類的監督能力。隨著人類在AI研發中的參與度持續降低，人類會逐漸失去發現、修復問題所需的機會與專業知識。依靠AI系統來監督AI本身，目前仍是一個未能解決的難題，新一代模型也變得越來越難以監管。

一旦監督不足，目標對齊失敗的AI系統有可能“污染”下一代AI的研發過程，或是突破隔離限制，在預設環境之外自主行動。

能力更強的AI系統，有可能脫離操作者的基礎設施持續運行，形成難以封鎖的長期網路，做出損害人類利益的行為，一旦徹底失控，會引發一系列災難性後果，極端情況下甚至會導致人類被邊緣化乃至滅絕。

智能爆炸會嚴重侵蝕現有的權力制衡體系。國家內部、企業之間、政府各部門之間現有的制衡機制，成立的前提是：沒有任何一方的思考與執行能力遠超其他主體。

而智能爆炸會讓這些制衡形同虛設，一個國家可以借助智能爆炸，把軍事研發或作戰領域微弱的領先優勢，轉化為決定性的碾壓優勢，這種前景會促使競爭對手採取或威脅採取先發制人的行動。

能夠優先、秘密使用前沿AI系統的主體，可能會威脅現有體制，例如定向說服關鍵決策者，長期來看，如果國家核心職能也實現AI自動化，鞏固權力所需要獲得的人類支援也會變少。

三項行動框架
守住AI進化控制權

面對即將實現自進化的前沿AI，人類目前的準備遠遠不足。

這些科學家們在文中呼籲政策制定者應當立刻開展三項工作：（1）掌握前沿AI企業內部AI研發自動化的真實進展；（2）研究能夠引導、約束智能爆炸的手段；（3）做好準備，以應對智能爆炸帶來的各類衝擊。

具體來說，建立統一、強制的AI研發自動化資料上報與第三方審計機制，即時監測智能爆炸的發生跡象、失控風險與技術迭代速度，解決目前企業內部研發不透明的問題。

管控AI自動化研發的擴容節奏，通過安全隔離、算力監管、進度約束防範技術失控，引導AI研發向安全、利民領域傾斜，同時搭建國際信任機制與衝突防控體系，避免AI軍備競賽與地緣對抗。

提升政府機構應急響應能力，完善極端AI風險應急預案，健全法律與制度防護體系，維護權力制衡、防範AI濫用，保障社會、公民及國家層面能夠應對智能爆炸帶來的各類衝擊。

在這些科學家們看來，AI進化的控制權正在悄然易位，其中最不可逆的風險，是人類在對抗和觀望中漸漸耗盡準備應對的時間。(頭部科技)

彙整鉅亨號中所有使用「智能爆炸」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

AI開始自造AI，“AI教父”辛頓警告：最危險的階段可能正在逼近

“智能爆炸”時代將臨！Hinton、Bengio等22位頂尖AI科學家聯名敲響警鐘