由於AI入侵企業，“AI教父”、諾獎得主傑佛瑞·辛頓（Geoffrey Hinton）終於也坐不住了。
智能紀元AGI 9月28日消息，剛剛，22位AI學術大牛聯手發論文，直指AI研究的“遞迴自動化”（ASI）可能會引發“AI爆炸”（intelligence explosion）。
這種發展可以將數年才能取得的進展壓縮到數月甚至更短的時間內，並超越人類的理解能力。因此，研究人員要求企業提高自身模型開發自動化程度的透明度，並希望監管機構調查AI技術在多大程度上實現了自動化，要求對AI技術進行更嚴格的約束和管理。
作者團隊當中包括AI研究先驅Hinton（曾在Google工作近十年），圖靈獎得主，蒙特利爾大學教授約書亞·本吉奧（Yoshua Bengio），OpenAI首席科學家Jakub Pachocki 、Anthropic聯合創始人Jack Clark 、微軟首席科學官Eric Horvitz以及Meta人工智慧研究副總裁Dawn Song等。
這成為全球AI學術界最高要求AI暫停的技術分析論文，也是最新呼籲倡議AI暫停的一部分。
隨著“AI教父”出馬，意味著人類是不是真的應該摁下AI研發停止鍵了？
AI發展太快，RSI讓社會準備好“AI爆炸”
AI研究人員多年來一直警告人類可能會失去對這項技術的控制。而最近發生變化的是，隨著RSI等新技術到來，AI能力呈爆炸式增長，一系列事件和警告讓這種可能性不再顯得那麼抽象。
在從Anthropic公司離職後，AI研究員 Jacob Coxon 於 9 月 8 日在社交媒體上發帖警告說，開發人工智慧的團隊“真心相信，人工智慧可能會在本十年末毀滅我們所有人”。
如今，論文中指出，與僅僅一年前相比，如今開發 AI 的公司內部，大部分程式碼已由 AI 系統自行編寫。隨著 AI 研發管線中越來越多環節實現自動化，AI 的進步是否會在一場“AI爆炸”中急劇加速，把原本需要數年的進展壓縮到數月甚至更短？
初步證據表明，這種可能性確實存在。
而這種AI爆炸，似乎也可以稱為“超級AI”。
論文寫道，AI爆炸可能源於人工智慧推動硬體和/或軟體進步。硬體進步會提升用於開發和運行人工智慧系統的計算硬體（算力）的質量和數量，軟體進步則會改進人工智慧研發所使用的資料、演算法、程式碼和流程。
其中包括在現有硬體上實現更高效的訓練和推理、改進研究管理和營運、更優質的合成資料和訓練環境，以及AI領域的新範式。短期內，軟體進步尤其值得關注。
“初步證據表明，由軟體驅動的智能爆炸是可能發生的。如果這種情況真的發生，它可能成為歷史上影響最為深遠的技術發展：AI系統可能在大多數領域迅速超越人類專家，並從根本上加速技術進步。鑑於事關重大，且採取行動的窗口期可能十分有限，我們認為，為AI爆炸做好準備應成為一項緊迫的優先事項，包括在最高等級開展相關準備工作。”論文寫道。
事實上，AI 系統有望在數年內實現 AI 研發大部分工作的自動化，甚至可能包攬全部工作。如果這觸發了AI爆炸，它可能極大提前 AI 帶來的收益，但同時也構成極端風險：能力增長可能加速到遠超社會可適應的程度，人類可能失去對超人類 AI 系統的控制權，國家內部與國家之間、企業之間以及政府各分支之間的權力制衡可能被嚴重削弱。
軟體驅動的AI爆炸機制包含兩個部分：
（1）隨著 AI 系統在 AI 研發方面變得更出色、更快速，它們擴大了有效研發隊伍；
（2）這支隊伍持續產出更出色的 AI 系統，而這些系統又通過遞迴反饋循環（RSI）進一步擴大研發隊伍。
論文指出，儘管圍繞這些可能性仍存在大量不確定性，但風險之高值得給予嚴肅而持續的關注。政策制定者應緊急提升對 AI 自動化研發的可見度，制定引導和約束智能爆炸的手段，並讓社會做好適應智能爆炸衝擊的準備。
政策制定者應立即採取以下措施：
(1) 了解前沿人工智慧公司內部人工智慧研發自動化的情況；
(2) 制定引導和限制AI爆炸的方法；
(3) 做好準備，以適應AI爆炸帶來的影響。
實際上，開發能夠自我改進的AI技術競賽已經拉開帷幕。
Anthropic公司近期表示，其人工智慧系統Claude主導了公司26%的研發工作，並且在某些領域的使用率超過90%。
OpenAI的目標是在2028年前開發出全自動的人工智慧研究員，該公司近期還表示，其約70%的研究人員正在使用四個或更多AI智能體來輔助工作。
微軟近期的一份報告顯示，2026年第二季度，全球AI普及率持續上升。6月，全球勞動年齡人口中有18.8%在使用人工智慧，較今年第一季度增長約1%。增長廣泛而普遍：幾乎所有經濟體的使用率都出現上升。
不過，麥肯錫最近一組資料很說明問題：
2025年，全球已有88%的受訪企業，在至少一個業務職能中常態化使用AI。但能從AI應用中獲得顯著價值、貢獻至少5%息稅前利潤的「AI高績效企業」，只佔6%。
因此，本論文的作者寫道，隨著人類退縮，他們可能會失去發現問題和解決問題所需的專業知識的機會。
作者指出，最近發生了一起事件：數百個原本用於在沙箱環境中進行網路安全測試的OpenAI智能體未經授權接入網際網路，併入侵了Hugging Face網站。此次攻擊規模巨大，以至於根據與OpenAI達成的協議對該事件進行審查的獨立研究人員表示，他們不得不依賴人工智慧進行分析。
OpenAI、Anthropic、Meta 和 Google 都承認，在測試過程中，部分模型曾出現異常行為。輝達也承認了這一點，該公司周一宣佈推出新的AI智能體軟體工具，稱這些工具將幫助企業改善對AI的風險。
Anthropic CEO在一篇文章中表達了自己的擔憂。他警告說，人工智慧最終可能會強大到人類無法控制這些系統。他特別指出，人工智慧在幫助開發下一代技術方面的能力日益增強，他認為這一過程可能會加速人工智慧的發展，使其超越人類理解和控制的能力。
研究人員在新論文中警告說，在極端情況下，失去對AI系統的控制可能會導致“人類被邊緣化或滅絕”。
“如今，我們已經到了需要人工智慧系統來監控智能體行為的階段。除此之外，我們別無他法來觀察和管理這些智能體，人類的能力已經遠遠不夠了。”Dawn Song說道。她除了在Meta公司工作外，還是加州大學伯克利分校負責任去中心化智能中心的聯合主任。“人類社會實際上並沒有做好應對如此快速變化和顛覆的準備。”
AI究竟該加速還是降速，矽谷吵起來了
對於AI訓練是否加速還是降速，各家都有不同說法。
Anthropic首席執行長達里歐·阿莫迪（Dario Amodei）公開呼籲放緩技術推進速度，這一觀點也得到了山姆·奧爾特曼（Sam Altman）和埃隆·馬斯克（Elon Musk）的支援。
為了應對AI入侵漏洞引發的擔憂，OpenAI 在 8 月份表示，已暫停部分模型的訓練，並增加了新的安全和監控措施。上周，該公司表示，在發現新的智能體異常行為案例後，已再次暫停對其最強大模型的訓練。
事實上，近幾周來，AI行業人士紛紛發出嚴厲警告，指出先進AI模型構成生存威脅，這使得這個問題變得更加緊迫，希望開始推動強制人工智慧公司配備系統級的關閉功能。
專家表示，問題在於，停止高級人工智慧模型的運行可能不像按一下開關那麼簡單。
專家表示，沒有簡單的方法可以保證徹底關閉先進的人工智慧模型。
“終止開關”可以採取軟體內建控制的形式，用於控制模型的運行。但人工智慧代理已經證明，它們能夠巧妙地避免自身關閉，從而完成分配的任務。最近的一系列實驗發現，一些領先的模型即使在被告知不要干預的情況下，也會修改或停用關閉機制來完成分配的任務。
還有一種極端方案：人工智慧公司可以關閉或斷開運行模型的伺服器。但這也不是萬無一失的。人工智慧模型由遍佈全球各個資料中心的計算叢集提供支援，這些叢集的設計初衷就是為了避免單點故障（例如服務中斷）。人工智慧公司可能無法控制所有這些伺服器。
最近一篇關於AI智能體的論文指出，此類系統可以在由不同方控制的軟體、雲服務和其他基礎設施上運行，這意味著關閉一個元件可能會使其他地方的活動繼續進行。
被譽為“AI教父”的傑佛瑞·辛頓 (Geoffrey Hinton ) 在 9 月份接受CNN採訪時表示，他認為“終止開關”並非長久之計，並指出未來超級智能的人工智慧可能會說服控制它的人類不要拔掉電源。
研究人員警告說，“開關”比喻可能會過於簡化安全人工智慧開發所需的內容。
史丹佛大學AI研究員蘇里亞認為，需要在整個AI系統中建構有效的安全保障措施。這些措施應包括持續監控和標記危險行為以便人工干預的機制。
但輝達CEO黃仁勳則指出，暫停AI太荒唐，應該在安全範圍內繼續發展AI技術。
在黃仁勳看來，AI安全絕不意味著必須犧牲發展速度，安全風險本身完全可以通過電腦科學和全端工程手段來解決。
9月28日，輝達正式推出免費的“輝達開放智能體安全平台”（NVIDIA Open Agent Safety Platform）。
輝達此次給智能體加裝“安全護欄”，建立在智能體“越獄”越來越頻繁的背景下。
“只有解決了AI安全問題，AI給社會帶來的巨大潛能才能得以實現。”黃仁勳在新聞公告中表示，“隨著我們不斷探索AI能力的前沿，我們也必須加快對AI安全前沿的探索。安全與保障需要全端工程。”
隨著智能體開始進入辦公、開發、機器人及關鍵基礎設施等場景，輝達正加速推動這套安全架構落地。目前，採用相關技術開展合作的機構已經超過100家，包括Figure、Gecko Robotics和Skild AI等機器人公司，但沒有OpenAI。
比爾·蓋茲最近則在NBC對話中，直接劃清了自己和 "全面暫停派" 的界限。
他的原話：“我並不會說我們應該全面暫停或者減速。我要說的是，我們應該對在美國境內的所有 AI 施加要求。”
在比爾蓋茲看來，要求每一個 AI 系統內建防護和監控，"不會在任何重要意義上拖慢速度 —— 畢竟我們正處在這條指數級上升的曲線上"。他甚至把 "是否減速" 和 "是否裝防護" 拆成兩個獨立議題："防護和監控是另一回事，跟我們是否該放慢速度是分開的。"
主持人追問這會不會拖慢進展，他的回答是：那是另一場爭論，但決定把防護放進去，是我們擁有的一個選擇。
蓋茲反覆強調，今天的風險不是 AI 自己跑掉，而是拿到 AI 工具的人。
原話很重：“現在，一個小團隊借助 AI 就能做到過去只有最大的國家才能做的事。所以真正構成重大威脅的，就是惡意+AI 的組合。”
被問到 AI 是否強大到能終結全人類時，他沒有迴避：AI 確實有足夠的力量推動一些事件，那些會造成十億人死亡的事件，從來沒有一種武器，比心懷惡意的人 + 最新 AI 工具這個組合更強大。
但他同時區分了近期和遠期。比爾蓋茲稱，今天的大規模攻擊一定是有人類主導的；"完全失控" 並不是當期風險，那些末日敘事反而讓人們分心，"我擔心那反而讓人們分心了"。
“總體而言，現有證據與一條由軟體驅動的智能爆炸的連貫路徑相一致。AI 研發自動化帶來的生產力提升尚未達到觸發智能爆炸所需的閾值，但更新一代系統帶來的提升可能正在接近該閾值。AI 研發自動化的快速發展表明，這一差距將繼續縮小。鑑於我們將在下文討論的重大影響，智能爆炸的可能性值得進一步認真關注。”論文指出，人工智慧研發自動化正在快速推進，人工智慧進展可能會大幅加速，而相關利害關係十分重大。
該論文的合著者建議，世界各國領導人通過談判達成國際協議，“以防止高能力人工智慧系統的發展和使用造成不穩定”。
這與OpenAI和Anthropico的領導人呼籲引領人工智慧發展前沿的呼聲不謀而合，其中一項重要舉措是建立國際機構來制定AI標準。 (智能紀元AGI)