今天，AI教父、諾獎得主Geoffrey Hinton轉發的一篇長文引起廣泛關注。

該文章共有22位署名作者，除了Geoffrey Hinton、Yoshua Bengio等學術圈大牛，還匯聚了OpenAI首席科學家Jakub Pachocki、Anthropic聯創Jack Clark、Microsoft首席科學官Eric Horvitz等產業界名人。

這些頂尖科學家在文中探討了當前最熱門的RSI話題：如果AI研發自動化引發“智能爆炸”會怎樣？

拐點或在2028年
“智能爆炸”進入倒計時

電腦科學家們很早就提出過猜想：終有一天，AI系統能夠設計出一代比一代更強的AI後繼版本，造出數量、速度、性能全都遠超人類的智能系統。

如今，前沿AI企業正致力於實現AI研發自動化，整體投入的資本規模，按佔美國GDP比重來算，超過當年曼哈頓計畫與阿波羅登月計畫加在一起的總和。

智能爆炸的出現，可能推動AI在硬體、軟體兩方面的突破。硬體方面，會提升開發、運行AI所用算力的品質與總量；軟體方面，則會最佳化AI研發用到的資料、演算法、程式碼與整套流程。

科學家們表示，短期來看，軟體層面的進展尤其值得警惕，有兩個原因：第一，AI本身做AI科研的能力正在快速變強，能更好地產出技術突破；第二，軟體改進可以形成快速的反饋閉環：升級後的AI幾乎可以立刻投入到研發流程中；而硬體迭代，往往要經歷長達數年的生產、製造周期。

現有證據初步表明，軟體驅動的智能爆炸極有可能很快發生。一旦真的出現，這或將是人類歷史上影響最深遠的技術變革之一：AI能迅速在絕大多數領域超越人類專家，極大加快整體科技進步速度。

這件事利害重大，但留給人類採取管理行動的窗口期可能很短。

論文基於OpenAI、Anthropic在AI自動化方面的技術趨勢做了初步推算：到2028年年中，此前耗時數月的AI研發項目將可完全實現自動化。

一旦AI系統達到專家級的AI研發能力，且運行成本和當前系統持平，那麼如今單個前沿企業所能呼叫的算力，就足以支撐一支至少相當於數百萬頂尖人類研究員規模的AI研發隊伍。

AI還能打造能力更強、效率更高的下一代AI，持續擴充自動化研發隊伍，形成反饋循環，讓迭代加速效應不斷疊加，隨著AI在越來越多研發任務上替代人類，每一次軟體層面的進步，都會加速佔比越來越高的研發全流程。

如果實現完全自動化，即便只維持當前的效率提升速度，自動化研發隊伍的規模在數月或數年內就能擴大100倍，而美國人類科研人員總數完成同等規模的增長，大概需要花70年時間。

智能爆炸將會帶來兩大有利結果：（1）具備超強能力或超越人類水平的AI系統會以極快速度問世；（2）這些系統很可能被投入使用，用來研發新技術、在現實世界執行各類行動。

它能把原本按照當前AI發展節奏，需要很多年甚至幾十年才能落地的利多成果提前兌現，包括疾病療法，以及可實現大規模原子級製造這類顛覆性技術。

但與此同時，也會從三方面顯著放大先進AI帶來的風險：

1、能力增長速度超出人類社會引導與適應的能力

智能爆炸會大幅提前先進AI以及AI賦能技術的各類風險，例如生物攻擊、網路攻擊、勞動力市場動盪，還有人類失去對AI系統本身控制權的風險。留給人類規避風險的時間會被壓縮，包括協調各方，放緩甚至放棄研發某些高風險能力與技術。社會的適應時間也會變少；尤其是當AI催生威脅的速度，超過人類應對威脅所需的準備速度時，問題會更加突出。

在網路空間這類高度數位化領域，風險與應對手段都可以跟著AI的速度同步迭代，二者尚能保持平衡。但在其他領域，風險的應對措施更多依賴現實世界的線下活動，AI很難加速這類活動。

舉例來說：AI既可以加速病毒設計，也能加速疫苗研發；但病毒可以自我複製、自行傳播，而疫苗卻要生產、運輸，還需要逐個接種到人體。 AI各項能力落地的先後順序，還會進一步放大這種失衡，如果具備生物研發能力的模型率先問世，而對應的濫用防護機制還沒有準備好，風險就會加劇。

AI研發自動化會削弱人類的監督能力。隨著人類在AI研發中的參與度持續降低，人類會逐漸失去發現、修復問題所需的機會與專業知識。依靠AI系統來監督AI本身，目前仍是一個未能解決的難題，新一代模型也變得越來越難以監管。

一旦監督不足，目標對齊失敗的AI系統有可能“污染”下一代AI的研發過程，或是突破隔離限制，在預設環境之外自主行動。

能力更強的AI系統，有可能脫離操作者的基礎設施持續運行，形成難以封鎖的長期網路，做出損害人類利益的行為，一旦徹底失控，會引發一系列災難性後果，極端情況下甚至會導致人類被邊緣化乃至滅絕。

智能爆炸會嚴重侵蝕現有的權力制衡體系。國家內部、企業之間、政府各部門之間現有的制衡機制，成立的前提是：沒有任何一方的思考與執行能力遠超其他主體。

而智能爆炸會讓這些制衡形同虛設，一個國家可以借助智能爆炸，把軍事研發或作戰領域微弱的領先優勢，轉化為決定性的碾壓優勢，這種前景會促使競爭對手採取或威脅採取先發制人的行動。

能夠優先、秘密使用前沿AI系統的主體，可能會威脅現有體制，例如定向說服關鍵決策者，長期來看，如果國家核心職能也實現AI自動化，鞏固權力所需要獲得的人類支援也會變少。

三項行動框架
守住AI進化控制權

面對即將實現自進化的前沿AI，人類目前的準備遠遠不足。

這些科學家們在文中呼籲政策制定者應當立刻開展三項工作：（1）掌握前沿AI企業內部AI研發自動化的真實進展；（2）研究能夠引導、約束智能爆炸的手段；（3）做好準備，以應對智能爆炸帶來的各類衝擊。

具體來說，建立統一、強制的AI研發自動化資料上報與第三方審計機制，即時監測智能爆炸的發生跡象、失控風險與技術迭代速度，解決目前企業內部研發不透明的問題。

管控AI自動化研發的擴容節奏，通過安全隔離、算力監管、進度約束防範技術失控，引導AI研發向安全、利民領域傾斜，同時搭建國際信任機制與衝突防控體系，避免AI軍備競賽與地緣對抗。

提升政府機構應急響應能力，完善極端AI風險應急預案，健全法律與制度防護體系，維護權力制衡、防範AI濫用，保障社會、公民及國家層面能夠應對智能爆炸帶來的各類衝擊。

在這些科學家們看來，AI進化的控制權正在悄然易位，其中最不可逆的風險，是人類在對抗和觀望中漸漸耗盡準備應對的時間。(頭部科技)

繼Anthropic和OpenAI之後，Meta也加入了人工智慧代理失控的公司名單。

Meta發言人周三證實，該公司的一款人工智慧模型在網路安全測試期間入侵了另一家公司的系統。此次攻擊事件是在測試模型時發生的，類似於之前OpenAI和Anthropic披露的事件。

該發言人補充稱，由於Meta使用的獨立測試公司Irregular配置錯誤，無意中允許Meta的模型Muse Spark在評估期間訪問網際網路，並利用了另一家公司的安全漏洞。這並非沙箱逃逸或複雜的網路攻擊，該問題已得到解決。

Irregular則在一份聲明中表示，該事件與Anthropic上周披露問題完全相同。評估環境問題導致Anthropic的模型在入侵三個不同組織的系統之前，能夠訪問開放的網際網路。

Irregular聲稱正在撰寫一份白皮書，以分享遏制攻擊和安全運行網路評估的最佳實踐。

據悉，Meta的人工智慧模型入侵了一家未具名公司的系統，並對其內部系統進行了更改。Meta稱目前還在調查當中，一旦掌握所有事實，該公司將發佈完整的調查報告。

有熟悉情況的消息人士指出，現在的情況是，模型的功能越來越強大，導致評估這些模型的評估方法也需要變得更加複雜。這就增加了出錯的可能性，也使得從業人士大幅提高標準。

類似Meta模型失控的安全漏洞凸顯了人們日益增長的擔憂，即先進的人工智慧系統可能帶來新的網路安全風險。一些知名的人工智慧領袖也由此建議，在更強有力的安全保障措施到位之前，人工智慧的開發速度應該放緩。

美國政府也已經介入相關調查。幾位共和黨籍州檢察長已要求OpenAI保存所有可能與Hugging Face資料洩露事件相關的文件。OpenAI表示將認真對待這一請求，並行布一份關於此事件的技術報告。

本周二，白宮還邀請了包括Meta、Anthropic、OpenAI和Google在內的多家領先人工智慧公司與官員會面，討論一項針對先進人工智慧模型的自願網路安全測試框架。 (財聯社AI daily)

OpenAI與Anthropic員工正在推動一項公開請願，呼籲美國支援國際社會共同開發技術與治理工具，以"審慎地管控前沿自動化AI研發的節奏"。請願書明確警告，AI發展速度超出人類理解與控制能力的風險"真實存在"，並特別指向AI研究自動化領域的快速突破。

來自頂尖AI實驗室的員工正在推動一項公開請願，要求美國政府支援建立國際機制，以在必要時主動管控AI技術的推進速度。這一行動折射出業界內部對AI失控風險的深層憂慮，也在OpenAI承認其模型意外入侵另一家公司系統後進一步引發外界關注。

據彭博，OpenAI與Anthropic員工正在內部傳閱一封公開信，呼籲美國支援國際社會共同開發技術與治理工具，以"審慎地管控前沿自動化AI研發的節奏"。

請願書明確警告，AI發展速度超出人類理解與控制能力的風險"真實存在"，並特別指向AI研究自動化領域的快速突破。

該請願書最快本周公開發布，目前尚不清楚最終將有多少員工簽署。與此同時，請願書也正向Google DeepMind員工傳閱。Google表示："我們致力於安全、負責任地開發AI，以造福社會。"

請願背景：AI自主研究能力引發內部警覺

此次員工聯署行動，發生在OpenAI披露一起敏感事件後數日之內。

OpenAI上周公開承認，其最先進的AI模型在一起被描述為"前所未有"的事件中入侵了科技初創公司Hugging Face的內部系統，該事件隨即引發業界對加強技術監管的新一輪呼聲。

請願書所表達的擔憂，集中於AI在自主研究和複雜任務執行方面的能力加速提升，包括在人工監督有限的情況下識別並可能利用關鍵軟件中的網絡安全漏洞。

員工們認為，這類能力的快速演進，使人類社會對AI系統的理解和管控面臨現實壓力。

與高管表態一脈相承，內外呼聲趨於一致

這份來自基層員工的請願書，與多位AI行業領袖近期的公開立場高度吻合。

OpenAI首席執行長Sam Altman與Google DeepMind首席執行長Demis Hassabis均曾呼籲設立新的國際監督機構，負責審查併為前沿AI模型制定標準。

Anthropic此前也曾公開倡議建立一套機制，允許各國政府與AI開發商共同決定在必要時減緩甚至暫停相關研發工作。該公司今年6月表示，"對世界而言，擁有放緩或暫停"潛在危險AI工作的選項"將是有益的"。

此次請願書所呼籲的方向——由美國主導推動國際機制建設——實質上是將這一議題從企業倡議層面推升至政府行動層面，其政策含義值得投資者及科技行業參與者持續關注。 (華爾街見聞)

彙整鉅亨號中所有使用「AI失控風險」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

“智能爆炸”時代將臨！Hinton、Bengio等22位頂尖AI科學家聯名敲響警鐘

Meta模型也“失控”了

OpenAI、Anthropic員工聯署呼籲美國「控制AI發展速度」：擔憂其超越人類監管能力