今天，AI教父、諾獎得主Geoffrey Hinton轉發的一篇長文引起廣泛關注。
該文章共有22位署名作者，除了Geoffrey Hinton、Yoshua Bengio等學術圈大牛，還匯聚了OpenAI首席科學家Jakub Pachocki、Anthropic聯創Jack Clark、Microsoft首席科學官Eric Horvitz等產業界名人。
這些頂尖科學家在文中探討了當前最熱門的RSI話題：如果AI研發自動化引發“智能爆炸”會怎樣？
“智能爆炸”進入倒計時
電腦科學家們很早就提出過猜想：終有一天，AI系統能夠設計出一代比一代更強的AI後繼版本，造出數量、速度、性能全都遠超人類的智能系統。
如今，前沿AI企業正致力於實現AI研發自動化，整體投入的資本規模，按佔美國GDP比重來算，超過當年曼哈頓計畫與阿波羅登月計畫加在一起的總和。
智能爆炸的出現，可能推動AI在硬體、軟體兩方面的突破。硬體方面，會提升開發、運行AI所用算力的品質與總量；軟體方面，則會最佳化AI研發用到的資料、演算法、程式碼與整套流程。
科學家們表示，短期來看，軟體層面的進展尤其值得警惕，有兩個原因：第一，AI本身做AI科研的能力正在快速變強，能更好地產出技術突破；第二，軟體改進可以形成快速的反饋閉環：升級後的AI幾乎可以立刻投入到研發流程中；而硬體迭代，往往要經歷長達數年的生產、製造周期。
現有證據初步表明，軟體驅動的智能爆炸極有可能很快發生。一旦真的出現，這或將是人類歷史上影響最深遠的技術變革之一：AI能迅速在絕大多數領域超越人類專家，極大加快整體科技進步速度。
這件事利害重大，但留給人類採取管理行動的窗口期可能很短。
論文基於OpenAI、Anthropic在AI自動化方面的技術趨勢做了初步推算：到2028年年中，此前耗時數月的AI研發項目將可完全實現自動化。
一旦AI系統達到專家級的AI研發能力，且運行成本和當前系統持平，那麼如今單個前沿企業所能呼叫的算力，就足以支撐一支至少相當於數百萬頂尖人類研究員規模的AI研發隊伍。
AI還能打造能力更強、效率更高的下一代AI，持續擴充自動化研發隊伍，形成反饋循環，讓迭代加速效應不斷疊加，隨著AI在越來越多研發任務上替代人類，每一次軟體層面的進步，都會加速佔比越來越高的研發全流程。
如果實現完全自動化，即便只維持當前的效率提升速度，自動化研發隊伍的規模在數月或數年內就能擴大100倍，而美國人類科研人員總數完成同等規模的增長，大概需要花70年時間。
事關人類文明存亡
智能爆炸將會帶來兩大有利結果：（1）具備超強能力或超越人類水平的AI系統會以極快速度問世；（2）這些系統很可能被投入使用，用來研發新技術、在現實世界執行各類行動。
它能把原本按照當前AI發展節奏，需要很多年甚至幾十年才能落地的利多成果提前兌現，包括疾病療法，以及可實現大規模原子級製造這類顛覆性技術。
但與此同時，也會從三方面顯著放大先進AI帶來的風險：
1、能力增長速度超出人類社會引導與適應的能力
智能爆炸會大幅提前先進AI以及AI賦能技術的各類風險，例如生物攻擊、網路攻擊、勞動力市場動盪，還有人類失去對AI系統本身控制權的風險。留給人類規避風險的時間會被壓縮，包括協調各方，放緩甚至放棄研發某些高風險能力與技術。社會的適應時間也會變少；尤其是當AI催生威脅的速度，超過人類應對威脅所需的準備速度時，問題會更加突出。
在網路空間這類高度數位化領域，風險與應對手段都可以跟著AI的速度同步迭代，二者尚能保持平衡。但在其他領域，風險的應對措施更多依賴現實世界的線下活動，AI很難加速這類活動。
舉例來說：AI既可以加速病毒設計，也能加速疫苗研發；但病毒可以自我複製、自行傳播，而疫苗卻要生產、運輸，還需要逐個接種到人體。 AI各項能力落地的先後順序，還會進一步放大這種失衡，如果具備生物研發能力的模型率先問世，而對應的濫用防護機制還沒有準備好，風險就會加劇。
2、監督與管控失效
AI研發自動化會削弱人類的監督能力。隨著人類在AI研發中的參與度持續降低，人類會逐漸失去發現、修復問題所需的機會與專業知識。依靠AI系統來監督AI本身，目前仍是一個未能解決的難題，新一代模型也變得越來越難以監管。
一旦監督不足，目標對齊失敗的AI系統有可能“污染”下一代AI的研發過程，或是突破隔離限制，在預設環境之外自主行動。
能力更強的AI系統，有可能脫離操作者的基礎設施持續運行，形成難以封鎖的長期網路，做出損害人類利益的行為，一旦徹底失控，會引發一系列災難性後果，極端情況下甚至會導致人類被邊緣化乃至滅絕。
3、權力制衡機制遭到破壞
智能爆炸會嚴重侵蝕現有的權力制衡體系。國家內部、企業之間、政府各部門之間現有的制衡機制，成立的前提是：沒有任何一方的思考與執行能力遠超其他主體。
而智能爆炸會讓這些制衡形同虛設，一個國家可以借助智能爆炸，把軍事研發或作戰領域微弱的領先優勢，轉化為決定性的碾壓優勢，這種前景會促使競爭對手採取或威脅採取先發制人的行動。
能夠優先、秘密使用前沿AI系統的主體，可能會威脅現有體制，例如定向說服關鍵決策者，長期來看，如果國家核心職能也實現AI自動化，鞏固權力所需要獲得的人類支援也會變少。
守住AI進化控制權
面對即將實現自進化的前沿AI，人類目前的準備遠遠不足。
這些科學家們在文中呼籲政策制定者應當立刻開展三項工作：（1）掌握前沿AI企業內部AI研發自動化的真實進展；（2）研究能夠引導、約束智能爆炸的手段；（3）做好準備，以應對智能爆炸帶來的各類衝擊。
具體來說，建立統一、強制的AI研發自動化資料上報與第三方審計機制，即時監測智能爆炸的發生跡象、失控風險與技術迭代速度，解決目前企業內部研發不透明的問題。
管控AI自動化研發的擴容節奏，通過安全隔離、算力監管、進度約束防範技術失控，引導AI研發向安全、利民領域傾斜，同時搭建國際信任機制與衝突防控體系，避免AI軍備競賽與地緣對抗。
提升政府機構應急響應能力，完善極端AI風險應急預案，健全法律與制度防護體系，維護權力制衡、防範AI濫用，保障社會、公民及國家層面能夠應對智能爆炸帶來的各類衝擊。
在這些科學家們看來，AI進化的控制權正在悄然易位，其中最不可逆的風險，是人類在對抗和觀望中漸漸耗盡準備應對的時間。(頭部科技)