矽谷投資人Tom Davidson的硬核長文預測，給出了驚人結論：全端的AI大爆炸，或將率先發生在中國！而當晶片規模擴大1萬倍時，AI將逼近物理極限。

如果AI系統能自己設計出更強大的AI，智慧爆炸可能很快就會到來了！而人類，會被AI迅速甩在後面。

最近，矽谷投資人、EverFi CEO兼創始人Tom Davidson等人發表了一篇長文硬核部落格，詳細討論了智能爆炸（Intelligence explosion, IE）的類型以及對應的發生機率。

這篇文章裡，有許多非常爆炸的設想，但仔細一想，彷彿離變成現實並不遠了。

例如，AI會改進演算法和軟體，提高AI晶片的質量，同時提高晶片的產量。

這些過程，會形成幾種循環，周期分別是3個月、數月，以及數年。相對應的，就是軟體大爆炸、AI技術大爆炸，和全端大爆炸！

當回饋循環首次啟動，AI進步就有有一個初始的加速。

然後，作者透過計算給出了驚人的結論：在到達AI到達物理極限之前，這些反饋循環最終將導致有效計算能力增加13到33個數量級！

最終，爆炸性的結論來了——

AI在達到有效的物理極限之前，能進步到什麼程度？

答案是，軟體效率可能提升大概13個數量級，也就是1000億倍；晶片技術可能提升100倍左右；晶片製造規模可能擴大1萬倍左右！

所以，那個國家會率先實現全端大爆炸？答案是──很大可能是中國。

AI為自己設計軟體，開啟進化之路

今天看起來像科幻的課題，可能會在十年內成為現實。

如何理解即將到來的改變？

通往繁榮未來的有那些路徑？

Forethough是研究型非營利組織，專注於如何應對過渡到擁有超智慧AI系統的世界。

該組織認為AI系統很快可能比人類更有能力，並迅速推動技術發展。

一旦AI系統能自行設計、打造出更強大的AI系統，AI的發展速度就會加快，我們可能會見證一場智慧爆炸（IE）。

AI的能力會飛速提升，遠超人類水準。

經典的智慧爆炸，涉及一個回饋循環：AI設計出更好的軟體，這些軟體助力打造出更強大的AI，又能進一步改進軟體，形成持續的良性循環。

3種回饋，3種智能爆炸

AI開發過程中，有許多環節都能產生類似的正向回饋，主要有以下三種：

• 軟體回饋循環：AI開發出更好的軟體，包括訓練演算法、訓練後的增強、利用執行階段計算的方法（如o3）、合成資料以及任何非計算改進。
• 晶片技術回饋循環：AI設計更好的晶片，包括NVIDIA、TSMC、ASML等半導體公司進行的前沿研究和設計工作。
• 晶片生產回饋循環：AI和機器人生產更多晶片。

這些循環能引出三種智慧爆炸：

一種是僅由軟體最佳化帶來的軟體智慧爆炸；

一種是軟體和晶片技術共同改進引發的AI技術智慧爆炸；

還有一種是軟體、晶片技術與晶片生產帶來的全端智慧爆炸。

即使軟體智慧爆炸未能實現，或很快就陷入瓶頸，AI技術和全端智慧爆炸仍然是可能的。

智慧爆炸一開始可能較為平緩，但後續發展速度極有可能大幅加快。

研究顯示，每個回饋循環都能推動AI的加速進步。

在達到物理極限之前，有效算力可望提升20到30個數量級，使AI能力實現質的飛躍。

一般來說，軟體改進的時間延遲最短，接著是晶片技術改進，晶片製造的時間最長。

這些回饋循環可能推動三種不同類型的智慧爆炸（IE）：

• 軟體IE：僅由AI驅動的軟體改進，就足以推動AI快速且持續加速發展。
• AI技術IE：需要AI在軟體和晶片技術兩個方面同時改進，但無需在晶片生產環節中進行最佳化。
• 全端IE：要求在軟體、晶片技術和晶片生產三個方面均有所改進。

如果有效的物理極限還遠，IE的規模就會更大，速度也會更快。

預計在達到極限之前，軟體回饋循環能將有效算力提高約13個數量級（OOMs），晶片技術循環還能提高6個數量級，晶片生產回饋循環能再提高5個數量級。

若能把太空中太陽的能量都利用起來，還能再提高9個數量級。

若近期有效算力增加與AI能力提升之間的關係繼續成立，軟體將實現4個「GPT量級」的能力飛躍，也就是4個GPT-3到GPT-4的提升。

晶片技術方面可再實現約2個「GPT量級」的提升，晶片生產大約有2到5個「GPT量級」的提升。

這些智慧爆炸，擁有不同的戰略意義。

例如軟體大爆炸，最有可能出現在美國，因為這些AI晶片和演算法的擁有者掌握著高度集中的權力。

AI技術爆炸，最有可能出現在美國和半導體供應鏈中的其他國家和地區，例如台灣省、韓國、日本、荷蘭，而權力會更廣泛地分佈在AI演算法、AI晶片和半導體供應鏈所有者之間。

而全端爆炸，更有可能發生在中國和海灣國家等擁有強大工業基礎的國家，這種爆炸也會將權力更廣泛地分佈在整個工業基礎中。

三種回饋循環

1965年，數學家IJ Good提出了智慧爆炸的概念：

假設一台超智慧機器被定義為能遠遠超越最聰明人類的機器。由於設計機器屬於智力活動範疇，一台超智慧機器可以設計出更先進的機器，那麼無疑會發生一場「智慧爆炸」，人類的智力將遠遠拋在後面。因此，第一台超智慧機器將是人類的最後一項發明。

一旦AI能自主設計和建構更強大的AI系統，就會形成回饋循環。

實際上，AI開發中有許多環節可能產生正向回饋循環，其中有三個對IE有推動作用的關鍵回饋循環：

軟體回饋循環：AI對自身演算法、資料、訓練後最佳化和其他軟體技術進行改進。典型例子是完全自動化AI開發實驗室的研究和工作。在這裡，AI系統改進演算法，這些演算法用於開發更好的AI系統，進一步改進演算法。

晶片技術回饋循環：AI改進AI晶片的品質。典型例子是NVIDIA、TSMC、ASML等半導體公司研發部​​門的自動化，能在不增加工廠的情況下，做出運算速度更快、效能更好的晶片。在這些晶片上訓練或推理，AI能力得到提升。

晶片生產回饋循環：AI增加AI晶片的產量。典型例子是機器人完全自動化晶片工廠從建設到運營的整個過程，包括開採原材料、運輸、工廠建設和日常運作。機器人建造更多的工廠、生產更多晶片，用來訓練更強的AI系統，然後設計更好的機器人去建造更多的晶片工廠。

回饋循環需要多久

智慧爆炸到底能多快發生呢？

智慧爆炸不太可能一下子就發生，因為每個回饋循環都有時間延遲。

軟體回饋循環的時間最短，晶片生產回饋循環的時間最長：

• 訓練最先進的AI模型，大約需要3個月，這是軟體回饋循環中主要的時間延遲，不過微調等優化耗時少很多。
• 對於晶片技術反饋循環，將新技術整合到工廠並生產新晶片，通常需要數月。
• 建造新的晶片製造廠，往往需要數年，這是晶片生產反饋循環所需的。

因此，軟體改進的時間最短，其次是晶片技術改進，晶片生產需要的時間最長。

反饋循環的順序

理論上，IE可以由這三個回饋循環任意組合、以任意順序出現。

但實際上，軟體回饋循環很可能會先開始，然後是晶片技術，最後是晶片生產。

軟體是虛擬的，因此可能最先被自動化：

• A I實驗室可以自行產生自動化所需的所有數據。
• AI實驗室直接管自己的工作流程，這就更容易把軟體自動化。
• 和晶片技術、晶片生產回饋循環相比，軟體最初的回饋循環時間更短。

從定義來看，晶片技術也是虛擬的，但可能在軟體之後自動化：

• 晶片技術往往依賴研究人員的專業知識，而這些研究人員不在AI實驗室工作，因此更難取得訓練資料。
• 晶片技術涉及的任務比軟體更多樣化，自動化所有任務需要更長時間。
• 硬體研發實驗必須在現實世界中進行，很難自動判斷任務完成得好不好。

晶片生產涉及半導體供應鏈的各個環節，涉及廣泛的認知與物理任務，因此可能最後被自動化。

機器人技術一直是AI進步相對較慢的領域，而晶片生產需要先進的機器人技術。

首先，他們會優先考慮AI軟體，當軟體的潛力挖掘殆盡後，會將精力轉向晶片設計（比輝達的硬體設計，無需改裝晶片工廠）。同時，也會想辦法研發更快建造晶片工廠的新技術，減少時間落後。

三種智慧爆炸

要是這些回饋循環夠強，就會帶來智慧爆炸，讓AI能力快速提升！

有三種可能的類型：

• 軟體IE：只靠軟體回饋循環就能引發，最有可能突然發生。
• AI技術IE：軟體和晶片技術回饋循環共同作用，因為AI在改進軟體和晶片技術時，實現了認知工作自動化，但不需要物理自動化。和軟體相比，這種IE沒那麼突然。
• 全端IE：三個回饋循環一起發力，這種情況最不可能突然發生。

三種智慧爆炸類型可能依序出現，也可能只出現其中一種或兩種，甚至一種都不出現。

智慧爆炸呈現這種順序，很大程度上是由於相關回饋循環實現自動化的順序。

即使軟體和晶片技術回饋同時自動化，因為軟體循環的時間延遲更短，軟體IE仍會先於AI技術IE。

目前，AI技術IE和全端IE尚未得到充分深入的研究分析。

三種回饋循環的分析

AI的發展，會隨著時間推移加速嗎？

除了時間延遲，還有個因素要考慮，就是這些回饋循環可能不夠強，回饋太弱不足以讓AI發展加速。

回饋循環剛自動啟動時，AI發展會提速。但如果循環不夠強，之後發展速度可能又會降下來。

一開始，是人類推動AI發展（上圖綠色部分）。

接著，改進AI的工作慢慢實現自動化（上圖橘色部分）。

最後，基本上都是AI系統自我改進（上圖藍色部分）。

從實際經驗來看，在最後階段，AI發展開始會加速，直到最後趨於平緩。

回饋循環能不能讓發展加速，就看輸入翻倍的時候，輸出能增加多少：

要是輸出增加不只一倍，那發展就會加速，因為下一次輸入翻倍，能利用的輸出比上一次多，所以速度會更快。

研究改進AI軟體和硬體要付出的努力，的確能找到一些實際證據。

分析發現，如果沒有監管這類人為限制，軟體智慧爆炸機率約50%，AI技術智慧爆炸大概65%，全端智慧爆炸可能性大概80%。

1. 軟體智慧爆炸：很可能會加速，因為軟體回饋循環本身，就可能維持加速發展，可能性大概50%。

在各個AI領域，效率提升很明顯，研究投入翻倍，計算效率提升不只一倍（Epoch估計在多個領域，投入翻倍，輸出能增加0.8到3.5倍）。

考慮了效率以外的其他發展因素，再做些調整，加速發展好像蠻合理。

而Davidson預計，每增加1倍的認知投入，輸出能增加1.2倍，範圍在0.4到3.6倍之間）

2.  AI技術智慧爆炸：加速的可能性也很大。只要晶片技術回饋循環，就足以維持加速發展，可能性大概65%。

如此看來，軟體和晶片技術反饋循環加起來，很可能推動加速發展，可能性大概75%。

從歷史數據來看，硬體研發投入翻倍，每美元能換來的FLOP大概提升5倍。

要是只算認知投入，這個數字會降低，如果接近物理極限，也會降低，但投入翻倍，輸出增加一倍以上還是有可能的。

3. 全端智能爆炸：極有可能加速。

晶片製造回饋循環本身，很可能維持加速發展，可能性大概80%。

和其他回饋循環一起，全端智慧爆炸加速的可能性大概90%。

要是能創造建造實體資本用的機器人和基礎設施，投入翻倍，產出基本上也能翻倍。

因為不考慮資源限制，機器人多一倍，製造出來的東西也能多一倍。

要是機器人還能自我改進，那投入翻倍，產出增加肯定不只一倍。

當然，要是稀缺自然資源開採越來越難，投入翻倍，產出增加可能不到一倍。

但從歷史經驗來看，原料稀缺的時候，創新一般能彌補這個問題。

不過要注意，把監管等人為限制考慮進去，整體加速發展的可能性就會降低。

在達到物理極限之前，AI能發展到何種程度？

除了發展速度會不會加快，還要考慮每個回饋循環在接近物理極限前，AI能有多大發展。

要是物理上限很高，那AI整體發展空間就大，而且有更多時間加速，發展的最快速度也就能更快。

現在，有效訓練計算大概每3個月加倍一次。

而理論上，發展最快速度能達到近期速度的100倍，差不多是「有效訓練算力」每天翻倍。

但實際上，可能因為技術限制或人為因素，到不了這麼快，也可能還沒加速到速度上限，就達到物理極限了。

總的來說，很難精準估計最快速度，但至少看起來會非常快。

如果這些極限更高，那麼不僅可以實現更多的總進展，而且進展的最大速度（包括加速度）將更快

可以從有效計算的角度，來衡量離物理極限有多遠。

在達到物理極限前，估計軟體效率可能提升大概13個數量級，也就是10,000億倍；晶片技術可能提升100倍左右；晶片製造規模可能擴大1萬倍左右。

1. 軟體：效率可能提升大概13個數量級，但不確定度很大。

要是一開始用1e29 FLOP訓練頂級AI，比人類學習（大概1e24 FLOP）效率低5個數量級左右。

和人腦相比，軟體估計還有大概8個數量級的提升空間，不確定性特別大（這裡只算訓練效率，沒算軟體其他方面的發展）。

2. 晶片技術：在現在的技術模式下，可能提升2個數量級左右。

要是技術接近蘭道爾極限（不可逆計算在能量效率上的物理限制），總共可能提升6個數量級左右。

要是用可逆計算，可能提升空間更大。

3. 晶片製造：利用地球上的能量，規模可能擴大5個數量級左右。

要是用太空太陽能，把太陽發出的能量都收集起來，還能再擴大9個數量級左右。

每個回饋循環在達到物理限制之前，總共有多少改進空間的估計。

把這三個回饋循環的極限加起來，就能知道三種智慧爆炸在達到物理極限前能發展到啥程度：

1. 軟體智慧爆炸：有效算力可能提升13個數量級左右，甚至更多。

2.  AI技術智慧爆炸：有效算力可能提升19個數量級以上。

3. 全端智能爆炸：利用地球上的能量，有效算力可能提升24個數量級左右；要是利用所有太陽能，可能提升33個數量級左右。

對每次智慧爆炸在達到物理極限之前，總共有多少改進空間的估計。

智慧爆炸的速度

以下是三種比較可能出現的情況：

1. 漸進狀況：全端智能爆炸慢慢發生。

光軟體和晶片技術回饋循環，推動AI加速發展。

因為時間延遲，全端智慧爆炸剛開始發展慢，跟2020-2024年的速度差不多。

但隨著時間推移，它會加速，最後變得特別快，翻倍時間可能幾個月，甚至更短，因為有效物理極限很高。

2. 波動狀況：先是軟體智慧爆炸，但再提升3個數量級左右就慢下來了。之後，AI技術和（或）全端智慧爆炸開始，一開始速度比較慢，最後變得特別快。

3. 快速狀況：軟體智慧爆炸規模很大，能提升6個數量級以上，而且幾個月內就發生，而且物理極限還很高。

這讓技術有很大改進，大大縮短了晶片技術和晶片製造反饋循環的時間延遲。

所以，後面的AI技術和（或）全端智能爆炸一開始就很快。

而且在軟體智慧爆炸趨於平穩之前，不會明顯減速。

對於前兩種情況，也就是超級AI要過很久、等產業擴張後才出現的狀況，現在還沒有多少人從戰略角度好好思考過。

參考資料：

https://www.forethought.org/research/three-types-of-intelligence-explosion （新智元）