矽谷投資人Tom Davidson的硬核長文預測,給出了驚人結論:全端的AI大爆炸,或將率先發生在中國!而當晶片規模擴大1萬倍時,AI將逼近物理極限。如果AI系統能自己設計出更強大的AI,智慧爆炸可能很快就會到來了!而人類,會被AI迅速甩在後面。最近,矽谷投資人、EverFi CEO兼創始人Tom Davidson等人發表了一篇長文硬核部落格,詳細討論了智能爆炸(Intelligence explosion, IE)的類型以及對應的發生機率。這篇文章裡,有許多非常爆炸的設想,但仔細一想,彷彿離變成現實並不遠了。例如,AI會改進演算法和軟體,提高AI晶片的質量,同時提高晶片的產量。這些過程,會形成幾種循環,周期分別是3個月、數月,以及數年。相對應的,就是軟體大爆炸、AI技術大爆炸,和全端大爆炸!當回饋循環首次啟動,AI進步就有有一個初始的加速。然後,作者透過計算給出了驚人的結論:在到達AI到達物理極限之前,這些反饋循環最終將導致有效計算能力增加13到33個數量級!最終,爆炸性的結論來了——AI在達到有效的物理極限之前,能進步到什麼程度?答案是,軟體效率可能提升大概13個數量級,也就是1000億倍;晶片技術可能提升100倍左右;晶片製造規模可能擴大1萬倍左右!所以,那個國家會率先實現全端大爆炸?答案是──很大可能是中國。AI為自己設計軟體,開啟進化之路今天看起來像科幻的課題,可能會在十年內成為現實。如何理解即將到來的改變?通往繁榮未來的有那些路徑?Forethough是研究型非營利組織,專注於如何應對過渡到擁有超智慧AI系統的世界。該組織認為AI系統很快可能比人類更有能力,並迅速推動技術發展。一旦AI系統能自行設計、打造出更強大的AI系統,AI的發展速度就會加快,我們可能會見證一場智慧爆炸(IE)。AI的能力會飛速提升,遠超人類水準。經典的智慧爆炸,涉及一個回饋循環:AI設計出更好的軟體,這些軟體助力打造出更強大的AI,又能進一步改進軟體,形成持續的良性循環。3種回饋,3種智能爆炸AI開發過程中,有許多環節都能產生類似的正向回饋,主要有以下三種:軟體回饋循環:AI開發出更好的軟體,包括訓練演算法、訓練後的增強、利用執行階段計算的方法(如o3)、合成資料以及任何非計算改進。晶片技術回饋循環:AI設計更好的晶片,包括NVIDIA、TSMC、ASML等半導體公司進行的前沿研究和設計工作。晶片生產回饋循環:AI和機器人生產更多晶片。三種回饋循環這些循環能引出三種智慧爆炸:一種是僅由軟體最佳化帶來的軟體智慧爆炸;一種是軟體和晶片技術共同改進引發的AI技術智慧爆炸;還有一種是軟體、晶片技術與晶片生產帶來的全端智慧爆炸。三次智慧爆炸即使軟體智慧爆炸未能實現,或很快就陷入瓶頸,AI技術和全端智慧爆炸仍然是可能的。智慧爆炸一開始可能較為平緩,但後續發展速度極有可能大幅加快。研究顯示,每個回饋循環都能推動AI的加速進步。在達到物理極限之前,有效算力可望提升20到30個數量級,使AI能力實現質的飛躍。一般來說,軟體改進的時間延遲最短,接著是晶片技術改進,晶片製造的時間最長。這些回饋循環可能推動三種不同類型的智慧爆炸(IE):軟體IE:僅由AI驅動的軟體改進,就足以推動AI快速且持續加速發展。AI技術IE:需要AI在軟體和晶片技術兩個方面同時改進,但無需在晶片生產環節中進行最佳化。全端IE:要求在軟體、晶片技術和晶片生產三個方面均有所改進。如果有效的物理極限還遠,IE的規模就會更大,速度也會更快。預計在達到極限之前,軟體回饋循環能將有效算力提高約13個數量級(OOMs),晶片技術循環還能提高6個數量級,晶片生產回饋循環能再提高5個數量級。若能把太空中太陽的能量都利用起來,還能再提高9個數量級。若近期有效算力增加與AI能力提升之間的關係繼續成立,軟體將實現4個「GPT量級」的能力飛躍,也就是4個GPT-3到GPT-4的提升。晶片技術方面可再實現約2個「GPT量級」的提升,晶片生產大約有2到5個「GPT量級」的提升。這些智慧爆炸,擁有不同的戰略意義。例如軟體大爆炸,最有可能出現在美國,因為這些AI晶片和演算法的擁有者掌握著高度集中的權力。AI技術爆炸,最有可能出現在美國和半導體供應鏈中的其他國家和地區,例如台灣省、韓國、日本、荷蘭,而權力會更廣泛地分佈在AI演算法、AI晶片和半導體供應鏈所有者之間。而全端爆炸,更有可能發生在中國和海灣國家等擁有強大工業基礎的國家,這種爆炸也會將權力更廣泛地分佈在整個工業基礎中。三種回饋循環1965年,數學家IJ Good提出了智慧爆炸的概念:假設一台超智慧機器被定義為能遠遠超越最聰明人類的機器。由於設計機器屬於智力活動範疇,一台超智慧機器可以設計出更先進的機器,那麼無疑會發生一場「智慧爆炸」,人類的智力將遠遠拋在後面。因此,第一台超智慧機器將是人類的最後一項發明。一旦AI能自主設計和建構更強大的AI系統,就會形成回饋循環。實際上,AI開發中有許多環節可能產生正向回饋循環,其中有三個對IE有推動作用的關鍵回饋循環:軟體回饋循環:AI對自身演算法、資料、訓練後最佳化和其他軟體技術進行改進。典型例子是完全自動化AI開發實驗室的研究和工作。在這裡,AI系統改進演算法,這些演算法用於開發更好的AI系統,進一步改進演算法。晶片技術回饋循環:AI改進AI晶片的品質。典型例子是NVIDIA、TSMC、ASML等半導體公司研發部門的自動化,能在不增加工廠的情況下,做出運算速度更快、效能更好的晶片。在這些晶片上訓練或推理,AI能力得到提升。晶片生產回饋循環:AI增加AI晶片的產量。典型例子是機器人完全自動化晶片工廠從建設到運營的整個過程,包括開採原材料、運輸、工廠建設和日常運作。機器人建造更多的工廠、生產更多晶片,用來訓練更強的AI系統,然後設計更好的機器人去建造更多的晶片工廠。回饋循環需要多久智慧爆炸到底能多快發生呢?智慧爆炸不太可能一下子就發生,因為每個回饋循環都有時間延遲。軟體回饋循環的時間最短,晶片生產回饋循環的時間最長:訓練最先進的AI模型,大約需要3個月,這是軟體回饋循環中主要的時間延遲,不過微調等優化耗時少很多。對於晶片技術反饋循環,將新技術整合到工廠並生產新晶片,通常需要數月。建造新的晶片製造廠,往往需要數年,這是晶片生產反饋循環所需的。三種回饋循環,時間延遲以橘色表示因此,軟體改進的時間最短,其次是晶片技術改進,晶片生產需要的時間最長。進一步細分三個回饋循環,並將每個細分時間延遲的持續時間視覺化反饋循環的順序理論上,IE可以由這三個回饋循環任意組合、以任意順序出現。但實際上,軟體回饋循環很可能會先開始,然後是晶片技術,最後是晶片生產。軟體是虛擬的,因此可能最先被自動化:A I實驗室可以自行產生自動化所需的所有數據。AI實驗室直接管自己的工作流程,這就更容易把軟體自動化。和晶片技術、晶片生產回饋循環相比,軟體最初的回饋循環時間更短。從定義來看,晶片技術也是虛擬的,但可能在軟體之後自動化:晶片技術往往依賴研究人員的專業知識,而這些研究人員不在AI實驗室工作,因此更難取得訓練資料。晶片技術涉及的任務比軟體更多樣化,自動化所有任務需要更長時間。硬體研發實驗必須在現實世界中進行,很難自動判斷任務完成得好不好。晶片生產涉及半導體供應鏈的各個環節,涉及廣泛的認知與物理任務,因此可能最後被自動化。機器人技術一直是AI進步相對較慢的領域,而晶片生產需要先進的機器人技術。首先,他們會優先考慮AI軟體,當軟體的潛力挖掘殆盡後,會將精力轉向晶片設計(比輝達的硬體設計,無需改裝晶片工廠)。同時,也會想辦法研發更快建造晶片工廠的新技術,減少時間落後。三種智慧爆炸要是這些回饋循環夠強,就會帶來智慧爆炸,讓AI能力快速提升!有三種可能的類型:軟體IE:只靠軟體回饋循環就能引發,最有可能突然發生。AI技術IE:軟體和晶片技術回饋循環共同作用,因為AI在改進軟體和晶片技術時,實現了認知工作自動化,但不需要物理自動化。和軟體相比,這種IE沒那麼突然。全端IE:三個回饋循環一起發力,這種情況最不可能突然發生。三種智慧爆炸類型可能依序出現,也可能只出現其中一種或兩種,甚至一種都不出現。三個回饋循環與三次智能爆炸的關聯智慧爆炸呈現這種順序,很大程度上是由於相關回饋循環實現自動化的順序。即使軟體和晶片技術回饋同時自動化,因為軟體循環的時間延遲更短,軟體IE仍會先於AI技術IE。軟體智能大爆發目前,AI技術IE和全端IE尚未得到充分深入的研究分析。三種回饋循環的分析AI的發展,會隨著時間推移加速嗎?除了時間延遲,還有個因素要考慮,就是這些回饋循環可能不夠強,回饋太弱不足以讓AI發展加速。回饋循環剛自動啟動時,AI發展會提速。但如果循環不夠強,之後發展速度可能又會降下來。一開始,是人類推動AI發展(上圖綠色部分)。接著,改進AI的工作慢慢實現自動化(上圖橘色部分)。最後,基本上都是AI系統自我改進(上圖藍色部分)。從實際經驗來看,在最後階段,AI發展開始會加速,直到最後趨於平緩。回饋循環能不能讓發展加速,就看輸入翻倍的時候,輸出能增加多少:要是輸出增加不只一倍,那發展就會加速,因為下一次輸入翻倍,能利用的輸出比上一次多,所以速度會更快。研究改進AI軟體和硬體要付出的努力,的確能找到一些實際證據。分析發現,如果沒有監管這類人為限制,軟體智慧爆炸機率約50%,AI技術智慧爆炸大概65%,全端智慧爆炸可能性大概80%。1. 軟體智慧爆炸:很可能會加速,因為軟體回饋循環本身,就可能維持加速發展,可能性大概50%。在各個AI領域,效率提升很明顯,研究投入翻倍,計算效率提升不只一倍(Epoch估計在多個領域,投入翻倍,輸出能增加0.8到3.5倍)。考慮了效率以外的其他發展因素,再做些調整,加速發展好像蠻合理。而Davidson預計,每增加1倍的認知投入,輸出能增加1.2倍,範圍在0.4到3.6倍之間)2. AI技術智慧爆炸:加速的可能性也很大。只要晶片技術回饋循環,就足以維持加速發展,可能性大概65%。如此看來,軟體和晶片技術反饋循環加起來,很可能推動加速發展,可能性大概75%。從歷史數據來看,硬體研發投入翻倍,每美元能換來的FLOP大概提升5倍。要是只算認知投入,這個數字會降低,如果接近物理極限,也會降低,但投入翻倍,輸出增加一倍以上還是有可能的。3. 全端智能爆炸:極有可能加速。晶片製造回饋循環本身,很可能維持加速發展,可能性大概80%。和其他回饋循環一起,全端智慧爆炸加速的可能性大概90%。要是能創造建造實體資本用的機器人和基礎設施,投入翻倍,產出基本上也能翻倍。因為不考慮資源限制,機器人多一倍,製造出來的東西也能多一倍。要是機器人還能自我改進,那投入翻倍,產出增加肯定不只一倍。當然,要是稀缺自然資源開採越來越難,投入翻倍,產出增加可能不到一倍。但從歷史經驗來看,原料稀缺的時候,創新一般能彌補這個問題。不過要注意,把監管等人為限制考慮進去,整體加速發展的可能性就會降低。在達到物理極限之前,AI能發展到何種程度?除了發展速度會不會加快,還要考慮每個回饋循環在接近物理極限前,AI能有多大發展。要是物理上限很高,那AI整體發展空間就大,而且有更多時間加速,發展的最快速度也就能更快。現在,有效訓練計算大概每3個月加倍一次。而理論上,發展最快速度能達到近期速度的100倍,差不多是「有效訓練算力」每天翻倍。但實際上,可能因為技術限制或人為因素,到不了這麼快,也可能還沒加速到速度上限,就達到物理極限了。總的來說,很難精準估計最快速度,但至少看起來會非常快。如果這些極限更高,那麼不僅可以實現更多的總進展,而且進展的最大速度(包括加速度)將更快可以從有效計算的角度,來衡量離物理極限有多遠。在達到物理極限前,估計軟體效率可能提升大概13個數量級,也就是10,000億倍;晶片技術可能提升100倍左右;晶片製造規模可能擴大1萬倍左右。1. 軟體:效率可能提升大概13個數量級,但不確定度很大。要是一開始用1e29 FLOP訓練頂級AI,比人類學習(大概1e24 FLOP)效率低5個數量級左右。和人腦相比,軟體估計還有大概8個數量級的提升空間,不確定性特別大(這裡只算訓練效率,沒算軟體其他方面的發展)。2. 晶片技術:在現在的技術模式下,可能提升2個數量級左右。要是技術接近蘭道爾極限(不可逆計算在能量效率上的物理限制),總共可能提升6個數量級左右。要是用可逆計算,可能提升空間更大。3. 晶片製造:利用地球上的能量,規模可能擴大5個數量級左右。要是用太空太陽能,把太陽發出的能量都收集起來,還能再擴大9個數量級左右。每個回饋循環在達到物理限制之前,總共有多少改進空間的估計。把這三個回饋循環的極限加起來,就能知道三種智慧爆炸在達到物理極限前能發展到啥程度:1. 軟體智慧爆炸:有效算力可能提升13個數量級左右,甚至更多。2. AI技術智慧爆炸:有效算力可能提升19個數量級以上。3. 全端智能爆炸:利用地球上的能量,有效算力可能提升24個數量級左右;要是利用所有太陽能,可能提升33個數量級左右。對每次智慧爆炸在達到物理極限之前,總共有多少改進空間的估計。智慧爆炸的速度以下是三種比較可能出現的情況:1. 漸進狀況:全端智能爆炸慢慢發生。光軟體和晶片技術回饋循環,推動AI加速發展。因為時間延遲,全端智慧爆炸剛開始發展慢,跟2020-2024年的速度差不多。但隨著時間推移,它會加速,最後變得特別快,翻倍時間可能幾個月,甚至更短,因為有效物理極限很高。2. 波動狀況:先是軟體智慧爆炸,但再提升3個數量級左右就慢下來了。之後,AI技術和(或)全端智慧爆炸開始,一開始速度比較慢,最後變得特別快。3. 快速狀況:軟體智慧爆炸規模很大,能提升6個數量級以上,而且幾個月內就發生,而且物理極限還很高。這讓技術有很大改進,大大縮短了晶片技術和晶片製造反饋循環的時間延遲。所以,後面的AI技術和(或)全端智能爆炸一開始就很快。而且在軟體智慧爆炸趨於平穩之前,不會明顯減速。對於前兩種情況,也就是超級AI要過很久、等產業擴張後才出現的狀況,現在還沒有多少人從戰略角度好好思考過。參考資料:https://www.forethought.org/research/three-types-of-intelligence-explosion (新智元)