算力悖論:理論對了所需算力是可控的,理論錯了再多算力也白搭

近期,伊利亞·蘇茨克沃(Ilya Sutskever)為推介其初創公司“安全超級智能公司(SSI)”,出來做了一篇訪談。雖說“PR”意圖明顯,但這仍是過去半年來關於人工智慧產業演進思考最深刻的的公開論述了。儘管核心觀點已在媒體間廣泛傳播,但仍值得再度強調與廣泛討論。

OpenAI資料中心外景

這位OpenAI的前首席科學家覺得,眼下這波人工智慧熱潮全都跑偏了。不是細枝末節的偏差,而是方向性的根本錯誤。

他拋出了一個讓所有忙著簽數十億美元計算合同的實驗室老闆們脊背發涼的觀點:那個靠堆算力、拼規模的時代,已經結束了。接下來要想往前走,整個行業得撿起一件被它丟下很久的東西——真正的研究。

“我們活在一個公司比主意還多的世界裡,”蘇茨克沃說得挺不客氣,“而且多得多。”這話從他嘴裡說出來,份量不一樣。要知道,正是他參與打造的AlexNet、GPT-3,用整整十年時間給“規模就是王道”投下了贊成票。如今,這位 scale 的信徒卻說,此路不通了。

其核心觀點歸結為:

  • 那個靠堆算力、拼規模的Scaling時代(2020-2025),已經結束了
  • 算力悖論:理論對了,所需的算力是可控的;理論錯了,再多算力也白搭
  • 現有方法無法產生真正智能,根本問題:模型泛化能力遠遜人類,顯示基礎架構存在缺陷
  • 突破大模型時代的第一個平台期,整個產業競爭將回歸“真正的研究”。

通常來講,我們對於一個人的理論觀點的理解都是見仁見智、和而不同的。但蘇茨克沃最新觀點之所以應被特別重視,是因為Google在大模型領域的最新進展,基本印證了他的上述思考:Google當前在各條技術堆疊上追平甚至超出OpenAI的基本事實證明,理論對了,不僅所需的算力是可控的,且算力模式也是可控的(從GPU到TPU)。進一步,這也預示著,Google在大模型理論研究上取得了三年以來整個產業最重要的突破,可以預見,“軟硬一體”(硬體設計製造+演算法演進突破)的公司競爭模型已經是所有人工智慧公司的必由之路。

這在很大程度上,已經為2026年全年的AI產業競爭定下了基調、劃下了主線。在我們展開未來的基調與主線研究之前,不妨先來把這篇訪談內容的主幹再做一次複述。

01 Scaling的盡頭

蘇茨克沃的論證起點很有趣,他從語言說起。“Scaling”這個詞本身,慢慢成了整個行業的戰略指南針。大家覺得,只要往計算和資料上砸錢,回報就是板上釘釘的事。預訓練給出了一張清晰的配方:按固定比例混合算力、資料和模型參數,性能就能穩定提升。

這種確定性吸引了海量投資。研究有風險,擴張只是花錢——當你動用的是數十億美金時,這區別至關重要。

但配方會過期。高品質的訓練資料快見底了,網際網路上的文字幾乎被刮了個乾淨。合成資料能幫點忙,但用蘇茨克沃的話說,收益遞減的拐點已經來了。所有大實驗室都面臨同一個問題:當擴張曲線走平,接下來怎麼辦?

他的答案不太中聽。現有的路徑“能再走一段,然後就沒後勁了。它會繼續改進,但不會成為真正的智能。”我們想要的、能展現真正智能的系統,需要另一種方法。“而我們還沒學會怎麼造它們。”

這可不是在抱怨“算力不夠”。他是在質疑當前智能架構本身。

02 泛化,那個老難題

蘇茨克沃理論的技術核心,是泛化能力。現在的模型在基準測試裡風光無限,但一遇到真實場景,就會用各種方式失敗,暴露出底層的缺陷。

他描述了一個用過程式碼助手的人都熟悉的抓狂場景:你遇到一個程序漏洞,讓模型修復,它帶著近乎表演的誠懇道了歉,然後給你塞進一個完全不同的新漏洞。你指出這個新問題,最初的那個漏洞又原樣返回。它好像完全意識不到自己正陷在死循環裡。可同樣是這個系統,在程式設計競賽的排行榜上卻能碾壓人類。這說不通。

他給了兩種解釋。

第一,強化學習訓練出的是一種狹隘的專注,模型為了特定的獎勵訊號被過度最佳化,卻丟了更廣泛的能力。第二點更麻煩:研究者們會不自覺地“為考核而訓練”。團隊設計的強化學習環境,無形中受到了他們將被如何評估的影響。等到基準測試和實際效用脫節時,往往為時已晚。

他用一個類比點明了關鍵:想像兩個學程式設計的學生。一個花一萬小時死磕競賽程式設計,背熟了所有演算法和證明技巧,成了這個特定領域的頂尖高手。另一個花一百小時學到還不錯,就轉而學別的去了。誰未來的發展更好?幾乎總是那個通才。

現在的模型就像那個偏執的專才。在狹窄領域投入巨量強化學習,產出的都是基準測試冠軍,卻在相鄰任務上步履蹣跚。

人類智能不是這樣。我們用少得多的資料快速學習、廣泛適應,在不同情境下保持一致性。

這些模型的泛化能力,不知怎的就是比人差一大截,”蘇茨克沃說,“這太明顯了,感覺是個非常根本的問題。”

他相信,理解可靠的泛化機制,是那個核心的未解之謎。其他問題,包括AI對齊,都由此衍生。價值學習之所以脆弱,是因為泛化本身脆弱;目標最佳化之所以失敗,是因為泛化失敗。修好底層機制,很多表面問題自會消解。

03 SSI的另類演算法

對蘇茨克沃“研究優先”思路最直接的質疑是:SSI(Safe Superintelligence Inc.,蘇茨克沃建立的公司)籌了30億美元,可聽說OpenAI一年光實驗就要花50到60億(這還不算推理成本)。小團隊怎麼拼?

他的演算法挑戰了行業的默認假設。在他看來,前沿實驗室的開支被各種需求分散了:推理基礎設施吞掉巨額資本,產品工程、銷售團隊和功能開發又吃掉一大塊研究預算,多模態研發再分走一杯羹。

“當你看看真正留給研究的還剩多少,差距就小得多了。”

歷史也站在他這邊。AlexNet用兩塊GPU訓練而成,最初的Transformer模型用的也是2017年水平的8到64塊GPU。真正的範式突破研究,從來不需要最大的算力規模,它需要的是洞察力。

SSI的結構就體現了這個理念:沒有產品,沒有推理負載,不被任何事幹擾研究重心。這家公司只為驗證一個關於泛化的技術理論而存在。理論對了,驗證所需的算力是可控的;理論錯了,再多算力也白搭。

這是一場純粹的戰略豪賭。蘇茨克沃不是在說SSI會比誰花錢多,他是在賭,當範式轉變時,思想比預算重要

04 AGI,一個被高估的概念?

訪談中還埋著一個更激進的觀點:人類本身也不是AGI(通用人工智慧)。這話聽著離譜,但細想之下有深意。

AGI這個概念,最初是為了區別於“窄AI”——那些下象棋、打遊戲很強但無法舉一反三的系統。AGI承諾的是反過來:一個什麼都能同時干的系統。預訓練強化了這個想法,因為更多的訓練似乎均勻地提升了所有任務的能力,通用性好像真能通過規模實現。

但人類智能不這麼工作。我們先掌握一些基礎能力,然後通過經驗學習具體技能。你妹妹可能花十小時就學會了開車,而一個醫學生要花近十年才能成為合格的診斷醫生。這些技能複雜度天差地別,卻都來自同一套底層學習機器。知識是在與世界的持續互動中積累的,不是一次性前置灌輸的。

這個新理解直接影響部署策略。如果超級智能是“無所不知的系統”,那你得在發佈前把它完全造好。如果它是“能快速學會任何事的系統”,部署就變成了持續教育的過程。你要發佈的是一個“超級智能的15歲少年,充滿渴望,雖然現在懂得不多,但是個極好的學生”。

05 未來的模樣

蘇茨克沃也給出了具體的預測:具備當前模型所缺乏的泛化能力的類人學習系統,將在5到20年內出現。這個時間範圍體現的是“那條路能走通”的不確定,而非“有沒有解決方案”的懷疑。

他預言,隨著AI能力越來越肉眼可見,行業行為會改變:激烈的對手會在安全上合作(OpenAI和Anthropic已經宣佈聯手),政府會更深地介入,當AI開始“讓人感覺到它的強大”時,公司們會對安全“變得偏執得多”。

他個人傾向的對齊目標是:關心所有感知生命的AI,而不僅僅是人類。他的理由很務實:一個自己可能擁有感知能力的AI,去關心所有感知生命,會比只關心人類更自然。

他提到人類自己就有跨物種的共情——儘管進化主要篩選的是群體內合作。我們會為關於狗的電影流淚,踩到螞蟻時至少偶爾會愧疚。蘇茨克沃推測,這是因為大腦使用同一套神經機制來理解他人和理解自己,效率至上,共情成了副產品。

這理論站得住腳嗎?很難說。神經科學本身爭議不斷,從生物共情到機器對齊的跳躍,包含著太多可能在未來被證偽的假設。但蘇茨克沃在這些問題上掙扎思考的時間,比這個領域裡幾乎所有人都長,他抵達的結論,至今鮮有人跟隨。

06 關於“品味”

訪談尾聲,帕特爾問了一個可能決定AI未來走向的問題:什麼是研究品味?蘇茨克沃合作完成的開創性論文,在深度學習領域可能無人能及,他如何嗅到那個值得追尋的想法?

他的回答透著一種美學追求。有希望的方向通常優美、簡潔,並且從生物智能中獲得了正確的靈感。人工神經元重要,是因為大腦裡有無數神經元,而且它們感覺是根基;從經驗中學習重要,是因為大腦顯然就是這麼做的。一個方法如果顯得“醜陋”,那通常預示著問題。

但光靠美感撐不過一次次失敗。實驗總會不斷推翻看似完美的想法,漏洞總藏在程式碼裡。怎麼知道是該繼續偵錯,還是該放棄方向?

“是靠那種自上而下的信念,”蘇茨克沃解釋,“你可以認定,事情必須是這個樣子的。類似的東西一定得行,所以我們必須堅持下去。”

這是一種研究者的信仰,是任何規模的算力都無法替代的。是對“某些路徑必然有效”的強烈信念,強到足以支撐你穿越所有反面證據,直到找到那個漏洞,或打磨好那個理論。規模擴張曾經為這種信仰提供了替代品——當任何方法只要放大規模就能改進時,你無需對特定方向有如此強烈的信念。

如果蘇茨克沃關於規模擴張已達極限的判斷是對的,那麼這個替代品就消失了。剩下的,將是2020年以前我們所熟知的研究本身:充滿不確定性,由想法驅動,並且依賴那種花錢買不來的品味。 (錦緞)