【新智元導讀】OpenAI,亟需一場翻身仗!今天,全網最大的爆料:GPT-5基石實為GPT-4o。自4o發佈之後,內部預訓練屢屢受挫,幾乎淪為「棄子」。
OpenAI核心預訓練,接連翻車?
傳言稱,GPT-5的基石仍是GPT-4o,且GPT-4.5之後的預訓練版本,都被OpenAI放棄了!
這麼說並非空穴來風,核心爆料恰恰來自權威SemiAnalysis的最新一文——
OpenAI頂尖團隊自GPT-4o發佈之後,迄今尚未完成一次完整的,為下一代前沿模型設計的大規模預訓練。
文章中,高級分析師強調:Google正手持TPUv7這把利劍,向輝達王座發起衝鋒,或將終結CUDA護城河。
眾所周知,OpenAI全端模型是在純輝達GPU上煉出的。
然而,圈內人的焦點,大都放在了大模型「推理」和「後訓練」的硬體之上。
殊不知,沒有前沿模型的預訓練,一切皆是「無米之炊」。恰恰這一環節,成為了AI硬體裡最難、最耗資源的一關。
如今,一個不為人知的內幕爆出了:
事實證明,GoogleTPU徹底經受住了這一考驗;
相較之下,自2024年5月GPT-4o誕生之後,OpenAI的預訓練卻毫無進展.....
過去,兩年半的時間,OpenAI沒有真正Scaling預訓練的規模。
GPT的預訓練,或許在GPT-4o之後觸及了天花板,由此也解釋了GPT-5性能未達業界預期的關鍵原因。
有網友表示,那不正是Ilya離開的時候嗎.....
恰在昨天,Ilya最新發文稱,Scaling不會停,但某個重要的東西仍然會缺失。
還記得去年底,那場鋪天蓋地的「Orion」傳聞嗎?
這一秘密項目,原定以GPT-5面世,但因訓練未達預期,最終被降級為GPT-4.5發佈。
在前沿模型預訓練上,OpenAI的研發似乎陷入了僵局——
如今第五代旗艦模型GPT-5,包括最新GPT-5.1,其「技術根基」本質或仍未突破GPT-4o的範疇。
SemiAnalysis去年底一篇文章,曾對外公開了Orion訓練的困境。
當前,演算法的進步使得模型每年所需的物理計算量減少約三分之一,因此,訓練執行階段間很少超過3個月。
甚至,行業中大多數預訓練通常僅需要1-2個月。
然而,OpenAI的Orion大規模預訓練,卻打破了這一常規,其訓練時間超過了3個月。
另據Information同一時間爆出,Orion不會像前代實現巨大的飛躍,相較於從GPT-3到GPT-4的迭代,改進幅度要小得多。
不僅如此,Orion性能提升也基本侷限在——語言能力上,其程式碼能力甚至不如舊模型,且成本更高。
如今再回看2月,GPT-4.5的誕生,基於代號Orion的模型,OpenAI追求的是:
更強的語言能力+更穩的對話體驗+更大知識庫
情商,成為了GPT-4.5的關鍵詞。程式碼雖有提升,但並非主菜。
這一切的一切,從側面印證了,此前外媒關於「Orion遇挫」爆料的精準性——
LLM有提升,但不大。
GPT-4o,成Scaling主線?
今年8月,GPT-5的那場發佈,奧特曼將其定調為「博士級AI,是通往AGI又一里程碑」。
實則,業界對於GPT-5的反響,唏噓一片。
大家原本以為,GPT-5會是全面超越前代的一次飛躍,但實際發佈後,更像是GPT-4.5的進一步最佳化版,不是「顛覆版」。
但至於GPT-5真正基於那一款GPT打造,還有待證實。
正如之前傳聞的猜測,有可能是GPT-4o,還有Reddit網友稱是GPT-4.1....
但不論是那一款,都證明了GPT-5,沒有在全新前沿模型的大規模預訓練上淬煉。
搞笑的,那個曾將OpenAI三顆🍓🍓🍓「焊在」名字中的大佬,如今改成了三個🍌🍌🍌。
他表示,這已經不是什麼秘密了——
GPT-4.5將預訓練推向極致之後,OpenAI加倍投入了推理範式,主打o系列+RL。
不同的是,Google和Anthropic仍在Scaling預訓練,並增強了強化學習。
OpenAI主動放棄了這一範式,為勁敵讓出了一條速通道。
Gemini 3發佈後,Google和OpenAI攻守之勢易形——
Gemini 3來勢洶洶,而OpenAI這次終於坐不住了!
據洩露的內部備忘錄,奧特曼坦言:「近期, 從各方面來看,Google在大語言模型表現出色」,特別是預訓練。
這番表態標誌OpenAI的重大轉變——它終於承認,一個重新崛起的競爭對手與逐漸降溫的企業需求,已徹底打破了其「天下無敵」的光環。
所謂預訓練,是訓練生成式AI模型(無論是文字還是圖像)過程中的第一階段。在這一階段,研究人員會用網頁等大量資料「投喂」模型,讓它掌握資料之間的各種關聯。
大語言模型(LLM)開發與訓練流程概述:預訓練和後訓練是關鍵
在預訓練領域,Google取得了新突破,給Gemini 3帶來了空前的推理深度。
這讓不少AI研究者頗感意外——
畢竟,OpenAI去年曾屢屢碰壁,而Google自己過去也曾陷入瓶頸。
正因如此,在一段時間內,OpenAI選擇將更多精力轉向另一種新型AI架構——「推理模型」,這種模型雖然計算量更大,但有望輸出更優質的回答。
在推出GPT-5之前,OpenAI團隊曾嘗試對預訓練階段做出一系列調整,這些方法在小模型上有效,一旦模型變大就失效了。
GPT-5發佈第二天,西班牙與波蘭Talan公司AI應用負責人Javier Alba de Alba表示:
(GPT-5)整體觀感頗為失望:
這是個優秀的模型——響應迅捷、價格親民、能力全面,但遠非人們基於OpenAI過往發佈會所預期的代際飛躍。
GPT-5帶來了不少提升——
程式設計能力顯著提升、推理能力進階、幻覺現象減少、醫療領域表現最佳化,甚至免費使用者也享有更長的默認使用時長。此外命名體系全面簡化:GPT-4o/4.1/turbo/mini等繁雜名稱悉數消失,統一更名為GPT-5。
不過,Javier Alba de Alba提醒:「千萬不要被名稱迷惑:GPT-5並非新一代產品。」他解釋道:
技術層面而言,它更像是GPT-4o的功能增強版,即便命名為GPT-4.2也毫不違和。
OpenAI此舉雖完成了必要的名稱統一,但整場發佈會未能達到預期,讓技術社區頗感失落。
GPT-5發佈後,Epoch AI也發現了其中的異常:
相比前代GPT-4.5,GPT-5很可能消耗了更少的訓練算力。
雖然具體數值尚未公開,但GPT-4.5使用的訓練算力極有可能超過GPT-5。
預訓練並未消亡,它依然是勝負關鍵。
在內部會議中,奧特曼鼓舞士氣,稱在未來幾個月,OpenAI將重新奪回優勢。其中關鍵舉措之一,就是打造一款代號為「Shallotpeat」的新一代大語言模型。
據知情人士透露,該模型的設計目標之一,就是專門修復OpenAI在預訓練過程中遇到的種種「疑難雜症」。
GPT-5發佈的實質是什麼?
對現有ChatGPT使用者而言,GPT-5是個好消息,但這並未開啟新時代。
它只是進化歷程中的一小步,而非革命性飛躍。
既然更多算力通常意味著更強性能,為何OpenAI會反其道而行?這對未來模型發展意味著什麼?
在與a16z合夥人Martin Casado對話中,OpenAI平台工程負責人Sherwin Wu,深度拆解了OpenAI當前平台架構、定價邏輯與未來方向。
在這次訪談中,他們深入探討了為何開發者往往會長期依賴某個「值得信賴」的模型系列,信任感是如何建立的,以及為什麼行業已經逐步放棄了「一個模型通吃所有任務」的幻想。
Sherwin還講解了從提示詞工程到上下文設計的演變過程,以及企業如何借助OpenAI的微調(fine-tuning)和RFT API,利用自有資料定製模型行為。
共識已變
幾年前,OpenAI內部認為:未來會有一個「統治一切」的超級模型。但現在行業共識已經轉變為「模型的專業化和多樣化」。
雖然會有強大的通用模型,但也需要針對特定任務(如程式設計Codex、視訊Sora)的專用模型。
文字、圖像、視訊背後的技術堆疊各不同。目前,在後台。這些模型往往是分開最佳化的獨立系統,很難簡單地「一鍋燉」。
順便提一句,正是DALL-E 2的出現讓Sherwin決定加入OpenAI,因為那是他第一次感受到AI的魔力。
而微調(Fine-tuning)也悄然進化——
早期的微調,主要用於調整「語氣」或「指令遵循」。 現在的重頭戲,是強化學習微調(Reinforcement Fine-Tuning) 。
這允許企業利用其龐大的專有資料(Data Treasure Troves),將較小的模型在特定領域訓練至SOTA水平。這是解鎖企業資料的關鍵。
也就是說,企業擁有大量內部資料,但與ChatGPT「毫無關係」,對企業專屬AI而言卻是黃金。
他們多次提到AI程式碼編輯器Cursor作為建立在 OpenAI API 之上的成功產品案例,證明了:
即使OpenAI自己有競品,開發者依然可以建立偉大的垂直應用。
Agent開發模式
從第一天起,奧特曼和Greg Brockman就確立了「App+ API」的雙軌戰略。
這樣做是為了儘可能廣泛地分發AGI的利益——
如果只做 API,你就無法觸達普通消費者;如果只做應用,你就無法賦能各行各業的開發者。
在這次對話中,他們重點談論了智能體開發工具「Agent Builder」。
Sherwin認為,智能體(Agent)並非一種全新的模態,而是AI的一種新使用方式。
本質上,智能體是一個能夠代表使用者、在較長的時間跨度(Long Time Horizons)內執行一系列操作並完成任務的AI系統。
OpenAI曾推出了可視化的「Agent Builder」(節點式建構),但發現對於開發者而言,這種方式可能過於受限。
訪談中,Sherwin和Martin將智能體清晰地劃分為兩類,這解釋了為什麼目前市面上的Agent產品形態各異——
在對話中,第二類Agent開發可能更像傳統的軟體工程或遊戲開發中的NPC(非玩家角色)邏輯。
與其讓模型完全自由發揮,不如通過程式碼給予它明確的邏輯框架和標準操作程序(SOP),特別是在受監管的行業(如客戶支援、金融)。
也就是說,邏輯必須寫死在程式碼裡,而不是提示詞裡。
這就是Agent Builder想要解決的問題:為那些必須控制智能體行為的行業和場景,提供一個簡單、清晰、可驗證的解決方案。
2025年度壓軸大戲,GoogleGemini 3 Pro無疑打了一場勝仗,但OpenAI不會袖手旁觀。
內部已確認,聖誕節前夕,一連串發佈連番轟炸。
據傳,一系列新模型,在路上了——
Image Gen v2
IMO和IOI金牌多模態模型
GPT-5.2 Codex
12月,AI圈一定非常熱鬧。 (新智元)