在生成式AI和人工智慧大模式的新時代,OpenAI無疑是閃耀的那顆星。
從GPT-3的橫空出世到GPT-4 、GPT-4o等推理模型系列的發佈,OpenAI不斷推動大模型技術的演進與發展。
然而,關於其下一代模型GPT-5的進展卻顯得異常神秘。
根據技術分析師Alberto Romero剛剛在The Algorithmic Bridge發表的最新論述和合理推測,OpenAI很可能在去年就已經建構完成了GPT-5,但該大模型僅供其內部訓練使用。
老法師在AI世界裡依然重要。
這也能解釋,為什麼OpenAI能在這麼短的時間內,快速推出o1、o1mini、o3、o3 mini等系列小模型——內部訓練使用GPT-5「蒸餾」商業小模型的投資回報遠高於將GPT-5公開發佈給廣大使用者。
自GPT-4發佈以來,關於GPT-5的傳言就從未停歇。
人們期待這款新車型在性能上實現質的飛躍,然而,OpenAI卻一直保持沉默,沒有給出任何確切的發佈日期。
這種異常的沉默引發了外界的諸多猜測。
其中,一個相當引人注目的猜想是:GPT-5其實已經存在,但OpenAI選擇將其留在內部使用,而非公開發佈。
這項猜想的提出並非空穴來風,類似的情況也發生在Anthropic的Claude Opus 3.5身上。
早在2024年12月,半導體專家Dylan Patel和其 Semianalysis 團隊就曾指出,Anthropic已完成對 Claude 3.5 Opus的訓練,Claude 3.5 Opus表現良好,並且能夠適當擴展,但Anthropic並沒有對其進行發佈。
儘管外界一度期待Opus 3.5能成為GPT-4o的有力競爭者,但Anthropic最終卻選擇了發佈其衍生模型Sonnet 3.6,而Opus 3.5則悄然失蹤。
據推測,Anthropic之所以沒有發佈Opus 3.5,是因為他們在內部發現了其更大的價值——將Opus 3.5作為「教師」模型使用,用於生成合成資料,從而「蒸餾」其他模型的性能。
有此前車之鑑,OpenAI的情況或許與之類似。
相比GPT-5運行一次訓練可能就高達數億美元的高昂的訓練和推理成本,其性能的提升又或不能滿足使用者們高居不下的期待值,OpenAI或許認為將其留在內部使用,通過“蒸餾」技術提升其即將發佈的商業化小型模型的性能,是更為明智的選擇。
這樣一來,他們既能保持技術上的領先地位,又能有效控製成本,避免因為性能不佳而引發的公眾質疑。
中國新創公司DeepSeek開發的大語言模型(LLM)DeepSeek-V3就讓我們實感到了全球AI生態的一次重要變革。
其性能比肩世界頂尖的閉源模型OpenAI的GPT-4o和Anthropic的Claude 3.5 Sonnet,但開發和訓練成本卻明顯低於其他大模型。
DeepSeek-V3隻花了2048個GPU在57天內就完成了訓練。其成本約557.6萬美元,僅為其他主流模型(如GPT-4)的1/10左右。
Bigger is better的階段結束了,推理模型開始追求小而強。
蒸餾技術並不是什麼新鮮事物,在AI領域的應用日益廣泛。
使用強大、昂貴的大規模參數模型產生資料來提升略弱但更便宜的模型性能的過程稱為蒸餾。這種技術讓AI實驗室將其小型模型提升到僅靠額外預訓練無法達到的智慧水準。
OpenAI創始成員之一安德烈·卡帕蒂強調了這種非凡的效率:透過讓強大的「教師」模型指導「學生」模型的學習,蒸餾技術能夠在保持推理成本低廉的同時,顯著提升小型模型性能。這不僅提高了模型的效率,也使得AI技術更加普及和易用。
對於OpenAI和Anthropic這樣的頂級實驗室來說,蒸餾技術無疑是一個強大的工具。他們可以利用內部的大型模型產生高品質的合成資料,從而訓練出性能優異的小型模型。
這些小型模型不僅易於部署和維護,還能在保持高效能的同時,降低使用者的成本和使用門檻。
隨著蒸餾技術的廣泛應用,AI模型的未來可能會呈現出一種全新的趨勢:更小、更快、更強。
一方面,小型模型由於具有更低的推理成本和更高的靈活性,將逐漸成為市場的主流。另一方面,透過蒸餾技術從大型模型中汲取的智慧,這些小型模型將能夠在性能上不斷逼近甚至超越傳統的大型模型。
這一趨勢或將對AI產業的發展產生深遠的影響。
它將使得AI技術更加普及和易用,從而推動更多創新應用的湧現。隨著小型模型的不斷最佳化和升級,AI系統的整體性能和效率將顯著提升。這一趨勢也將促進AI技術向千行百業滲透和發展,為未來的智慧社會奠定堅實的基礎。
儘管在公眾面前保持低調,但OpenAI的野心卻從未減少。
他們不僅致力於推動自然語言處理技術的發展,更在追尋著人工智慧的終極夢想——通用人工智慧(AGI)和超級人工智慧(ASI)。為了實現這一目標,OpenAI或許正在內部秘密研發更強大的模型,例如比GPT-5甚至更高等級的版本。
當然,AGI和ASI的實作並非易事。
據揭露,OpenAI 有五條治理條款,包括其運作方式、與非營利組織的關係、與董事會的關係以及與微軟的關係,其中第五條有對於AGI的定義。
AGI是指「在大多數具有經濟價值的工作中超越人類的高度自主系統」。
另外更不為大眾所知曉的是,OpenAI與微軟關於AGI還有另一個秘密的定義——共識是AGI 是一個「可以產生至少1000 億美元利潤的AI 系統」。
實現AGI和ASI,除了技術上的挑戰外,還涉及倫理、法律和社會等多個層面的複雜問題。因此,OpenAI在追求技術突破的同時,也必須謹慎考慮這些潛在的風險和影響。
他們會選擇延後發佈某些大模型,也為了避免引發不必要的爭議和質疑。但無論如何,他們的努力都將對AI產業的未來發展產生深遠的影響。
GPT-5顯然還不可能是AGI,但避免發佈GPT-5,至少可以規避觸碰AGI的商業營收紅線,從而引發不必要的麻煩。
或許此時此刻,最恰當的比喻是,GPT-5正像是一位“在秘密的山洞中傳遞智慧的老年隱士”,OpenAI或許也在其巨大的資料中心中默默耕耘著AI的未來。
我們無法直接窺見他們的最新進展和內在的隱密。
但我們卻能感受到智慧之光正在加速照亮人類的世界… (頭部科技)