媒體再爆：OpenAI的GPT-5訓練遇阻，時間延遲且成本高昂

2024/12/24

•

GPT-5的項目開發已超過18個月，至少經歷了兩輪訓練，根據估算，一輪長達6個月的訓練耗資高達5億美元。而效果遠不及預期，分析認為，當下全球可能沒有足夠的資料讓它變得足夠聰明。

AI的下一個飛躍似乎沒法準時報導了。

當地時間20日，據《華爾街日報》報導，OpenAI的新一代人工智慧項目GPT-5（代號Orion）正面臨重重困難。該項目已開發超過18個月，成本花費巨大，卻仍未取得預期成果。

有知情人士透露稱，OpenAI的最大“金主”微軟原本預計能在2024年中期左右看到新模型。而OpenAI曾進行過至少兩次大規模訓練，每次都耗時數月並消耗海量資料，但每次都出現新問題，軟體無法達到研究人員所期望的結果。

分析認為，世界上可能沒有足夠的資料讓它變得足夠聰明。

分析師此前預測，科技巨頭們可能會在未來幾年在人工智慧項目上投入1兆美元。還有估算顯示，GPT-5一次為期6個月的訓練僅計算成本就高達約5億美元。OpenAI首席執行官Sam Altman則表示，未來的AI模型成本預計將超過10億美元。但瞭解該項目的人士表示：

“雖然Orion的表現較OpenAI目前的產品有所提升，但還不足以證明其巨額營運成本的合理性。”

今年10月，投資者給予OpenAI的1570億美元估值很大程度上是基於Altman的預測，他此前稱，GPT-5將是一次“重大飛躍”，他還曾說GPT-4表現得像一個聰明的高中生，但最終的GPT-5實際上在某些任務上更像擁有博士學位。

報導稱，GPT-5應該能夠解鎖新的科學發現，並完成諸如預約或航班等日常人類任務。研究人員希望它犯的錯誤會比現有的AI少，或者至少承認“懷疑”，因為目前的模型可能會產生幻覺。

不過，對於“何時能成為足夠聰明的AI”還沒有固定的標準，更多的是憑感覺。

而到目前為止，正在開發中的GPT-5給人的感覺還是不夠強。Altman在11月表示，“2024年內不會發佈任何名為GPT-5的產品”。

為了不使巨額投資“打水漂”，研究人員試圖通過小規模試運行來最大限度地降低這種失敗的機率。

但是，GPT-5的計畫似乎從一開始就存在問題。2023年年中，OpenAI開始了一次訓練運行，同時也是對Orion擬議的新設計的測試。但這個過程進展緩慢，這表明更大規模的訓練可能需要非常長的時間，而這反過來又會使成本變得異常高昂。

OpenAI的研究人員決定進行一些技術調整來增強Orion，他們還發現，要讓Orion變得更智能，就需要更多高品質、多樣化的資料。模型的測試是一個持續的過程，大規模的訓練運行可能需要幾個月的時間，數兆個token會被“投喂”給模型。

然而，公共網際網路上的新聞文章、社交媒體帖子、科學論文等資料已不足以滿足需求。DatologyAI首席執行官Ari Morcos說：

“這變得非常昂貴，而且很難找到更多同等高品質的資料。”

為解決這一問題，OpenAI選擇從頭開始建立資料。他們僱傭軟體工程師和數學家等專業人士編寫新程式碼或解決數學問題，以此作為訓練資料。

公司還與理論物理學等領域的專家合作，解釋他們將如何處理該領域最棘手的問題，但這個過程非常緩慢，GPT-4的訓練使用了大約13兆個token。即便有1000人每天寫5000字，數月之內也只能產生10億個token。

OpenAI也開始開發“合成資料”，利用AI生成的資料來訓練Orion，並認為可以通過使用其另一個AI模型o1生成的資料來避免故障。

今年，隨著Google推出了最受歡迎的新AI應用程式NotebookLM，OpenAI更慌了。

由於Orion停滯不前，公司開始開發其他項目和應用程式，包括精簡版的GPT-4和可以製作AI生成視訊的Sora。但知情人士表示，這導致了開發新產品的團隊和 Orion研究人員之間需要爭奪有限的計算資源。

另外，OpenAI也正在開發更先進的推理模型，認為通過讓AI“思考”更長時間，可以解決訓練中未遇到過的複雜問題。

然而，這些新策略也面臨挑戰。蘋果公司的研究人員發現，包括OpenAI的o1在內的推理模型很可能只是在模仿訓練資料，而非真正解決新問題。此外，o1生成多個答案的方法也大大增加了營運成本。

儘管如此，OpenAI仍在堅持不懈地推進GPT-5的開發。周五，Altman宣佈了一個比以往任何產品都更智能的新推理模型計畫，但未透露何時或是否會推出堪稱GPT-5的模型。 (硬AI)