•
吳恩達最新發聲：大模型通往AGI還得好幾年，做好長期苦戰準備
吳恩達（Andrew Ng）剛剛發表了一篇關於LLM現狀與未來的最新觀點
他直言：儘管LLM令人驚嘆，但目前提升其知識水平的過程，其實比大眾認知的要零碎得多
針對目前業界的兩種極端聲音，吳恩達給出了明確態度：既不要輕信LLM再過幾年就是通往AGI之路的炒作，也不要陷入LLM不過是演示品的錯誤反向炒作
相反，我們需要對通往更智能模型的路徑有一個更精確的理解
以下是吳恩達的核心觀點梳理
LLM確實通用，但還不夠通用
吳恩達首先肯定了LLM作為一種比前代技術更通用的智能形式。
第一波LLM技術通過在公共網路上訓練，獲取了涵蓋廣泛主題的資訊。這使得它們的知識廣度遠超早期那些只能執行單一任務（如預測房價、下圍棋或國際象棋）的演算法。
然而，它們的通用性仍遠不及人類
例如，即便在預訓練階段閱遍了整個公網內容，LLM在適應特定寫作風格，或者可靠地使用簡單網站方面，依然表現掙扎——而這些通常是人類編輯或普通人能輕鬆做到的。
榨乾公網資料後，全是“苦力活”
在利用了幾乎所有開放網路資訊後，進步變得愈發困難
吳恩達指出，如果一家前沿實驗室現在想要LLM在特定任務上表現出色——比如使用特定程式語言寫程式碼，或者在醫療、金融等利基領域輸出合理內容——研究人員必須經歷一個繁瑣且費力的過程：
- 尋找或生成該領域的大量資料；
- 對資料進行預處理（清洗低品質文字、去重、改寫等）；
- 將這些處理好的知識喂給LLM。
甚至，為了讓模型執行某些任務（如使用網路瀏覽器），開發人員可能需要經歷更繁瑣的過程：建立大量的RL Gyms（強化學習模擬環境），讓演算法在狹窄的任務集中反覆練習
相比人類，模型還太“笨”
吳恩達強調，一個典型的普通人，即便閱讀的文字量遠少於前沿模型，或者在電腦操作環境中的練習量遠少於模型，卻能泛化到更廣泛的任務中。
人類之所以能做到這一點，可能得益於以下機制：
從反饋中持續學習的能力；
對非文字輸入擁有更優越的表徵能力（吳恩達直言：LLM對圖像的Token化處理，在他看來目前仍像是一種駭客手段/權宜之計）
以及許多我們尚未理解的機制
結論：做好長期苦戰的準備
如今推動前沿模型的發展，需要做出大量的人工決策，並採用以資料為中心的方法來工程化訓練資料
吳恩達認為，未來的突破或許能讓我們不再以這種零碎拼湊的方式推進LLM。但即便沒有突破，這種持續的零碎改進，加上模型有限的泛化能力和湧現行為，仍將繼續推動技術的快速進步
他在最後總結道：
無論那種情況，我們都應該計畫好迎接未來多年的艱苦工作
在這條建構更智能模型的道路上，前方仍有一段漫長、艱難——但也充滿樂趣的跋涉 (AI寒武紀)