離職的LeCun，反手就給Meta一記重錘：差評如潮的Llama4真的作弊刷榜了！結果的確被篡改了一點。為了更好的結果，團隊對不同基準測試使用了不同的模型。都說別惹離職er，不止LeCun，田淵棟也在個人年終總結中透露了一點內幕。明明是被拉來給Llama4救火的，事先預想了四種可能，結果小扎給了我第五種……Anyway，至於離職後的打算，兩位大神都不約而同地表示：創業！Llama4刷榜引發的離職潮DeepSeek還是給小扎壓力太大。此前就有消息爆料，DeepSeek的橫空出世，讓Llama 4還沒發佈就被甩在身後，逼得小扎瘋狂加碼AI投資。這一點也得到了LeCun的證實。小扎確實慌了，對內push上強度，要求GenAI部門加速AI開發和部署，還拉來原FAIR團隊的田淵棟救火。結果就是，團隊之間溝通直接破裂。LeCun他們想要做些新東西，但小扎更想要已經被驗證過的、可以直接落地的技術。真正的導火索則來自於Llama 4的慘敗。不僅輸了，還因為排行榜造假名聲大跌，於是小扎徹底對團隊所有人失去了信心，並將他們全部邊緣化。這也直接導致Meta開啟了團隊大換血：一邊天價從矽谷各個公司挖人，一邊又大刀闊斧裁掉老員工們。田淵棟及其團隊則是被率先波及的一群人。一月份被趕鴨子上架加入Llama 4，十月份Llama 4.5一訓完就被卸磨殺驢。這波田淵棟都得喊冤……因為上頭的壓力，全組被迫放下手頭正在做的工作，來Llama 4接爛攤子，距離發佈ddl就剩2個月，還要處理所有dirty work。為此，田淵棟那時還專門畫了個2x2的回報矩陣，計算了下幹這事的四種結局：但老闆都發話了，不得不干啊，田淵棟想著那就但求盡力而為，問心無愧吧。結果哼哧哼哧幹了幾個月，小扎一個都沒選，給了Plan E：不問責負責人，轉頭把田淵棟和組員們一腳踢了出去。難怪田淵棟復盤這段經歷時，也要來一句：這也讓我對這社會的複雜性有了更為深刻的認識。不過好在田淵棟自己也想得開，他說自己已經待在Meta十多年了，最近幾年更是抱著“公司快把我開了吧”的心態，所以也算是因禍得福吧，還給他接下來的小說創作提供了很多新素材（doge）。（咳咳）言歸正傳，這幾個月對於田淵棟來說，也不算一無所獲，在強化學習訓練的核心問題上他也有了些新的探索。首先是大模型推理，繼2024年底團隊公開的連續隱空間推理（coconut）引發廣泛關注後，團隊繼續通過理論工作Reasoning by Superposition進一步闡明了連續隱空間推理的優勢所在。與此同時，也分別從不同角度嘗試提升模型推理效率：Token Assorted通過隱空間的離散token減少計算開銷、DeepConf基於置信度提前終止推理、ThreadWeaver製造平行思維鏈加速推理，以及在不同規模模型中用RL學習推理能力。在可解釋性方面，研究聚焦於Grokking（頓悟） 這一特徵湧現現象，從記憶到泛化的突變過程入手，試圖解釋模型究竟學到了什麼、和輸入資料的關係、能達到怎樣的泛化，也就是打開模型的黑箱。簡而言之，對於被拉來“背黑鍋”這事，田淵棟對老東家還是手下留情了，雖然你不地道，但我已經Let it go～不過緊隨其後離職的LeCun就沒那麼心軟了，直接痛批Meta內部對LLM上癮過甚，尤其是那些新挖來的超級智能實驗室成員。他點名批評亞歷山大王：年輕且缺乏經驗。雖然學得快，但壓根不懂研究，不知道怎麼做、也不知道如何和研究員們共處。在LeCun面前，這個27歲的年輕人，簡直像個little baby。但大語言模型並非他們所想像的那樣美好，LeCun直言，LLM有用但本質受限於語言，誇張一點說：LLM是死胡同。要實現人類水平智能，就必須瞭解物理世界的運作規律，也就是LeCun長期專注的世界模型，但Meta對此已經喪失了興趣。在研究路線上的分歧，也讓LeCun不得不離開公司，開啟自己人生的下一章——創業。離開Meta做點啥？創業LeCun的新公司名為Advanced Machine Intelligence（AMI），做的還是他心心唸唸的世界模型，而且all in開源。不過據他自己透露，他只會擔任新公司的執行主席而不是CEO。我是一名科學家，我能激勵人們從事工作，以及猜測那項技術會成功，但我不擅長組織管理，也實在太老了。LeCun將擁有和之前在Meta相同的研究自由度，而負責帶領AMI的將交給法國醫療AI初創公司Nabla的聯合創始人兼CEO Alex LeBrun。他們將目光聚焦在V-JEPA架構上，試圖通過學習視訊和空間資料來理解物理世界，讓AI完成規劃、推理並擁有長期記憶，也就是他常說的高級機器智能。LeCun預計將在12個月內，見證該項技術的初始版本誕生，並在最近幾年內實現大規模進展，雖然它顯然還遠遠稱不上超級智能，但至少在通往AGI的道路上，它存在希望。而作為LeCun的老下屬，田淵棟也拒絕了大廠們紛紛為他拋來的橄欖枝，剛剛正式宣佈創業！具體細節暫時未表，但他表示：乘著自己還年輕，去當一家新初創公司的聯合創始人。不管怎樣，先安靜地忙活一陣。 (量子位)