•
Transformer 之父「叛逃」：我已經受夠Transformer了！警告：AI研究變得越來越窄，我們需要找到新的架構
「我真的受夠了Transformer。」——這句話來自Transformer 的共同作者、Sakana AI 聯合創始人Llion Jones。
在舊金山TED AI 大會上，這位被譽為“生成式AI 時代奠基人”的研究者，突然“開砲”——不僅公開批評了整個AI 行業的研究方向，還宣佈自己已經“離開Transformer”，開始尋找下一次重大突破。
要知道，Transformer 正是ChatGPT、Claude、Gemini、Llama 等幾乎所有主流大模型的核心技術。而如今，它的發明人之一卻親口說：“我不幹了。”
“AI 研究正在變得越來越窄”
Llion Jones 是2017 年那篇改變AI 歷史的論文《Attention Is All You Need》的作者之一，也是「Transformer」這個詞的命名者。這篇論文被引用超過 10 萬次，堪稱電腦科學領域的「聖經級」成果。
但在TED AI 的演講上，Jones 卻直言：
“儘管現在AI 領域投入了前所未有的資金和人才，研究卻變得越來越狹窄。”
他認為，這種局面不是偶然，而是被資本和競爭壓力擠壓出來的結果——投資者要求回報，研究員害怕“被抄”，於是大家都選擇安全、可發表的項目，而不是去探索真正未知的方向。
結果呢？“AI 研究陷入了'剝洋蔥'式的自我複制。大家都在圍著同一個框架打轉——換個超參、堆點資料、再發一篇論文。”
“我們可能又在錯過下一個突破”
Jones 提出了一個形象的比喻－AI 演算法有個經典的平衡：「探索vs 利用」（exploration vs exploitation）。
如果一個系統只是一味利用已有成果，而不去探索新方向，它就會陷入“局部最優”，錯過真正更好的解法。
「AI 領域現在就是這樣。」Jones 說。“我們太沉迷於Transformer 的成功，以至於忘了往外看。也許下一個革命性架構，就在不遠處。”
Transformer 誕生於“沒有KPI 的自由”
Jones 回憶起當年在Google發明Transformer 的經歷時，語氣明顯柔和了。
“那是一個非常自由、非常自然的過程——我們沒有明確的項目要求，也沒有指標壓力。只是午飯時聊出來的點子，隨手在白板上寫寫畫畫。”
沒有OKR、沒有deadline，也沒有資本的緊逼。
正是這種“無壓力的研究環境”，讓Transformer 這場技術革命得以誕生。
而現今的AI 公司，Jones 說，即使給研究員上百萬年薪，也無法給他們真正的自由。
“他們一上班就感到必須'證明自己'，於是繼續追逐低風險、能發論文的方向。”
Sakana AI：離開Transformer 的實驗室
作為Sakana AI 的CTO，Jones 現在正嘗試「重建」那種原始的自由：以自然啟發為靈感的研究方向，極少的成果壓力，也不強迫研究者為了論文或競爭對手而忙碌。他引用工程師Brian Cheung 的一句話作為研究準則：
“你應該只去做那些，如果不是你，這個世界上就不會有人去做的研究。”
這家總部位於東京的AI 實驗室正在研究一種名為 「連續思考機」（Continuous Thought Machine） 的新架構——靈感來自神經同步的自然現象，它將大腦式的同步機制引入神經網絡中。
一位提出這個想法的員工告訴Jones，在他以前的公司或學術機構，類似的想法會被認為是「浪費時間」。但在Sakana，Jones 給了他一周自由探索的時間——結果，這個項目最終成功入選頂級AI 學術會議 NeurIPS 的展示。
Jones 甚至提出，自由比高薪更能吸引人才。
“這是吸引人才的極好方式，”他這樣評價這種“探索型”研究環境，“想一想，那些聰明、有野心、真正熱愛探索的人，自然會主動尋找這樣的地方。”
“這不是競爭，而是探索”
最後，Jones 呼籲整個行業：“我們不是在競爭，而是在共同探索。如果大家都能多一點分享、多一點冒險，我們也許能更快走向下一個重大突破。”
業界越來越多證據表明，單純擴大Transformer 模型規模 已接近極限。許多頂級研究者開始討論：或許新的架構創新，而非參數堆疊，才是邁向更強AI 的關鍵。
但他也警告，這個突破可能永遠不會出現——除非我們打破現有的激勵機制：金錢、競賽、論文、排名……這些正讓研究者遠離真正的探索。
作為Transformer 的共同創作者，Jones 對這個限制的洞察極具份量。他選擇“告別自己的發明”，也讓他的觀點更有說服力。
“也許下一個Transformer 級的突破，就在拐角處。但也可能被忽視——因為我們都忙著改進一個我已經'厭倦'的架構。”
畢竟，他是少數真正理解Transformer 從誕生到極限的人之一。如果連他都覺得該向前走——那也許真是時候了。
Transformer 八位作者的去向
2017 年那篇改變AI 處理程序的論文《Attention Is All You Need》，有8 位作者。八年後，他們已各自踏上完全不同的航線——
Ashish Vaswani 創立了Essential AI；Noam Shazeer 離開Google創辦Character.AI，又重回Gemini 項目；Aidan Gomez 在Cohere 帶領團隊探索企業級LLM； Jakob Uszkoreit轉向生物科技AI，創辦Inceptive；繼續推動推理模型發展；Illia Polosukhin 則投身區塊鏈領域，打造NEAR Protocol；而Niki Parmar 仍保持低調，鮮少公開露面。
從科學研究到創業、從語言模型到生物智能，他們幾乎代表了AI 產業的所有分支方向。這一幕像極了Transformer 自身的命運：從單一架構出發，衍生出無數變體與未來。
當年那群年輕研究者改變了人工智慧的軌跡；如今，他們又在各自的探索中，追尋下一個「Attention is all you need」時刻。
參考連結：
https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers （51CTO技術堆疊）