縮放定律(Scaling law)可能是AI時代最重要的「金科玉律」之一。
縮放定律的原出處,是OpenAI的一篇叫做《神經語言模型的縮放定律》(Scaling Laws for Neural Language Models)的論文。
而這篇論文的通訊作者,就是達裡奧·阿莫迪,他的另一個廣為人知的身份,則是Anthropic的聯合創始人。
Anthropic在AI程式領域優勢明顯,地位隱隱然與OpenAI和Google鼎足而三,剛傳出將以3,500億美元估值融資200億美元的消息。作為聯創,阿莫迪當然功不可沒。
但很少人注意到,阿莫迪還有另一個身分──百度前員工。
依照百度內部通訊軟體「如流」的分級來看,阿莫迪應該叫「紅度阿莫迪同學」。
更有趣的是,在2024年底Amodei在一次播客訪談中,阿莫迪透露2014年與吳恩達在百度研究AI的時候,他就已經發現了模型發展的規律縮放定律。
此話一出,掀起了一陣「百度是否比OpenAI更早發現縮放定律」的爭論。
Amodei不是個例,在矽谷,「百度」常出現在大佬的履歷裡。
最為人所知的是AI學術大牛、史丹佛大學教授、Google大腦共同創辦人吳恩達,他曾是百度矽谷實驗室的「靈魂」。
離職時,他不滿意對李彥宏的讚美,稱他是“第一個清晰看到深度學習價值的大型公司CEO,也是全球最好的AI CEO之一。他的熱情和百度的決心讓我覺得這是一個難得的機會”
在Meta,沙蘭·納朗(Sharan Narang)組建並擴展了Llama預訓練團隊,交付了Llama 2、3和4的預訓練模型,奠定了Meta在生成式人工智慧領域的領先地位。
而他曾是百度矽谷實驗室的高級研究員,離開後先在谷歌當技術主管,然後跳槽到Meta。
在蘋果,曾擔任AI/機器學習相關方向總監的亞當·考特斯(Adam Coates),曾是百度矽谷實驗室的早期核心成員之一,跟隨師父吳恩達加入,並在後者離開之後接棒。
在輝達,應用深度學習副總裁布萊恩·卡坦扎羅(Bryan Catanzaro),曾是百度矽谷實驗室的高級研究員,專門研究GPU優化。
他們的共同經歷,是在十年前的「百度矽谷實驗室」效力過。那代表著百度的一次矽谷野心。
01.
矽谷野心
百度請來了“谷歌大腦(Google Brain)之父”,要在矽谷搞一個“百度大腦”,這在當時是爆炸性新聞。
2014年,百度矽谷實驗室成立,專注於人工智慧與深度學習技術研究,與北京深度學習實驗室、大數據實驗室共同構成百度研究院核心科研體系,並任命史丹佛大學教授、Coursera聯合創始人吳恩達出任首席科學家,負責統籌百度在北京與矽谷兩地的人工智慧研究工作。
吳恩達是Google大腦的早期核心成員之一,也是深度學習從學術走向工業化過程中最具代表性的人物之一。
對一家中國網路公司而言,在這一時間點、以研究負責人而非顧問的形式,將這樣一位學者級人物納入體系,在矽谷並不多見。
媒體在通報中強調,這是百度在矽谷長期佈局人工智慧研究的重要一步,並揭露百度計畫在未來五年內為這項國際研究計畫投入約3億美元,目標是將矽谷團隊擴展至約200人規模。
那一年,Transformer架構尚未出現,「大模型」仍是一個不存在的概念。但深度學習的轉折點已經到來。
2012年,AlexNet在ImageNet競賽中取得壓倒性優勢,卷積神經網路開始從學術論文走向產業實踐。
2013年,Facebook邀請楊立昆(Yann LeCun),成立Facebook AI Research。
2014年初,Google以數億美元等級的價格收購英國AI公司DeepMind。
人工智慧已經不再只是研究熱點。
但在當時,這仍然是一條高投入、長周期、結局不明的路線。少數巨頭已經開始下注,大多數公司仍在觀望。
百度正是在這階段選擇大膽押注的一方。
彼時,行動端搜尋使用量開始超過PC。但行動廣告的變現效率明顯低於PC,成本結構也更為複雜,使得公司整體獲利能力承壓。
在多次公開場合,李彥宏將這種變化描述為結構性的轉折。他強調,從PC向行動的遷移並非終點,更大的科技浪潮正在醞釀,而人工智慧將深刻改變資訊獲取與分發的方式。
正是在這樣的判斷下,百度決定不再只在國內推動應用層改進,而是直接進入全球AI研究最密集的現場-矽谷。
其實早在2011年,百度矽谷研究院就成立了,但主要是將矽谷的中國工程師招募回國。
而吳恩達的加入才是百度捲入矽谷人才爭奪核心圈的標誌,在那之後,百度的AI研究形成三大實驗室-矽谷人工智慧實驗室(SVAIL)、深度學習實驗室(IDL)、大數據實驗室(BDL),一個在矽谷,兩個在北京,形成了中美兩地聯動的格局。
推動這次合作的關鍵人物是吳恩達的老朋友、百度當時負責深度學習研究的高階主管餘凱(Kai Yu)。兩人多次在帕洛阿爾託一家喜來登酒店會面,從早餐談到晚餐,隨後餘凱又引見了百度的其他研究負責人。
之後,吳恩達飛往北京,與李彥宏進行了一次長達數小時的會談,討論百度研究體系未來應如何搭建。
這並不是一次傳統意義上的跳槽談判。對吳恩達而言,吸引力不在於頭銜,而在於空間。
百度為他提供的,是從零設計研究方向、在矽谷搭建國際化團隊、並在相對獨立的環境中推進長期研究的空間。吳恩達在接受採訪時直言,他對「從零開始建立一個國際研究組織」感到興奮。
對許多研究者而言,這意味著一家中國公司正在以接近Google、Facebook的方式,系統性地參與人工智慧基礎研究競爭。
02
人來了
吳恩達的存在本身,就形成了一種吸引力。他在史丹佛和谷歌大腦的背景,讓不少研究者願意過來試試看。
實驗室早期最重要的工作之一,就是語音辨識系統Deep Speech。模型要夠大,資料要夠多,訓練要持續夠久,人才極為重要。
一群後來在AI世界中反覆出現的名字聚到了一起。
亞當·考特斯(Adam Coates)是其中的核心人物之一。他本身是史丹佛出身,師從吳恩達,研究背景紮實。他跟著吳恩達加入百度,在實驗室裡承擔的角色,更多是把「研究」變成「能持續推進的工程」。
在工程層面,布萊恩·卡坦扎羅(Bryan Catanzaro)的角色逐漸顯現。他從輝達跳槽過來,重點在於如何讓這些越來越大的模型,真正有效率地跑在GPU上。很多時候,瓶頸並不來自演算法,而是來自系統效率。
葛瑞格里‧迪亞莫斯(Gregory Diamos)來百度之前,是輝達CUDA架構師。他在百度對DeepSpeech和DeepVoice系統有貢獻,他關注的則是更底層的系統問題:訓練過程如何被拆解、調度和優化,如何把高效能運算的思路真正嫁接到深度學習訓練中。
在這些人之間,後來創辦Anthropic的阿莫迪當時並不顯眼。
他在團隊裡的身份,只是一名研究科學家,參與模型和系統的實際打磨。但正是在這段經歷中,一種後來被反覆提及的直覺,逐漸成形。
多年後,阿莫迪在回顧自己職涯路徑時提到,他對「規模」的認識,並不是來自某一次靈光乍現,而是來自反覆的工程實踐。在Deep Speech的實驗中,當模型規模、資料量和計算資源被同步放大時,系統表現並不是隨機起伏,而是呈現出一種平滑而穩定的提升趨勢。
那時,「縮放定律」還沒有成為一個被命名的概念,多年後,2024年底,已經是Anthropic創始人的阿莫迪透露此事,引發了「百度是不是先於OpenAI發現縮放定律」的爭議。
當年在百度觀察到類似「縮放定律」的科學家,迪亞莫斯也是其中之一。
到現在他的領英界面上百度那段工作經驗裡還寫著頭銜是「大語言模型縮放定律研究員(LLM Scaling Law Researcher)」。
隨著專案推進,實驗室本身也在變化。
最初,它更像一個相對獨立的研究飛地;但到2016年前後,語音、視覺、自然語言處理、自動駕駛等方向同時展開,團隊迅速膨脹,研究開始不可避免地與公司整體戰略發生更緊密的咬合。
實驗室不再只是“做研究”,而逐漸承擔起連結前沿探索與內部工程系統的角色。
正是在這種張力之下,百度在2017年做出了一個新的組織性選擇。第二個大型研發中心在矽谷設立,這次,重心不再是基礎研究,而是更明確地服務於自動駕駛等方向的工程落地。
新的中心配備了車輛實驗室,主要支援Apollo自動駕駛平台的開發與測試,同時也容納了部分安全相關團隊。它與最初的矽谷AI實驗室形成了分工:一個更偏前沿研究,一個更偏系統工程和實際應用。
那場以研究為核心的實驗階段,正走向尾聲。
接下來不可迴避的問題是:從2014年到2017年,百度這套「在矽谷重金押注AI」的策略,究竟有沒有起到效果?
如果從最直觀的財務結果來看,答案並不簡單。至少在這三年裡,人工智慧並沒有立刻成為百度新的現金引擎。 2016年,百度營收成長率明顯放緩,第四季甚至出現年比下滑,公司在財報溝通中反覆強調「轉型期投入」的必要性。這意味著,AI更像是一項面向未來的長期基礎設施投資,而不是可以迅速反映在利潤表上的業務。
但如果把標準切換為“是否改變了公司在技術與人才層面的地位”,結論就要複雜得多。
在科技層面,百度在這階段確實獲得了前所未有的國際能見度。
Deep Speech 2的論文被大量引用,作者名單中同時出現北京與矽谷研究者。百度的語音辨識成果開始常被拿來與Google、微軟對比,進入全球科技敘事。
03
散是滿天星
吳恩達在2017年3月宣布離開百度。在他的公開信中,幾乎看不到任何衝突描述,他強調的是團隊已經成型、接班安排已經就緒,以及公司在AI上的長期投入。文字克製而體面。
就在吳恩達離開前後,百度內部確實發生了一輪明確、可見,而且影響深遠的管理階層與組織結構調整。
最關鍵的變化發生在2017年1月。百度宣布引進陸奇,擔任集團總裁兼營運長(President&COO)。在此之前,陸奇長期任職於微軟,以執行力強、組織管理風格明確著稱;再往前,他也是Yahoo搜尋與廣告體系的重要負責人。這是一個典型的、以業務整合、流程效率和結果導向聞名的管理者。
在陸奇加入之前,百度的AI體系——尤其是矽谷實驗室——更接近一種明星科學家牽引的研究「飛地」模式。
吳恩達直接向李彥宏匯報,百度矽谷實驗室在組織上相對獨立,研究方向、用人節奏、計畫推進,很大程度上圍繞著吳恩達本人展開。這種模式的優點很明顯:
決策快、學術自由度高、對頂尖研究者極具吸引力。
它的隱含前提是:研究本身被視為階段性優先順序最高的事。
但到了2016年末,這個前提正在改變。
一方面,在當年9月召開的百度世界大會上,李彥宏首次提出“人工智慧是百度核心中的核心”,並將吳恩達安排為僅次於自己的第二位演講嘉賓,AI被明確推到公司級戰略的最前台。
另一方面,Apollo自動駕駛、對話式系統、智慧硬體等方向開始被提升到公司級策略高度,AI不再只是研究部門的事情,而是需要與搜尋、地圖、雲端、汽車產業鏈發生深度耦合。
這正是陸奇被引進的背景。
在這樣的結構變遷下,吳恩達時代那種「由一位世界級學者牽引、跨中美兩端、以研究為核心」的模式,開始顯得不再匹配新的組織邏輯。
隨著百度進入一個更強調執行、協同和業務結果的階段,個人影響力必然要讓位給組織機制。
吳恩達所代表的那種高度依賴個人號召力、研究優先順序極高的模式,完成了它的歷史使命。
2017年還有一個重大的變化,那就是川普就任美國總統,中美科技摩擦陡然加劇,百度矽谷實驗室的長期可行性必然會受到檢視。
彼時川普推出強硬的移民政策,持有H1-B簽證的科技從業人員人心惶惶,李彥宏公開鼓勵人才回國發展。
從吸收以餘凱為代表的歸國人才,到直插美國腹地在矽谷搶奪人才並在當地直接開展工作,再到鼓勵人才回國,李彥宏微妙的心態轉變已見端倪。
除了AI在短期內難以對財務形成貢獻以及外部環境的變化,更深層的張力來自組織內部:研究導向的AI探索,始終需要嵌入以搜索為核心、節奏高度成熟的業務體系,而這種協同,從未真正順暢。
一條財經曾經在2017年的一篇報導中援引知情人士的話:“別看百度人工智能那麼風光,實際上搜索的數據根本不向研究院開放。做人工智能的這撥人都是海歸、精英,跟搜索那邊完全是兩種風格,兩邊互相看不上。”
這也解釋了為什麼2017年前後,不只是吳恩達,一群早期在矽谷實驗室集結的研究者,在隨後一兩年內陸續離開。
回頭看,百度矽谷的人工智慧實驗室是以一種更安靜,也更複雜的方式退場。
它沒有等來一紙“關閉公告”,卻在2017年後逐漸失去了作為獨立研究中樞的意義。核心人物離開,研究重心回撤,組織結構被拆解吸收。
這與當年的雄心壯志形成了鮮明對比。
百度曾在公開場合多次描繪一個極具野心的未來——人工智慧將成為公司最重要的成長引擎,甚至承載著國際化的想像,彼時流行的說法是「到2020年,AI將深度重塑百度的業務結構」。
現實卻是,到了那個時間節點,百度真正押注的重心已經明顯轉向了更可控,也更貼近現實的方向:自動駕駛、雲端服務、產業智慧化。 AI不再是一個獨立的信仰中心,而是被重新嵌入商業體系,成為工具和能力的一部分。
那個曾被寄予厚望、試圖在矽谷復刻一次科技奇蹟的實驗室,最後完成了它的歷史使命。
矽谷實驗室所代表的,是一種以研究優先、以個人號召力和前沿探索為核心的模式。而百度最終選擇的,則是更強調組織效率、工程落地和業務協同的路徑。
那些從矽谷實驗室離開的人,則沿著各自的方向四散開花。
考特斯先接棒了老師吳恩達,成為百度矽谷實驗室的負責人,然後他也離開了,之後進入Apple,繼續在更封閉,也更工程化的體系中推進機器學習實踐;
卡坦札羅從輝達來,揮舞百度之後,又回到輝達,現在已經是輝達副總裁、深度學習應用研究部分負責人。他最為人所知的形象標誌,是一頭長髮和茂密的鬍鬚;
「大語言模型縮放定律研究員」迪亞莫斯繼續深耕系統與算力方向,創辦了AI公司Lamini。
而阿莫迪,把在Deep Speech工程實踐中形成的「規模直覺」帶去了新的地方,最終創辦了Anthropic,站在了後來大模型浪潮的最前沿。
至於吳恩達,當年餘凱勸說他加入百度的時候,曾說他「在線上教育領域做得太出色了,但那不是AI」。
吳恩達離開百度之後,再次把重心放回「教育」。
他透過Courser把深度學習課程推給成千上萬的學生;隨後創辦DeepLearning.AI,把多年累積下來的方法論、經驗和判斷,整理成課程、專案和創業資源。
當時間來到今天,回頭翻看這些人的履歷,你會發現一個反覆出現的註腳──百度。
它不指向某一項具體成果,而更像是一段共同經驗。
在那幾年裡,這些人曾同時站在野心交會的地方,看清了什麼是可行的,什麼是不可持續的,然後各自走向不同的方向。
從這個意義上說,百度矽谷實驗室並沒有成為全球AI敘事的最終中心。它更像是一處早期的中繼站——在浪潮真正成形之前,率先聚攏了一群人,讓他們完成一次密集的試探與碰撞。
當方向切換、舞台轉移,這些人離開,故事也隨之散開。矽谷實驗室並未被正式關閉,但它所代表的那種時代,已經停留在那裡了。(字母AI)