憋了整整兩年多,百度終於亮出了自己的重磅殺手鐧!
今天,百度Apollo正式發佈了「ApolloWorld」——首個面向物理AI的Agent驅動全模態世界模型。
它直接把整座城市的路網、多模態感測器和車流博弈搬上雲端,支援毫秒級即時互動與連續幾十分鐘的完整接單推演,一舉打破了以往世界模型只能模擬「幾十秒孤立片段」和「單向放錄影」的瓶頸。
有了這個虛擬「大考場」,無人車在雲端平均可做到「日行十萬公里」。
1天跑完的虛擬里程,頂得上1輛配安全員的真車連續測試約3年,把自動駕駛測試效率提升了數百倍!
靠著ApolloWorld在雲端24小時陪練,蘿蔔快跑L4級全無人端到端大模型如今已正式上車。
上百輛無安全員真車,每天靠端到端大模型上街跑單——全球能做到這一步的,只有它和特斯拉兩家。
最關鍵的是,雲端特訓出來的成績,真上了路確實能打。
這次我們在深圳街頭實測打車,就被這位沒有安全員的「AI司機」秀了一把什麼叫老練——
大晚上視線不好的路段,左邊快車道突然冒出黑衣路人佔道、右側又擠滿單車與電瓶車,或是路口左轉時外賣騎手從車頭前1秒閃過……
換作是新手司機早就慌了,但無人車總能提前預判、平順減速讓行;遇到夜間多車流掉頭或窄道連續避障時,繞行與會車更是絲滑得像十年駕齡的「老司機」。
世界模型賽道火熱
光會「拍電影」可救不了無人車
能讓無人車在街頭把複雜路況處理得如此老練,很大程度上正是得益於世界模型在幕後的高強度特訓。
最近一個多月,全球世界模型賽道熱鬧非凡。從李飛飛團隊World Labs的三維空間模型,到GoogleDeepMind的Genie系列,再到Waymo基於Genie 3推出的自動駕駛世界模型——甚至把龍捲風、洪水和大象都放進了虛擬測試場。
如果只是生成一段酷炫的街頭視訊,看著確實過癮;可要是拿來給L4無人車當訓練場,就不夠用了。
原因在於,目前市面上大多數吸引眼球的演示,其實還停留在「視訊渲染器」階段,雖然鏡頭在變、風景在動,但外面的世界並不會因為你的動作發生改變。
大會現場,百度智能駕駛事業群組首席架構師、技術委員會主席王亮博士稱,世界模型不能只做「生成炫酷視訊的畫師」,更要成為驗證無人駕駛安全性的「考官」。
因此,百度這次沒有去拼單純的畫面特效,Apollo World從一開始就瞄準了能互動、能推演路況變化的「世界模擬器」,專門給無人車造雲端訓練場。
之所以必須跨過這道檻,是因為無人車開上街頭,面對的是容錯率極低的真實物理世界。
家務機器人在屋裡疊衣服、做飯,就算失手把碗摔了,大家最多一笑而過;可一台近兩噸重、時速幾十公里的汽車開在馬路上,一旦遇到行人突然橫穿或旁車加塞,根本沒有試錯的餘地。
因此,用來訓練無人車的世界模型,不能只是單向放錄影的「電影院」,而必須像一場隨時接戲的「舞台劇」——你稍微減速,旁邊的車立馬插進來;你往前探出半個車頭,對方可能就踩剎車讓開了。
想在真車上路前把罕見險情全部練熟,百度的解題思路正是「用AI訓練AI,讓AI教AI開車」:
- 車端的「學生」:裝在無人車上的蘿蔔快跑新一代L4端到端AIDriver基礎模型(ADFM),直接輸入多模態感測器訊號並輸出駕駛軌跡;
- 雲端的「AI教練」:具身世界模型ApolloWorld,專門負責在雲端建構閉環模擬環境,給學生出題、陪練和打分。
訓練時,「教練」會生成逼真的街景與雷達點雲,並根據「學生」每一次打方向或踩剎車的動作,即時推演周圍車流的下一步反應,一秒接一秒地閉環過招。
一旦「學生」在某個罕見險情裡反應慢了或發生擦碰,「教練」馬上就能抓出短板,變著花樣生成上千道同類長尾難題反覆特訓,直到徹底練成「老司機」再裝上真車。
相比之下,目前主流的世界模型大多聚焦於靜態3D空間漫遊、局部場景模擬或單一視覺推演。
而Apollo World則成為了業內首個同時打通「全員獨立Agent互動博弈、相機與點雲全模態同步生成、城市級完整訂單閉環」的L4實戰訓練場。
三關實測現場驗貨
暴雨天點雲減半、連鬼探頭都能即時過招
在這座雲端虛擬城市裡,旁車隨時可能變道加塞,路口會突然衝出外賣電瓶車,現實街頭最讓人頭疼的複雜路況,24小時不間斷地換著花樣給無人車出題。
王亮博士表示,「開放世界容錯空間幾乎為零,安全決策周期要嚴格限定在1/30秒內」。
如今「世界模型」這個詞被用得越來越泛,卻始終沒有統一的定義。
為了衡量這個訓練場到底好不好用,也為了把這個新概念真正「做對」,百度堅持想清楚再動手的正向設計思路,先提出了一套世界模型「2+3」標準。
其中,前兩項「2」是區分「視訊生成器」和「真世界模型」的基石門檻:
- 因果性:基於因果自回歸機制,嚴格遵循時間單向性,只能根據過去和當前狀態推演下一秒,不能提前預知結局再倒推畫面;
- 互動性:支援動作條件生成(Action-Conditioned),無人車每次打方向或踩剎車,周圍車流都得跟著即時改變。
跨過這道門檻後,後三項「3」則是檢驗L4訓練場的實戰指標:
- 物理精準性:嚴格符合真實的光學成像與車輛力學規律;
- 持久性:能連貫跑完幾十分鐘的完整行程,長時不斷片;
- 即時性:實現毫秒級響應,推演速度跑贏駕駛系統的決策時間。
這套「2+3」標準放進實際路測裡,對應的正是物理規律、車流博弈和長途連貫性三道關卡。不妨結合實測畫面,逐一看看ApolloWorld的表現。
不搞「表面濾鏡」,雨天打滑和水柱沖錐桶都得算準
第一關先測物理常識,看它只是給畫面加了層濾鏡,還是真的懂現實世界的物理規律。
把同一段城市道路依次切換成晴天、暴雨、雪天和夜晚,最明顯的變化就在雷射雷達點雲圖裡。
一旦切到暴雨模式,不光攝影機畫面有了積水和反光,雷射雷達點雲也因雨水散射一下子少了一大半,連左前車後輪濺起的水花和前車後方的雷射無回波區都清晰可見。
切到雪天時,路邊的落葉樹會自動掉光綠葉;到了夜晚,車輛連續駛過路燈時,車身下的陰影還會隨著光源位置周期性拉長與縮短。
工程師並沒有在程式碼裡寫任何光學或自然公式,全是模型學習超10億幀真實資料後,自己摸清了這套物理規律。
雨天路滑還會直接影響剎車距離。兩輛無人車以同樣的速度同時踩下剎車,晴天干地上的車穩穩停在前方貨車後,雨天濕滑路面上的車則會繼續往前滑出一段距離才停下。
在真實路測中還曾遇到過這樣一幕:灑水車噴出的高壓水柱把路邊的錐桶衝到了馬路中間,正好擋在無人車正前方。
傳統模擬器裡的錐桶固定不動,根本算不出這種意外;而懂物理規律的ApolloWorld卻能把「水柱沖走錐桶」的全過程推演出來,專門訓練無人車遇到突發障礙時及時避讓。
告別「重放錄影」,讓整條街的車活過來陪練
過了物理細節這一關,第二關要面對的,則是路上隨時變主意的其他車輛和行人。
傳統的模擬測試大多採用「實車日誌回放」,也就是把真車錄下的歷史資料重放一遍。一旦無人車臨時決定提前變道,錄影裡的旁車根本不會配合,還是照著原來的死路線往前開,測試結果自然就失真了。
為了讓周圍環境真正響應無人車的動作,ApolloWorld建構了「智能體驅動(Agent-Driven)」的推演架構,把場景裡的每一輛車、騎手和行人都建模為具備獨立感知與決策能力的AI智能體。
測試人員還能在系統裡直接調高車流密度或旁車搶道的激處理程序度,即時生成不同風格的交通博弈分佈,主動給無人車增加考試難度。
比如在高架匝道口,如果無人車選擇駛上高架、給右側留出足夠空間,支路上的白車就會順勢匯入主路。
而如果無人車改走地面輔路,右側白車看到會車空間不夠,就會主動停在支路等待。
在一場路口騎行者「鬼探頭」的高壓測試中,一名騎車人突然從路側視線遮擋處猛衝出來,無人車第一時間急剎停住。
更有意思的是,這名騎車人看到車頭近在咫尺,竟然像真人一樣往後退了一小步,主動讓出安全距離,隨後無人車才重新起步。
而在另一組測試裡,騎車人只是順著路邊平行騎行,無人車便不再猛踩剎車,而是稍微減速後平順通過。
告別「幾十秒短片段」,在香港虛擬城一口氣跑完一整單
光能躲過單次險情還不夠,真實打車往往要連續跑上幾十分鐘,前一個路口的變道選擇,會直接改變後面整趟行程遇到的路況。
這就引出了第三道關卡——長時間連續推演的穩定性和即時性。
以往行業裡的世界模型大多隻能模擬幾十秒的單一獨立場景,一旦拉長到跨路段的連續行駛,畫面細節和道路結構就容易發生漂移甚至崩塌。
而Apollo World則支援無人車在虛擬城市任意起終點之間連續行駛十分鐘以上,一口氣跑完從接單、載客到送達的完整行程。
在實測中,4輛虛擬無人車從香港機場附近的萬豪酒店同一個起點出發,分別開往航站樓、購物中心、機場行政大樓和停車場4個不同目的地。
前半程路線相近,過了岔路口後則拐進不同道路,各自面對不同的紅綠燈和車流,最終全都平穩跑完了整趟行程,畫面從頭到尾沒有崩塌。
在同一條路線上,系統還能同時設定低、中、高三種不同密度的車流進行倍速平行測試。
車流稀疏時無人車快速通行,車流密集時則耐心跟周圍車輛博弈匯入,充分檢驗早晚高峰等不同路況下的連續通行能力。
之所以能在虛擬世界裡一直穩定開下去,背後靠的是兩項關鍵技術突破:
第一是「多模態聯合生成」與「三維靜態地圖先驗」。
普通視訊模型只生成2D平面畫面,跑久了車道和街景就會走樣;而ApolloWorld在生成多視角相機畫面的同時,會同步聯合生成3D雷射雷達點雲,並引入高精度三維道路結構先驗。
那怕連續跑上幾十分鐘再經過同一地點,街景建築也不會變形漂移;一旦兩車在三維空間裡發生擦碰,系統還會當場判定測試失敗,不會像普通視訊模型那樣「穿模」混過去。
第二是基於因果自回歸架構的「多步知識蒸餾」即時加速。
無人車每走一幀,模型都要同步渲染多路環視相機的超千萬像素畫面與數十萬級三維雷射點雲。
通過將多步擴散大模型蒸餾為少步推理的輕量學生模型,系統成功將即時響應控制在33毫秒(約1/30秒)以內,讓虛擬路況的生成速度完全跟得上車載控制訊號的響應節拍。
1天跑完真車3年的路
把百萬公里試錯留在雲端
把上面三道難關全部打通之後,Apollo World給實際業務帶來的改變就非常直觀了。
自動駕駛系統對安全要求極高,每一次模型大版本迭代,平均都要經歷超70萬公里配備安全員的真實路測才敢上線。
那怕安排專職安全員每天輪班上路,扣掉吃飯休息時間也得連續跑上好幾個月;遇到高速急剎、盲區橫穿這類高危場景,現實中更不可能找真人去冒險試錯。
如今有了「日行十萬公里」的Apollo World,絕大部分路測和高危場景都可以放到雲端大規模平行跑完,真車上路只需完成最後的實車驗證,就能把測試周期從原本的幾個月大幅縮短到幾天之內。
這套「先在雲端探路」的辦法,在開拓新城市時也派上了大用場。
以採用「右舵左行」的香港為例,當地路窄彎多、環島密集,而且對實車測試管得極嚴,靠真車上路慢慢磨根本行不通。
於是,百度團隊依託高精地圖和前期採集的一部分道路資料,直接在雲端搭起了「虛擬香港」。無人車在裡面把環島讓行和窄路會車反覆練熟,短短幾個月就拿下了香港首個右舵左行全無人測試牌照。
當然,虛擬考場要想越建越真,也離不開真實路測資料的持續輸入。
目前蘿蔔快跑已落地全球28座城市,累計提供超2300萬次出行服務,自動駕駛總里程突破3.5億公里,其中全無人駕駛里程超過2.4億公里,也是全球唯一在左右舵市場均開展無人駕駛實踐的平台。
上千輛無人車每月帶回上千萬公里的真實路況,讓虛擬考場越來越貼近現實;反過來,ApolloWorld又能把真實營運中遇到的偶發險情擴充成海量測試題,在雲端24小時訓練車端的L4駕駛大模型。
打破無人駕駛「不可能三角」
物理AI迎來「AGI時刻」
隨著這套「真車收集資料、雲端強化訓練」的雙向循環跑通,自動駕駛底層的技術範式也迎來了徹底洗牌。
過去自動駕駛普遍依賴人工編寫的專家規則,每進駐一座新城市,工程師都得針對當地路況一點點修改程式碼,不僅擴展僵化,遇到規則之外的未知場景還容易卡殼。
如今,蘿蔔快跑新一代AI Driver基礎模型(ADFM)採用端到端自回歸架構,直接將多模態感知轉化為轉向與加減速動作,通過吸收海量人類優質駕駛資料,學會了在不同城市的複雜車流裡自然博弈。
而ApolloWorld在雲端千萬公里級的極限施壓,則解決了端到端大模型最難的「黑盒安全驗證」難題,給了百輛級無安全員車隊直接上路營運的底氣。
更深遠的變化在於,這套「AI教AI開車」的體系,一舉打破了困擾無人駕駛十年的「安全、智能、規模」不可能三角,改寫了整個賽道的競爭壁壘。
以前外界看一家自動駕駛公司的實力,往往看它買了多少測試車、招了多少安全員、在馬路上熬了多少年。說到底,那還是一門靠堆人力和重資產緩慢擴張的傳統生意。
而ApolloWorld把這套重資產試錯徹底搬進了機房,變成了由「真實營運資料+雲端算力」驅動的規模化訓練。
就像AlphaGo在棋盤上左右互搏一樣,從此以後,誰手裡的真實資料越多、雲端「AI教練」越強,誰的模型迭代和規模化落地速度就會呈指數級拉開差距。
更廣闊的想像空間還在於,Apollo World這套技術底座不僅能教汽車開車,還能廣泛適配機器人等各類物理AI場景。
據Grand View Research預測,全球物理AI市場規模將從2025年的約816億美元,增長到2033年的約9604億美元,成為一條近兆美元的龐大賽道。
世界模型不再停留在「生成畫面」,而是真正走向「驗證行動」,無人駕駛乃至整個物理AI產業期待已久的「AGI時刻」,也就此到來。 (新智元)

