過去三天,全球三家頭部模型公司接連更新了自己的前沿模型。
9月1日,Anthropic發佈Claude Fable 5.1;9月2日,Google發佈Gemini 3.8 Flash;一天之後,OpenAI發佈GPT-6 Astra。
重點依然是更強的Coding、更複雜的推理、更長時間的Agent任務,但是背後還有一個更值得關注的趨勢,Computer Use、Browser和Tool Use,越來越成為一套統一的環境互動能力。
以前,AI如果想呼叫一個軟體,大致有三種辦法:軟體提供API,模型呼叫工具;軟體運行在網頁裡,AI操作瀏覽器;第三種,像人一樣看螢幕、點滑鼠、敲鍵盤。
但是在過去很長時間裡,最後一種方法都是不得已的選擇。API更快、更穩定,也更容易控制權限,Computer Use緩慢、容易出錯,介面稍微複雜一點,任務走上幾十步就可能失敗。
GPT-6 Astra發佈之後,把Astra定位為“全球最強的電腦使用模型”,Computer Use不再是一種不得已的“兜底能力”,甚至能順暢呼叫專業度很高的軟體。
01 Computer Use開始“能用”了
OpenAI早在2025年的Operator中就展示過Computer Use。當時模型通過視覺理解網頁,再模擬滑鼠和鍵盤完成訂餐、購物、填寫表格等任務。
但是當時的問題是,“能操作”和“能工作”之間還有很大的距離。
早期Computer Use完全不可靠。真正的需要Agent操作電腦的任務,一般都是多個步驟,中間一次誤點、一個彈窗或者一次狀態判斷錯誤,都可能讓整個任務前功盡棄。另外就是很慢,一個任務能讓人等得完全失去耐心。
在測試模型能否在真實桌面環境中完成跨應用操作任務的 OSWorld 2.0 上,Astra達到72.6%,此前的GPT-5.6 Sol為65.7%;在更側重螢幕視覺定位和精準點選能力的 ScreenSpot-Pro 上,Astra從Sol的76.9%提升到92.7%。
從速度上來看,OpenAI稱,在OSWorld模擬環境中,Astra完成任務平均需要約40分鐘,GPT-5.6 Sol約為75分鐘。
Computer Use第一次開始同時提高成功率和執行效率。
比如, OpenAI給到的官方案例。遊戲公司Playco正在把Astra接入自己的AI開發工具Playbot。模型可以直接進入Unity、Godot這樣的遊戲引擎,修改場景、運行遊戲、測試結果,發現問題以後繼續修改。Playco稱,相比此前使用的模型,人工修複次數減少了50%。
Playco聯合創始人Teddy Cross評價Astra時特別提到,它“much better at reasoning about space and positioning elements(它對空間關係的理解,以及對介面元素位置的判斷明顯更準確)”。
同樣的變化也出現在Anthropic。
Fable 5.1繼續強化瀏覽器、Computer Use和長程Agent任務。Anthropic給出的OSWorld 2.0成績從Fable 5的72.9%提升至77.9%,AutomationBench則從17.1%提升至31.4%。
與此同時,它把快取讀取價格降低75%,Anthropic估算,在高度Agent化的工作負載中,整體成本最多可以下降約45%。
Computer Use的變化因此不只是benchmark又漲了幾分,經濟性和可靠性在同時越過臨界點。Agent直接操作GUI,開始有機會成為一種常規的方式,甚至可以期待和各種介面一樣穩定。
02 AI有了自己的選擇權
如果只是Computer Use變強,這仍然只是一個模型能力升級。更重要的變化發生在它和其他工具的關係上。
過去開發一個Agent,往往需要人為提前設計工作流:第一步搜尋網頁,第二步呼叫CRM介面,第三步執行Python,第四步再進入某個軟體。
現在,Agent可以在工作循環中自主安排怎樣用、順序如何,怎樣效率才更高。
GPT-6 Astra同時支援Web Search、File Search、Code Interpreter、Hosted Shell、Computer Use、MCP、Skills和Tool Search等工具。OpenAI對它的定義是可以跨“code、browsers和professional software”連續執行任務的模型。
這次還出現了一個不起眼卻很關鍵的新能力:async tool calling。
過去一次典型的工具呼叫是序列的:模型發起呼叫,等待工具返回結果,然後繼續推理。Astra現在可以在一個工具仍然執行階段繼續思考、呼叫其他工具,或者先處理任務中的其他部分。
這越來越接近真實的人類工作方式。
例如,一個Agent接到“分析這個月銷售異常,並更新CRM、生成Power BI匯報”的任務後,它可能直接通過API讀取CRM資料;同時在瀏覽器裡查詢客戶背景;呼叫Shell處理資料;最後發現Power BI並沒有合適的現成介面,於是進入軟體介面直接完成圖表。
模型選擇工具的能力變強了,這是最可怕的地方。
Google最新的Gemini 3.8 Flash也出現了同樣的方向。Google把它明確定位為“built for long-horizon coding and autonomous agents”,並解釋這一代模型在複雜任務中會執行更多推理步驟,並反覆呼叫工具。3.8 Flash也是Google六周內發佈的第三代Flash模型。
幾條技術路線也開始逐漸失去清晰的邊界,自由為Agent所用。API能夠直接呼叫,就走API;網頁更方便,就進入Browser;需要批次處理資料,可以寫程式碼;軟體沒有適合機器的入口,也可以直接操作GUI。
一位大模型領域的研發工程師說,過去行業裡有一條幾乎默認的原則,如果能API,就不要點滑鼠。這條原則現在暫時還是有效,API還是更快、更穩定、更便宜。
但是,現在並不是非API不可了,它正在從“機器進入軟體的必要條件”,變成Agent可以選擇的最優路徑之一。
換句話說,GUI正在獲得一種過去沒有的身份:它也開始成為機器(AI)的介面。
過去GUI是給人使用的,API才是給機器使用的。Computer Use一旦變得足夠可靠,兩者之間的邊界就第一次真正開始模糊。
03 GPT-6“強拆”的不是權限牆,而是介面牆
GPT-6 Astra並沒有獲得繞過軟體權限的能力,這也是Computer Use最容易被誤解的地方。
如果一個使用者沒有查看某份Salesforce資料的權限,Agent也不會因為會操作滑鼠就自動獲得權限;MFA、SSO、作業系統管理員權限仍然存在。OpenAI在描述Astra已經達到“Critical”等級的網路安全能力時,也專門加上了一個前提——“with the right tools and access”。
所以,Astra“拆掉”的不是登錄牆,更不是資料權限牆。
過去,沒有軟體廠商提供的機器介面,AI很難進入這個軟體。
所以,幾十年來,軟體世界形成了一套非常明確的分工。人從GUI進入,機器從API進入。
因此軟體廠商實際上掌握著機器入口的定義權:要不要開放API,開放那些動作,第三方可以訪問什麼,按照什麼方式收費。
Computer Use把這個“介面牆”拆掉了,如果一個擁有正常權限的人能夠在螢幕上完成一件事情,理論上Agent也可能沿著同一條路徑完成。
這意味著“不開放API”,正在越來越難等同於“AI無法操作我的軟體”。
這種變化甚至已經倒逼軟體巨頭自己提前行動。
2025年,Salesforce負責AI產品的Adam Evans就提出,“autonomous AI agents will become the new user interface”。他的判斷是,使用者未來越來越可能直接面對Agent,由Agent在後台呼叫不同的資料和應用,而不是自己在多個App之間切換。
今年,微軟在一篇關於企業軟體架構的文章中提出,在Agent模式下,App未來可能更多作為“systems of record”,而不再是“systems of navigation”——使用者不需要知道應該打開那個系統,只要表達自己的目的,Agent負責協調背後的應用、規則和資料。
04 App還在,但工作流可能不再屬於App
這是Computer Use繼續成熟之後,對軟體產業最值得關注的影響。
過去,一個Salesforce使用者想做銷售分析,通常要先打開Salesforce;一個財務人員要處理資料,會進入Excel或者財務軟體。
每一個App既記憶體資料,也試圖成為工作的入口。
Agent正在改變這個關係。
未來使用者可能只需要說:
“把這個月銷售下降最大的十個客戶找出來,分析原因,把結果更新到CRM,再給我生成明天開會用的報告。”
至於後台呼叫了Salesforce、Gmail、Excel、Power BI還是公司內部系統,越來越可能由Agent決定。
這其實已經成為軟體巨頭主動承認並接受的現實。
微軟CEO薩提亞·納德拉今年7月在財報電話會上提到,微軟正在把Dynamics 365中的超過65萬個動作通過MCP暴露出來,讓Agent可以在相同的資料模型、規則、權限和審計體系下直接執行操作。與此同時,微軟的企業軟體商業模式也開始從純seat收費轉向“seat + consumption”。
ServiceNow今年5月則宣佈開放Action Fabric,讓外部AI Agent可以直接呼叫他們的企業工作流。ServiceNow舉了一個很有代表性的例子:過去必須進入ServiceNow介面完成的密碼重設流程,現在可以直接由Claude觸發。
這看起來似乎與Computer Use方向相反,既然AI可以點GUI,為什麼軟體公司反而更加積極地開放MCP和Agent介面?
API並不會因為Computer Use而消失。API仍然是高速公路:速度快、穩定、可計量,也更容易進行權限管理。Computer Use更像是讓Agent突然擁有了越野能力。
一旦AI擁有“沒有公路也能過去”的能力,軟體廠商反而更有動力把自己的公路修得更好。
過去,是Agent開發者希望Salesforce、Microsoft或者ServiceNow開放介面。
未來可能反過來,軟體公司需要主動最佳化自己的API、MCP和Agent入口,讓Agent優先使用自己的正式介面,而不是直接去操作GUI。
雙方的話語權已經開始改變。軟體廠商依然擁有非常重要的東西:客戶資料、身份體系、權限、安全規則和System of Record。這些不會因為一個模型學會點滑鼠就消失。
但它們可能逐漸失去另一項過去習以為常的權力:定義使用者從那個入口進入,下一步該去那裡、打開那個頁面、按照什麼順序完成工作。
GPT-6 Astra沒有讓App消失,也沒有讓AI繞過軟體權限,但是AI能力提升的方向,讓它可以越來越不依賴軟體廠商專門為自己準備入口。
GPT-6“強拆”的,正是這堵牆。
當然,截止目前,還沒能真實測試GPT-6 Astra,如果它所宣稱和強調的能力真的很好用,Agent的選擇權,真的已經變得越來越大了。
人總會選擇更高效、更省事的方式。Agent迎合了這種本能,也因此開始獲得原本屬於使用者和App的選擇權。(騰訊科技)
