“美國豆包”Gemini,重回AI榜單第一!
10月28日,Google發佈新旗艦模型Gemini 4 Carbon。在評測機構Artificial Analysis最新的綜合智能指數中,它以59分力壓Claude Opus 5.5和GPT-6 Astra登頂。此時距離上一款Gemini 4 Argon向普通使用者開放,才剛過去兩周。不過,普通使用者這次還得等等:Google計畫本周先向部分網路安全防禦人員開放Carbon,面向大眾的具體時間尚未公佈。
打榜拿高分這事,Gemini以前也沒少幹,不少使用者對它的實際印象卻算不上好。今年5月,就有創作者記錄過一次典型經歷:當他指出Gemini的錯誤時,模型先是一通猛誇,讚他眼光毒、找得準,唯獨正事兒沒給辦明白。這句“美國豆包”的調侃背後,吐槽的正是這種嘴上說得無比熱情、手頭活兒卻沒幹好的落差。
這次,Google把少瞎編、少自作主張列為了Carbon的重點改進方向。官方稱,新模型遇到資訊不足時,會說明還缺什麼;執行任務時,也更少擅自超出使用者的要求。在內部測試中,團隊已經能讓它連續運行數日,排查並修復大型軟體項目裡的複雜問題。
01 總分登頂,寫程式碼還差多少?
Carbon這次首先補上的,是Gemini與前排頂尖模型的差距。在Artificial Analysis的同一版智能指數中,上一代Argon拿到50分,Carbon直接拉升到59分,壓過了58分的Claude Opus 5.5和57分的GPT-6 Astra。
GoogleDeepMind掌門人德米斯·哈薩比斯在X上曬出成績後,馬斯克也在評論區回了一句“Impressive”,稱讚這次表現令人印象深刻。
不過,單看寫程式碼,排在最前面的依然是Claude。在AA的智能體程式設計指數中,Carbon搭配Google自家的Antigravity工具拿到59分,Argon的同類組合為53分;而Claude Code搭配Opus 5.5拿到了62分。要注意的是,這裡測的是模型搭配特定程式設計工具幹活的表現,不能與前面的綜合智能指數混為一談。
在Google官方公佈的17項基準對比中,Carbon拿下了15項最高分,另外兩項則分別由GPT和Claude領跑:考核智能體處理軟體工程任務的FrontierSWE 2評測裡,GPT-6 Astra以65.5%領先Carbon的61.2%;而在通過螢幕操作電腦的OSWorld 2.1離線子集評測中,Opus 5.5拿到87.2%,高於Carbon的81.5%。
換一張外部榜單,排位也會跟著變。在涵蓋金融、程式設計、法律和稅務任務的Vals Index中,Carbon以70.36%排在第二,略高於70.18%的Opus 5.5,但低於70.85%的Sonnet 5.5。在AA-Briefcase知識工作評測裡,Carbon雖然比Argon漲了126分,但Kimi K3.1 Pro、Muse Wonder和Grok 4.7仍排在它前面。
網頁開發表現同樣有所提升。Carbon在WebDev Arena升至第四,比Argon高出89分,排在它前面的依然是Opus 5.5、GPT-6 Astra和Sonnet 5.5。總分榜首雖然已經到手,但在寫程式碼、操作電腦、做網頁這些具體戰場上,Carbon還沒能把單項第一全都收入囊中。
02 會誇人之外,能不能把事改對?
對於曾被Gemini繞暈過的使用者來說,少返工可能比跑分多拿幾分更實在。Google這次列出的改進,也專門瞄準了執行任務時那些讓人頭疼的老毛病。
Google稱,遇到指令含混或參考資料互相衝突時,Carbon會先尋找相關來源,把不一致的地方擺出來告訴使用者,再往下推進;證據不足時,它會直接列出還缺什麼資訊,減少憑空捏造。在Google內部測試中,毫無依據的陳述比Argon減少了約一半。
針對“愛自作主張”的毛病,官方也給出了一組統計:Carbon擅自超出使用者要求的行為減少了26%,原本該做卻沒做足的情況減少了29%。在內部團隊的實際程式設計環境中,嚴重偏離預期行為的告警更是減少了近80%。當然,這些資料均來自Google內部評估,各項測試的對象和統計口徑各不相同。
提前拿到測試資格的Peter Gostev在X上表示,他覺得Carbon比Argon強了太多,希望Google能繼續保持這樣的迭代速度。
評測平台Arena公佈的早期資料裡,也有一項指標值得留意:在“可引導性”(Steerability)單項上,Carbon排到了第一。這項指標專門衡量使用者指出問題或提出進一步要求後,智能體能不能聽勸、順著指令改到位——這正對應了此前使用者吐槽的“誇了半天,就是沒改對”。
Arena同時披露,基於平台上約2.19萬次真實智能體會話,Carbon在Agent Arena總榜排第二;單項任務的費用中位數約為1.8美元,比排名第一的Opus 5.5 Max便宜了72%。不過,這只是該平台特定會話下的表現與開銷,不能直接等同於每個人日常使用的實際帳單。
另一方面,第三方獨立測試並沒有證明它在所有“防瞎編”指標上都變好了。在AA-Omniscience知識評測中,Carbon的答對率從Argon的48%提升到了58%,但幻覺率也從4%升到了11%(儘管在榜單中仍屬較低水平)。
需要說明的是,這項測試裡的“幻覺率”,算的是在答錯、部分正確和拒答等所有“非滿分回答”裡,胡編亂造的錯誤答案佔了多少。它並不代表模型所有回答裡有11%是編的,也不能直接拿去和Google內部的“無依據陳述減半”做加減法。但至少在這項知識測試裡,Carbon雖然答對的題變多了,遇到盲區時是不是真比上一代更能管住嘴、忍住不猜,第三方測試還沒有給出同樣樂觀的結論。
03 找漏洞、修補丁,這次進步在那
Google這次還把Carbon推向了耗時更長、更複雜的工程任務。在內部團隊的使用中,它能連續幾天紮在大型程式碼庫和底層系統裡排查問題,一條路走不通就換個方向繼續試,直到揪出細微的錯誤並嘗試打上補丁。
網路安全是此次重點展示的場景。在實戰中,發現疑似漏洞只是第一步,安全人員還得驗證漏洞能不能被實際利用,最後再決定怎麼修補。Google公佈的三項測試,正好對應了這幾個環節:
在真實軟體中挖掘漏洞的SEC-bench Pro裡,Carbon得分為88.2%;在驗證漏洞利用能力的ExploitGym裡,它在單項任務限時10小時的條件下拿到54.8%,高於Argon同條件下的42%;而在修復漏洞根因的CWE-bench裡,Carbon拿到71%,略高於Argon的68%。
上述三項成績均在未啟用安全護欄的評測條件下測得。Google內部還測試了它編寫安全程式碼的能力,稱Carbon的成功率超過了Argon的兩倍;GoogleChrome團隊則透露,它在生成高品質補丁上的表現,比另一家實驗室的某款大型前沿模型好上十倍不止,但並未點名具體是誰。
啃下大型工程項目,還得靠夠大的記憶容量。Carbon支援100萬token上下文。在要求模型順著海量節點關係做檢索的GraphWalks測試中,Google公佈其在25.6萬至100萬token長區間內的得分為96.2%,遠高於Argon的84.2%、GPT-6 Astra的71.8%以及Opus 5.5的66.8%。當然,這測的是超長上下文裡的邏輯關係追蹤,不等於普通長文閱讀的精準率。
當模型連續幹活的時間變長,會不會為了交差而耍小聰明走捷徑?Google同樣做了檢查。在其公佈的Terminal-Bench 4.0測試中,Carbon嘗試作弊的比例為0.4%,最終成功作弊的比例降到了0。不過,這一結果僅限於當次評測,並不能保證它在今後的所有任務裡都不會違規。
04 提前試用的人,也有人嫌它慢
模型正式發佈前,測試者Lumina曾分享過一組標為Carbon的Arena演示,其中有一座體素風格的寶塔。畫面裡,層疊的樓閣、樹木和水面都已經搭得有模有樣。他認為生成效果比Argon有明顯進步,但對速度很不滿意:按他的直觀感受,不同任務比之前慢了兩到四倍。
追蹤這組演示的科技媒體TestingCatalog提醒,由於無法確認當時Arena後台掛載的具體測試版本,這份偏慢的體感還不能直接套到最終正式發佈的Carbon頭上。而在Vals目前已公開的綜合資料中,Carbon完成單項測試平均耗時約47分45秒,Argon約為44分58秒;作為對比,Opus 5.5和Sonnet 5.5均超過了1小時。這些跑的都是涵蓋金融、程式設計、法律和稅務的複雜長任務,不能拿來推算日常普通聊天要等多久。
除了花多少時間,還得算算花多少錢。Carbon目前沿用了Argon的首發優惠價:每百萬輸入token收費2美元,輸出10美元,快取輸入按輸入價的5%計費。優惠期滿後的標準定價將恢復為輸入4美元、輸出20美元,具體漲價日期尚未公佈。
不過,紙面單價一樣,幹完一件活的總帳單未必一樣。 Artificial Analysis按恢復後的標準價格測算,Carbon跑完每項智能指數任務的加權平均成本為7.76美元,低於Opus 5.5的10.04美元(省了約23%),但高於GPT-6 Astra的6.25美元;與上一代Argon的7.68美元相比,單次任務開銷基本持平,綜合得分卻漲了9分。
之所以單價不便宜、總帳單卻沒爆表,是因為在這套測試裡,Carbon平均每項任務消耗的輸出約為12.3萬token,比Opus 5.5的17.3萬少了約29%。這也說明,算AI帳不能光拿價目表上的單價相除。當然,如果手頭的活不需要頂配模型,市面上還有更省錢的選擇——比如綜合得分55分的GPT-6.1 Sol,單項任務成本只要1.27美元。
至於普通使用者那天能親自上手驗貨,Google還沒給出准信。公司宣佈,本周會先向一批網路安全防禦人員開放,隨後通過Fairwind計畫逐步擴大到更多可信合作夥伴,最後才會向廣大開發者、企業和普通消費者放開。此外,Google也已將該模型提交給美國政府參與自願性的發佈前安全測試。
從目前擺上檯面的資料看,Carbon確實交出了比Argon好看得多的綜合成績單,早期測試中也出現了“指出問題更能聽勸改對”的正向反饋。只是對那些曾被“美國豆包”繞暈過的使用者來說,下次再指出它的錯誤時,能不能少來兩句場面話、直接把活幹漂亮,大概比再曬一張榜首截圖更有說服力。 (網易科技)

