昨天Anthropic 應用 AI 負責人William做了一個演講,談到A廠把 Claude Code 的系統提示詞一口氣砍掉了八成——從 800 token 壓到了 164 token。
官方給的理由是新一代模型(Fable 5)夠聰明了,喂太多指令和例子反而框住它,不如讓它自己發揮。
換個角度想:連每次呼叫多燒的那點提示詞開銷都在摳.....
還記得之前微軟把給自家員工用的 Claude Code停了,人被趕去用自家的 GitHub Copilot 那件事嗎?
還有Uber .....
給工程師搞了個內部排行榜,按 Claude Code 用量排名。結果大家可著勁兒燒,四個月就把一整年的 AI 預算燒光了,最後只能給每人每月摁一個 1500 美元的上限。
前幾天交流裡還有個有意思的細節。有專家聊到,矽谷那邊一到下午,Gemini 就明顯變卡——不是它不行,是好多人上午就把最貴的 Claude Code 額度燒光了,只能趁額度恢復的空當,先拿 Gemini 頂一會兒...
再結合最近開始流行的一個說法:企業要砍 AI 了,需求見頂了。證據無非是——停發員工的 AI 程式設計額度、給 token 設上限、CFO 進場算帳。這一輪行業層面的利空,很大程度上就是從這兒引出來的....
這就是現在企業 AI 的真實狀態:需求沒消失,但錢開始變敏感。
過去兩年,AI 是一個純增量敘事。只要企業上了 AI,就算增長;只要產品賣出去、席位裝上去,就算贏。沒人太較真 ROI。
現在問題變了。企業不再只問上了沒有,而是開始問:到底值不值?能不能量化?能不能進預算?能不能真正省錢或者多賺錢?
一位跟蹤企業 AI 落地的專家,給了企業自檢的三條硬指標:
- 發出去的席位,有沒有人真在用(買了不等於用);
- 有沒有嵌進真實業務流程,而不只是開完會做個摘要;
- 有沒有拿得出手的成果,比如活幹得更快、能省下人手。
之前微軟的專家也對照這三條進行了衡量。
嵌得最深的那類 AI 助手(Copilot 那種):員工個人效率大概提升了中高十幾個百分點。而當初給企業畫的餅,是 30% 到 50%。這缺口還不怪工具,專家說得直接,是企業把 AI 真正用起來這件事本身太難....
其實個人層面的效率提升訊號已經很明顯了——員工自己做事確實比以前快了不少,只不過從來沒人專門統計過這部分變化。真正難的,是怎麼把分散在每個人身上的零散提升彙總起來,提煉上升到企業層面,變成能清晰核算的收益數字。
現在企業對AI的態度,早就變成了糾結明年到底得給這玩意兒投多少預算、長期做下去能不能扛得住……
所以站到企業的 CFO、採購角度看到的完全是另一幅畫面....
後附一些關關鍵問答:
牧風交流:
Q:單個 token 的價格明明一直在降,企業的 AI 帳單怎麼反而在漲?
單價降是真的,但有兩股力頂著總支出往上走。一是模型越做越大,同樣啟動比例下,單個 token 的單價其實還在漲;二是現在主流的 agent 模式,本身就是吃 token 的大戶——讓大模型自己管上下文、管記憶,比過去那種省著用的 RAG 費得多。單價降的那點好處,全被用量漲給蓋過去了。所以你會看到一個現象:per-token 成本在跌,企業的總帳單還在爬。
Q:一個 agent 到底能有多費?
專家給的畫像是,一個 agent 幹一個任務,平均要呼叫工具三百來次,也就是說這個任務處理程序中間會被打斷三百多次。每斷一次,那些算過的快取都得挪來挪去。這跟過去人工搜個東西試三五個關鍵詞,完全不是一個量級。
Q:所以到底能貴到什麼程度,有沒有實打實的數?
有實打實的數。微軟和 Uber 都披露過,工程師用這類 agentic 編碼工具,一個月人均 500 到 2000 美元 token。Uber 那邊更誇張,四個月燒光全年 AI 預算,五千號工程師、九成五每月都在用、七成提交的程式碼是 AI 寫的。連這種體量的公司都得給每人每月設上限,中小企業什麼處境可想而知。
Q:那這筆 AI 的錢,是從原來的 IT 預算裡挪出來的,還是額外新加的?
專家說基本是淨新增,不是從老 IT 預算裡切。邏輯也簡單:企業這兩年因為利率高,本來就在降本,這事跟 AI 沒關係、早在做了;AI 是在降本的同時額外加上去的。所以這兩件事得分開看——降本是降本,AI 開支是 AI 開支,是加出來的。
Q:可財報上看,很多企業的 IT 開支好像還降了?
對,這就是最容易被誤讀的地方。原來一年花 10 塊,宏觀壓力下砍到 7 塊,再往上加 2 塊 AI,合計 9 塊——老闆對外就能說"我上了 AI,還把總成本從 10 降到了 9"。但這個 9 是被降本周期蓋住的。等宏觀緩過來、這一輪降本結束,AI 那部分的底子露出來,基線會從 9 直接頂到 13、14 塊去,除非 token 成本一直往死裡砸,可那不會來得這麼快。真實的 AI 帳單,現在還沒到攤牌的時候。
Q:企業內部現在具體在糾結什麼?
從好幾個角度在摳。技術那邊在問,能不能最佳化 token、能不能換個便宜模型跑同樣的活;採購那邊在問,合同能不能重新談、license 能不能砍掉幾個;財務那邊 CFO 在為明年做預算,就一個核心問題——這東西明年到底得留多少錢。這幾條線現在是同時在企業內部鋪開的。
Q:企業跟微軟、Google 簽的到底是什麼樣的合同?
絕大多數大企業簽的是大額框架合同,專家舉例比如一年一個億,買得越多折扣越大。甚至有意思的是,具體要買那些服務還沒定,合同就先簽了,之後所有服務都能享這個折扣。這就是個此消彼長的過程——token 用得多,利潤率可能更高,但別的服務採購就得往下壓。
Q:企業開始像管雲預算那樣,專門管 token 了嗎?
開始了。Uber、微軟這些都在限制 token 消耗。不過專家提了個細節,限制的動因有一半是算力不夠——工作日算力緊張的時候才卡你,算力富裕的時段就放開。還有些企業乾脆不按 token 結算,改按 seat(席位)結算,每個席位定期刷新一筆額度,把不確定的帳單摁成一個固定數。市場上"FinOps for AI"這套說法,已經開始有人提了。
Q:花了這麼多錢,生產力到底提上來沒有?
這是最該潑冷水的一條。專家把它拆成個人和企業兩層看。個人層面,提升大概在中高十幾個點;但企業層面真正兌現得清楚的,基本就集中在寫程式碼——因為程式碼好衡量,經理也壓得住裁員。至於後台那些職能,提升就低多了,組織一頂,帳面上根本兌現不出來。專家特別強調,這不是工具不行,是 AI 在企業裡落地這件事本身太難。整體算下來,離當初喊的 30% 到 50%,還差得遠。
Q:再往長了看,這套算力和 token 的緊張,什麼時候到頭?
專家說供需拐點年底都未必見得到,卡的增長追不上需求。真正的牆可能在 2028 年——好的資料中心選址、電力、審批那時候差不多耗盡,小型核電這類能撐下一段的新供給又還沒成熟,建設速度會慢下來。到那會兒如果大家都在收緊 token,總算力夠不夠都不好說。 (北向牧風)
