一個Token是怎麼“造”出來的?黃仁勳的“五層蛋糕”理論給出答案

AI速讀
AI服務正從「軟體敘事」轉向「工業敘事」。根據黃仁勳的「五層蛋糕」理論,一個Token的產出依賴能源、晶片、基礎設施、模型與應用五層協作,其中硬體相關成本佔比高達七成。儘管演算法迭代能快速降低單價,但變壓器交付週期長、電網接入慢等物理因素(慢時鐘)成為真正的瓶頸。AI推理不再是無限複製的軟體,而是具有真實邊際成本的認知生產線,未來的競爭將在於誰能更高效地組織能源與算力資源。

你在聊天框裡敲下一句話,等上幾十毫秒,螢幕上便出現一段看似流暢的回答。對絕大多數使用者來說,這是一個十分輕量化的過程。可到了付款頁面,許多使用者會有一種遭到“背刺”的感覺——輸入多少百萬Token、輸出多少百萬Token、上下文多長、快取是否命中。

這時,很多人會有這樣的疑問:為什麼一個看不見、摸不著的回答,要按量收費?為什麼AI公司不能像賣傳統軟體那樣,一次授權、無限複製?

這裡至少混著三張不同的帳單。

第一張是生產成本:造出一個Token,底層到底消耗了多少電力、晶片、機房和工程資源;

第二張是市場價格:模型廠商向外報出的呼叫單價,其中還包含競爭、利潤和服務分層;

第三張是任務成本:使用者為了完成一項工作,究竟總共燒掉了多少Token。

當把三者混為一談,就會出現“電費明明不貴,為什麼AI還這麼貴”“模型降價了,為什麼企業帳單反而變大”這樣的困惑。

AI當然有軟體的一面:演算法可以迭代,模型可以壓縮,服務可以通過介面分發。但它還有另一面,且正在越來越顯眼:每一次生成都要經過真實的計算,依賴真實的電力、視訊記憶體、網路和機房。

典型SaaS的成本常常隨著複製而快速攤薄,AI推理卻始終帶著一筆不斷髮生的邊際成本。

“Token看上去像軟體,骨子裡卻越來越像重工業。”

那麼,造一個Token,錢究竟花在了那裡?

2026年1月,輝達CEO黃仁勳在達沃斯世界經濟論壇上,第一次把AI基礎設施描述為一塊”五層蛋糕”:自下而上,分別是能源、晶片、基礎設施、模型和應用。此後他在CES 2026和GTC 2026大會上反覆使用這個框架。

在《Token經濟》這本書中,作者把這個系統形容為一條“即時運行的認知生產線”。使用者輸入、上下文、工具說明和企業知識庫,像生產的原材料;電力、晶片和推理時間,像能源;模型架構、快取機制、路由策略和工作流編排,則像工藝。不同於一件可以造好後堆進倉庫的工業品,Token往往在呼叫瞬間被生產、交付並消費。

“Token的生產成本,是造出一個Token所消耗的資源;Token的市場價格,是廠商對外報出的呼叫單價;Token的任務成本,是完成一次完整任務總共花掉的錢。”

只有把這三層帳分開,才能理解下面這塊蛋糕。

五層拆解:從底往上,Token是如何被生產的


① 能源層:電費很重要,但電費不是全部(約佔總成本10%~20%)

GPU運轉需要電力,冷卻系統需要電力,網路傳輸需要電力,資料中心是不折不扣的用電大戶。按美國工業電價每千瓦時0.06~0.08美元計算,一座500兆瓦的資料中心,一年的電費帳單超過3億美元。

但書中提醒,要區分”營運成本”和”單位Token完全成本”:電力在資料中心日常營運中很扎眼,可一旦把GPU、HBM、網路和機房的資本折舊都計入,能源層就不是最大項了。SemiAnalysis的推理TCO(總擁有成本)模型顯示,機房租賃和電力合計通常不到總擁有成本的20%。因此在大規模商用推理口徑下,能源約佔Token生產總成本的10%~20%。

② 晶片層:最大的成本層,也是供給的咽喉(約佔40%~55%)

GPU/AI加速器、HBM(高頻寬記憶體)、晶片間互聯和CPU,構成了Token成本的主體。從公開採購口徑看,一塊輝達B200的價格為3萬~4萬美元,其中通常已包含封裝內的HBM成本;而從物料清單(BOM)口徑看,HBM與先進封裝合計約佔高端晶片製造成本的三分之二。

為什麼視訊記憶體和互聯決定供給?書中解釋了一個關鍵技術事實:模型參數必須駐留在HBM中,才能實現高效推理——HBM的容量和頻寬,直接決定了推理的速度與並行上限。而全球HBM產能被三家寡頭壟斷:SK海力士約佔57%,三星佔22%,美光佔21%。AI需求爆發疊加寡頭格局,讓超大規模雲廠商資本開支中記憶體的佔比,從2023—2024年的約8%飆升至2026年的約30%,幾乎全部由HBM驅動。在大規模商用推理口徑下,整個晶片層約佔Token生產總成本的40%到55%,高端模型、長上下文和高視訊記憶體場景還會更高。

③ 基礎設施層:把一堆晶片,變成一座”AI工廠”(約佔15%~20%)

有了晶片,離能產出Token還差得很遠。這一層包括機房建設、供配電系統、液冷/散熱、機櫃、光模組、線纜與InfiniBand交換網路,以及大規模叢集的調度和維運系統——它的任務,是把成千上萬張晶片組織成一座協同運轉的”AI工廠”。

基礎設施層約佔Token生產總成本的15%~20%,但這個比例的彈性很大:GPU利用率、電價、折舊年限、資料中心是自建還是租賃,都會讓它大幅波動。同一批晶片,利用率60%和80%的企業,攤到每個Token上的成本完全不同。

④ 模型層:最”軟”的一層,也是降得最快的一層(約佔10%~15%)

這一層包括訓練成本的攤銷、推理框架最佳化、模型服務編排和監控。訓練本身耗資巨大——GPT-4的純計算口徑(硬體折舊+能源)訓練成本約4000萬美元,而奧爾特曼的公開口徑是”超過1億美元”,GPT-5等級已進入數億到十億美元級;而且這還沒算”試錯係數”:前沿模型很少一次訓練成功,失敗的輪次會讓實際投入成倍增加。

但模型層也是工程魔法最密集的一層。以MoE(混合專家)架構為例,DeepSeek V4總參數量達1.6兆,每次推理卻只啟動約490億參數(約3%)——書中打了個比方:這相當於一家擁有16000名員工的巨型諮詢公司,每接一個項目只派出約500人的精銳小組。蒸餾技術則讓小模型復現大模型能力,推理成本約為大模型的1%。這類演算法最佳化的共同特點是:不需要更換任何硬體,只需更新軟體和框架,成本就能再下一個台階。

⑤ 應用層:把能力,變成可賣的服務(約佔5%~10%)

最上面一層,是介面、整合、合規和內容安全——模型能力要變成使用者可以購買、企業敢於採購的服務,這一層必不可少。它約佔Token生產總成本的5%~10%。

需要注意的是,這些比例都不是任意公司的標準財務報表,而是對大規模商用推理場景的一種拆解視角。自建還是租用、前沿模型還是經濟模型、訓練還是推理、任務長還是短,都會改變每一層的權重。但有一個排序相對穩定:硬體相關的三層,通常構成成本主體,大致佔七成上下甚至更高。

為什麼電費便宜了,Token不一定就很便宜

瞭解了五層結構,就有助於解除兩個流傳很廣的誤會。

第一個誤會:把Token看成”電力的轉售”。 既然一次AI對話的電費可能只有幾釐錢,那Token憑什麼收費?因為單Token的邊際電耗,只是完全成本裡很小的一塊。一枚Token的完全成本,要同時攤入晶片折舊、視訊記憶體頻寬的機會成本、資料中心的利用率,以及服務質量的溢價。同樣是1度電,喂給不同的晶片、放在不同利用率的機房裡,造出的Token數量天差地別。

第二個誤會:只看單Token成本,忽略同樣數量的Token,背後的成本並不相同。 書中指出,Token成本因模型代際、任務類型和部署形態而異:前沿旗艦模型與經濟檔模型的推理成本可以相差數十倍;長上下文任務比短問答更吃視訊記憶體;批處理任務可以讓叢集利用率從60%提升到70%~80%,攤薄成本——2026年Google推出的分層推理定價,正是按”願意等多久、要多穩”把同一模型分成優先、標準、靈活、批處理四檔,批處理檔直接半價。

除了這兩個誤會,還有一個容易被忽略的時間差:硬體確實在快速進步——輝達推理硬體每代性能提升2~3倍、功耗增加不到50%,折合每Token硬體成本每代下降40%~60%;但從架構發佈到大規模交付到客戶手中,通常需要12~18個月。B200於2024年3月發佈,2025年底才大規模交付。所以即便”造Token”的理論成本一直在降,特定時間、特定地點可用的便宜算力,依然是稀缺品。

換句話說,電價會影響Token,卻不能單獨解釋Token;就像鋼價會影響一輛車,卻不能單獨解釋一輛車為什麼賣得貴。

Token為何是”雙時鐘”商品?演算法按月進步,電網和機房按年建設

理解五層成本之後,就不難看到Token經濟中最矛盾的一面:演算法側的價格在快速下降,物理側的供給卻依然緊張。書中把它概括為“雙時鐘”。

“演算法、軟體是快時鐘;晶片、資料中心、電力是慢時鐘。”

快時鐘有多快?過去3年,同等能力水平的推理成本下降了99.5%——史丹佛《2026年AI指數報告》的估算是3年降至原來的1/250。MoE、注意力最佳化、蒸餾、推測性解碼,這些技術以天和周為單位迭代,不需要換任何硬體就能讓成本再降一檔。

慢時鐘有多慢?書中列出了物理世界畫出的四重約束:

第一重,資料中心擴建需要18到36個月,且大量項目正在延期。 2026年美國原計畫上線的資料中心容量約16吉瓦、約140個項目,截至4月只有約5吉瓦在施工。最具標誌性的是OpenAI的Stargate項目:高調宣佈投入5000億美元,卻因電網接入排隊、變壓器延遲而施工暫停。《金融時報》的評論一針見血:“5000億美元買不來物理世界的加速,也買不來社區的同意。”

第二重,變壓器交付周期平均2.5年。 截至2025年二季度,美國標準電力變壓器平均交付周期為128周,疫情前只需6~8個月。更有意思的是,這些”卡脖子”元件佔資料中心建設總成本不到10%——一個投入20億美元的園區,可能因為一份4000萬美元的變壓器訂單空置一年以上。所以書中有句判斷:“在某種程度上,錢不是瓶頸,時間才是。”

第三重,HBM的供給爭奪與勞動力短缺。 三家寡頭的產能年增速只有30%~50%,追不上AI需求的翻倍增長。

第四重,電力的結構性短缺。 國際能源署資料顯示,全球資料中心電力消耗將在2024—2029年翻倍,從約415太瓦時增至超900太瓦時;高盛預測2028年美國資料中心將面臨45吉瓦的電力缺口;而截至2025年底,美國電網互聯排隊規模仍達2060吉瓦,新增項目並網的中位周期接近5年,Google甚至報告部分選址要等上12年。

兩套時鐘同場運轉,就產生了Token市場獨有的景觀:價格可以因為演算法突破而快速下降,物理供給卻依然緊張;利用率提升能攤薄成本,可一旦容量到頂,新增GPU、機房和電力合同又會讓成本出現階梯式跳升。看懂這個”雙時鐘”,就看懂了AI價格戰為什麼能打到骨折、算力緊張為什麼始終沒有緩解、全球科技巨頭為什麼突然都在以基礎設施公司的方式重塑自己的資產負債表。而其中的任何一層失速,最終都會傳導到那句看起來極輕的AI回答上。

理解成本,不是為了算一個Token的死價格

回到開頭的問題:造一個Token,錢到底花在了那裡?

答案恐怕要讓想要“標準答案”的人失望了:Token的市場價格會變,模型會換代,成本結構也會因任務和部署形態而變化——你永遠不會得到一枚Token的”死價格”。但有一樣東西是確定的:每一枚Token,都需要真實的能源、晶片和基礎設施去生產。這才是認識AI經濟的起點。

過去我們習慣了網際網路的敘事:程式碼寫一次,服務無限人,邊際成本趨近於零。而Token經濟把物理世界重新拽回了故事的中心——當智力服務成為可計量、可呼叫的商品,未來競爭的就不再只是更會寫程式碼的公司,而是誰能更高效、更可持續地把能源、晶片、模型和人類需求組織起來的公司。對模型公司來說,競爭是把每一度電、每一張卡轉化為更多高價值Token;對雲廠商來說,競爭是把晶片、網路和機房跑得更滿;對應用公司來說,競爭則是證明這些Token確實換來了使用者願意付費的結果。

當智力服務開始被計量、被呼叫、被定價,AI真正進入的就不只是聊天框,而是一套新的工業秩序。

這,或許就是黃仁勳所說的“五層蛋糕”理論的真正含金量。 (秦朔朋友圈)