關於SemiAnalysis：全球領先的半導體與AI基礎設施研究機構，提供從供應鏈到技術細節的深度分析，客戶覆蓋避險基金、科技巨頭和創業公司。其推出的InferenceX平台已成為AI推理性能基準測試的行業標準。
Dylan Patel：SemiAnalysis創始人，12歲開始在半導體論壇擔任版主，曾在量化風險公司工作，2020年起以"數字游民"身份遍歷全球行業會議，2025年SemiAnalysis已發展為90人團隊。
一、一個"流浪"青年如何成為半導體行業最權威的聲音
從汽車旅館到Grandmaster
Dylan Patel的成長軌跡幾乎與矽谷精英範本完全相反。他在父母經營的汽車旅館里長大，後來家裡又開了加油站。他開玩笑說自己"訓練的第一個神經網路"是憑視覺和種族特徵判斷進加油站的顧客會買那種香菸——因為貨架太高，他搆不著，得先把梯子搬到正確的區域。
他的成績"對亞裔父母來說夠好了"——大部分是A，但西班牙語課成績一般，儘管他後來學會了流利的西班牙語。真正讓他"上癮"的是《星海爭霸II》：他曾打到北美伺服器宗師段位（Grandmaster）。
被搶走1000萬獎金後，他選擇流浪
大學畢業後，Dylan在一家小型量化風險公司做了兩年量化分析師。一次，他利用市場中的一個風險漏洞為公司創造了超過1000萬美元的無風險收入，但"有人搶走了功勞"，最終他雖然得到了應有的補償，但與公司的"社會契約已經破裂"。
2020年中期，他徹底"無家可歸"——不是落魄，而是選擇了一種遊牧式的生活。他獨自在拉丁美洲旅行了一年，隨後又在2021至2024年間，每年參加40多個行業會議，從NeurIPS到日本某個只有300人參加的化學會議，"因為半導體行業全是嬰兒潮一代，他們很少看到年輕人對這個領域如此興奮，所以非常願意跟你聊"。
SemiAnalysis：90人的"戰場"
如今，SemiAnalysis已經發展到90人。Dylan形容辦公室內部是"技術派"和"前避險基金派"的有機混戰：
"工程師說'這項技術最酷'，前避險基金的人說'但成本呢？'然後雙方就這麼打起來了。考慮到我以前是論壇版主，你可以想像我們的交流風格。"
當被問到是否享受這種爭論時，他引用了一句俗語："你不會跟豬摔跤，因為豬很享受。"
二、推理市場：比石油更大的市場
當主持人開門見山地問推理是否會成為地球上乃至地球之外最大的市場時，Dylan的回答乾脆利落：是的，而且遠不止於此。
"Token的使用將成為最大的市場，Token創造的價值也將成為最大的市場。AI推理——無論是開源模型還是閉源模型——將成為世界上最大的市場之一。比石油大得多，比很多其他領域都大。AI推理將佔GDP的多個百分點。"
InferenceX：為什麼靜態基準測試已死
SemiAnalysis推出的InferenceX平台，被Dylan稱為"行業標竿"。他解釋了為什麼要做這件事：
傳統的推理基準測試是"時間點"的——測試一次，發佈報告，然後迅速過時。但現實中，軟體庫每周更新兩次，新模型每周發佈（"今天Mythos 5、Fable剛發佈"），新的推理最佳化持續湧現。過去三年，同等質量模型的成本下降了60倍。
InferenceX的解決方案是"活的、會呼吸的基準測試"——持續在最新硬體和最新模型上運行。為此，他們說服了CoreWeave、Crusoe、Nebius、Oracle、微軟、亞馬遜、Google、OpenAI免費提供算力，並與SGLang、vLLM、Radix Arc、Inferact等開放原始碼專案合作，同時納入NVIDIA、AMD、GoogleTPU和亞馬遜Trainium。
延遲-互動性曲線：一切決策的下游
當主持人問這條曲線是否是最重要的曲線時，Dylan給出了肯定的回答。他認為，吞吐量-互動性曲線（throughput-interactivity curve）是AI基礎設施最重要的曲線，因為幾乎所有硬體、模型和應用層的決策都"下游"於這條曲線。
他用一個例子說明：
一端：batch size=100，每個使用者10 tokens/秒，總計1000 tokens/秒——超慢，但成本極低
另一端：500 tokens/秒，但只能服務1個使用者——超快，但成本極高
中間地帶：50-100 tokens/秒，batch若干使用者——大多數人的"帕累托最優"
"目前我們把AI基礎設施當作'一刀切'來處理，但未來會分化：有些任務需要即時響應，有些可以通宵批處理。Anthropic的Claude Code快速模式比普通模式貴得多，OpenAI也有優先佇列——這就是曲線在起作用。"
當主持人追問成本如何體現在這條曲線上時，Dylan進一步解釋：
"假設batch size為100，每個使用者10 tokens/秒，總計1000 tokens/秒——這是曲線的一端：超慢。另一端是500 tokens/秒但只能服務1個使用者。中間有更多帕累托最優點，普通人其實想要50或100 tokens/秒，同時能batch一定數量的使用者。"
三、硬體-軟體協同設計：不是2×2×2=8，而是100倍
當主持人請Dylan拆解過去三年AI性能提升的來源——硬體、軟體、模型架構各佔多少時，Dylan直接反駁了前提：
"我完全不同意你的框架。"
三層最佳化的真相
他提出，從Hopper到Blackwell，DeepSeek最佳化部署的硬體提升約30倍。但這遠非全部故事。三年前是GPT-4，現在一個27B參數、僅2B啟動的Qwen小模型就能做到更好。模型層的進步巨大，硬體層也有顯著進步，但真正的突破在"協同設計層"。
他以DeepSeek為例：DeepSeek V3的所有專家（expert）形狀都是為Hopper架構最佳化的，V4則針對Blackwell和華為晶片最佳化。
"TPU客觀上是一顆了不起的晶片，它支撐了DeepMind的全部訓練，也是Anthropic預訓練的主力。但TPU跑DeepSeek非常糟糕。與此同時，它跑其他類型的模型又比NVIDIA強得多。"
這種深度最佳化涉及：專家形狀、網路I/O模式、集合通訊方式、注意力機制的算術強度……模型、硬體、基礎設施軟體三者之間是深度耦合的，無法拆解各自的貢獻。
西方也在做，只是不告訴你
當主持人提到中國（DeepSeek）在協同最佳化方面比西方做得更好時，Dylan不認同：
"我不這麼認為。更多是西方不告訴你他們在做什麼。OpenAI沒有透露GPT-4o有多稀疏、形狀尺寸是什麼。但GPT-4o的規模大致與DeepSeek V3相當，甚至略小，而且發佈時間還稍早。"
100倍的來源
Dylan的核心論斷：
"真正的突破性創新發生在你跨越幾個抽象層進行協同最佳化和協同設計時。原本可能是硬體2倍、軟體2倍、模型2倍，乘法效應只有8倍。但因為你在三個層之間做了協同最佳化，結果是100倍。"
NVIDIA從模型層到矽片的協同最佳化，TSMC從耗材、工具到客戶晶片設計的協同最佳化——都是這個邏輯。
當主持人追問未來一年最緊迫的瓶頸在那裡時，Dylan半開玩笑地反問：
"為什麼要去硬體行業工作，當你可以去……"
主持人接話："賣廣告。"
"對，就是這樣。"
四、NVIDIA vs TPU：不是二選一，而是"你的模型適合什麼"
當主持人拋出那個最尖銳的問題——NVIDIA還是TPU時，Dylan拒絕選邊站：
"兩年後，Google的供應鏈將年產1000萬+顆TPU，NVIDIA將年產數千萬顆GPU。Google的TPU年產出價值將超過1000億美元，NVIDIA可能超過5000億美元——這不是具體預測，只是思維實驗。"
他可以用同一副面孔論證"GPU遠勝TPU"或"TPU遠勝GPU"，但核心在於硬體-軟體協同設計：
OpenAI的模型發展方向，用TPU可能是"糟糕的決定"
Anthropic和Google的模型發展方向，用GPU訓練可能是"糟糕的決定"
當主持人追問兩者的根本區別時，Dylan進一步解釋：
"NVIDIA會說我們有交換機和通用性。TPU會說我們更最佳化、更節能，網路更適合某些網路架構。雙方都有道理。我可以一本正經地跟你論證GPU遠勝TPU，或者TPU遠勝GPU，但歸根結底是硬體-軟體協同設計。"
CUDA護城河正在鬆動
當主持人提到，過去CUDA的可程式設計性是巨大護城河，但最近3-6個月敘事似乎變了——模型公司不再介意寫自訂kernel，Claude和Codex已經能完成大量最佳化工作，真正需要可程式設計性的不是"1萬家模型公司"而是大約10家——Dylan同意CUDA護城河"至少部分被拆解"，但指出一個更深層的原因：
"人們說的CUDA護城河其實與CUDA無關。真正的原因是DeepSeek、KIMI、智譜AI、阿里、騰訊、小米——他們的模型都是為GPU協同演化的。因此你想在TPU上跑這些模型，效果並不好。Google需要建立自己的開源模型生態（Gemma）來讓TPU發揮優勢。"
五、Cerebras：創新者的困境
當主持人問Dylan如何看待Cerebras時，他給出了 nuanced 的評價：
"Cerebras是一家非常有創新性的公司。在某些市場領域他們真的非常好。超快速推理——我認為這是一個大市場。我們在SemiAnalysis幾乎只使用快速模式。"
他提到SemiAnalysis非常嚴格地追蹤每個任務的token花費和ROI——如果有人某天花費飆升，他會問"你幹了什麼？"，然後判斷"這值得"。
但Cerebras面臨一個根本風險：
"我認為最好的模型才是你想用快速模式跑的模型，而小模型你不一定需要用快速模式。如果OpenAI的模型不是幾千億或低兆參數，而是10兆+參數，再加上百萬token的上下文長度，SRAM架構的Cerebras和Groq就很難承載了。"
他引用了一個市場規律：實驗室的收入和使用量絕大部分來自最好的模型。即使價格上漲，使用者仍會切換。Fable和Mythos今天剛發佈，已經有大量使用者切換到這些更貴的下一代模型。
當主持人追問"按token量算呢？"Dylan反問：
"誰在乎token量？重要的是美元。我不在乎賣了20萬輛Mini Cooper還是豐田凱美瑞，如果福特F-150的ASP是5倍，銷量只有一半——那最賺錢的市場是皮卡。"
當主持人問，這種對經濟學和技術雙重關注是否是Dylan區別於他人的關鍵時，他回到了SemiAnalysis內部的"混戰"：
"我們90人裡，一大塊是技術專家和供應鏈工程師，另一大塊是前避險基金的人。你會看到爭論：'哦，那不重要。''但成本呢？''不，這項技術最酷。'這種爭論是自發產生的。考慮到我以前是論壇版主，你可以想像我們的氛圍。"
六、最讓Dylan抓狂的論調："AI沒有ROI"
當主持人問有沒有那個半導體話題會讓他覺得"這人一定是白痴"時，Dylan說：
"'AI沒有ROI'——這句話讓我抓狂。他們在否認模型進步。有人說'模型沒有變好，它們不會推理，不能思考，會停滯'。兄弟，能力曲線一直在右上走。'看，這個基準沒提升'——那是因為已經90%飽和了。看新基準，[某項指標]正在飆升。"
他也理解半導體極其複雜，"我不怪人們不懂"。他自己從12歲開始研究半導體，已經18年，"每天都在學新東西"——昨天剛知道一種年銷售額1億美元、但每顆晶片都需要的化學品。
他最覺得好笑的是："有人掌握了所有事實，然後結論完全錯誤。"
七、10年展望：太空資料中心、矽光子學與Naveen Rao 太空與矽光子學
當主持人問10年後他最興奮什麼時，Dylan給出了幾個方向：
"太空在10年維度上超級瘋狂——太空資料中心、小行星採礦，我對SpaceX的願景超級興奮。半導體方面，共封裝光學所有人都知道會在十年底前發生，爭論只是2027、2028、2029還是2030。但更有趣的是有些公司在矽層、軟體抽象層和模型層同時創新。"
Naveen Rao：三層同時創新的瘋子
當主持人確認Sequoia投資了Naveen Rao的公司時，Dylan更興奮了：
"他完全理解這不是幾年能做成的事。模擬計算、能量模型……這些瘋狂的東西同時推進。大機率不會成功，但非常令人興奮，我非常期待。肯定不會很快成功。"
Dylan透露，他2019年還在匿名發帖時，就在網上"釣魚"引Naveen Rao回覆，然後轉私信、轉電話——"那是我接觸半導體行業第一個真正重要的人"。
八、生態終局：多極世界，沒有贏家通吃
當主持人問生態系統的終局是什麼——每個實驗室和超大規模雲廠商都會有自己的晶片嗎？Dylan認為：所有人都會嘗試，而且不會停止嘗試。
晶片架構的"梯度下降"
目前所有晶片看起來都差不多：中間大邏輯計算die，左右上下是HBM，上方是網路，下方是PCIe和其他I/O。Trainium、TPU、NVIDIA晶片結構幾乎一致。
但未來會看到硬體架構和模型架構的更大分化，人們會針對各自方向做協同最佳化。這就像一個梯度下降問題：有些人會跑到局部最優（local minima），問題是如何"滑回"到全域最優（absolute minima）。
NVIDIA永遠比任何專用晶片更通用，因為它有大量客戶反饋不同需求。但專用晶片的局部最優可能是錯的——"TPU或Trainium或Groq或Cerebras的設計在這裡最佳化得極好，但終局狀態可能需要走到那邊，那他們就錯了。"
實驗室自己也不知道一年後用什麼架構
Dylan透露了一個驚人事實：
"你跟實驗室的人聊，他們甚至不知道自己一年後用什麼架構。他們有賭注，有很多研究賭注，這很令人興奮，但他們不知道走向何方。如果模型架構出現新突破——比如替換注意力機制——最佳硬體就會改變。"
因此，沒人敢做五年期的ASIC專用投資而不留通用計算的後手。Google的例子：
Google有三個不同的TPU設計項目（Broadcom、MediaTek、第三個未公開），架構各不相同
Gemini/DeepMind主要用TPU，但某些項目（藥物發現、Waymo）可能更適合GPU
黃仁勳的"多極世界"戰略
Dylan分析了黃仁勳投資新雲（neoclouds）的深層動機：
"如果超大規模雲廠商是唯一建算力的人，他就完蛋了。所以他必須把分配槍指向新雲，幫他們兜底叢集，做任何事。今天賣給Crusoe、CoreWeave、Google、亞馬遜的GPU價格一樣，但五年後，Crusoe和CoreWeave的存在意味著GoogleTPU會更弱，亞馬遜Trainium會更弱。更多推理由非閉源模型實驗室完成，對他更有利。"
新雲是"狂野西部"：Crusoe是一幫加密貨幣從業者轉行建資料中心，CoreWeave最初是避險基金背景。很多人同期起步但失敗了。"你把一堆誘餌扔進水裡，最好的魚會活下來。"Thinking Machines（Tinker）產品上線不到6個月，ARR已達數億美元——"儘管媒體報導說他們流失了大量人才"。
九、算力緊縮：模型進步速度大於算力部署速度
供需兩端的雙重擠壓
當主持人問我們是否正處於算力緊縮中、會持續多久時，Dylan確認：是的，而且是供需兩端的緊縮。
- 供應端：今年將部署20吉瓦（即使考慮延遲），明年超30吉瓦——但硬體延遲是常態
- 需求端：Mythos 5/Fable 5的TAM（可定址市場）不是Opus的2倍，而是大得多，因為模型能做的事更多
"過去6-8個月，世界算力沒有翻倍或翻四倍，但AI能做的有用任務的數量和價值已經翻倍了。"
"偽遞迴自我改進"
Dylan提到一個關鍵趨勢：模型進步速度正在加快，因為模型本身在幫助寫基礎設施、加速下一代模型的發佈——"我不會稱之為遞迴自我改進，但基本上是一個偽遞迴自我改進循環"。
但資本是大問題。Google最近融資，"他們擁有SpaceX的巨額股份，大概5%，一度有10%"。
結語：一個用論壇版主思維做研究的人
整場訪談中，Dylan Patel展現了一種獨特的氣質：
他既能在日本化學會議上跟只會說破碎英語的退休工程師聊1980年代的工廠火災，也能在NeurIPS的派對上跟AI研究者爭論
他既會追蹤每種化學品的年銷售額，也會追問"這值多少token錢"
他既相信技術本身的魅力，也永遠把成本放在桌上
當被問到SemiAnalysis成功的秘訣時，他的回答回到了那個"不要跟豬摔跤，因為豬很享受"的比喻。也許，正是這種不把自己太當回事、但把半導體極度當回事的態度，讓他從一家汽車旅館的櫃檯後面，走到了定義全球AI基礎設施話語權的中心位置。 (漢江灣灣)