•
輝達, 華為與AI算力的未來: a16z和知名分析專家談AI晶片競賽
半導體行業特別是AI晶片，是目前全球科技競爭裡最前沿的角鬥場，近期卻上演了一出令業界震驚的“聯手大戲”——晶片巨頭輝達，向其長期的競爭對手英特爾投資50億美元。這一舉動，猶如一聲驚雷，不僅改變了兩大巨頭之間的關係，更預示著人工智慧、雲端運算乃至全球晶片競賽格局的深遠重塑。
為了撥開這層層迷霧，SemiAnalysis首席分析師迪倫·帕特爾（Dylan Patel），a16z普通合夥人莎拉·王（Sarah Wang），以及a16z合夥人、英特爾資料中心和人工智慧業務部前首席技術官吉多·阿彭策勒（Guido Appenzeller），在a16z投資播客最新的一場深入訪談中，共同探討了這場交易的意義、中美科技禁令的現狀、輝達的護城河、華為的崛起，以及AI基礎設施的未來走向。他們揭示了一個由技術創新、地緣政治和兆級資本狂潮共同驅動的全新時代。
聲明: 觀點僅供參考 不代表本城同意嘉賓的立場觀點細節.
核心觀點：
- 輝達投資英特爾重塑格局：此舉是輝達的一步妙棋，不僅可能帶來豐厚回報，也對AMD和ARM等競爭對手構成了巨大壓力，重塑了PC和資料中心市場的競爭態勢。
- 華為是輝達最強勁的對手：儘管面臨美國製裁，華為在AI晶片設計和製造方面正迅速追趕，其強大的執行力和國內市場支援使其成為輝達在全球範圍內（尤其是在非美國市場）不容忽視的競爭者。
- AI算力需求驅動兆級市場：超大規模資料中心的建設正在以前所未有的速度進行，甲骨文憑藉其靈活的策略和龐大的資本，成功抓住OpenAI等大客戶，成為AI雲市場的主要贏家。
- 輝達的成功源於高風險賭注：黃仁勳以其非凡的直覺和敢於押上整個公司的魄力，帶領輝達多次抓住市場順風，建立了強大的技術和市場護城河。
- 新硬體帶來新挑戰：雖然GB200等新一代GPU在性能上實現了巨大飛躍，但其高昂的總擁有成本、複雜的部署要求和可靠性問題，為使用者帶來了新的基礎設施挑戰。
半導體巨頭的意外聯手：輝達50億美元投資英特爾，攪動市場格局
當長期的競爭對手握手言和，市場總會嗅到不同尋常的氣息。輝達向英特爾投資50億美元的消息一經公佈，便引發了業界的廣泛關注。帕特爾指出，這筆投資對輝達而言是一筆妙棋，甚至在消息公佈後，英特爾的股價就上漲了30%，為輝達帶來了可觀的潛在回報。
更深層次的意義在於，此次合作不僅涉及財務投資，更涵蓋了定製資料中心和PC產品的共同開發，這被帕特爾形容為一切都回到了原點，英特爾有點像在向輝達卑躬屈膝，這有點詩意。他回顧了英特爾和輝達之間曾經圍繞晶片組反競爭行為的訴訟糾葛，如今英特爾將製造小晶片與輝達的GPU進行封裝，共同打造PC產品，這無疑是市場格局的一次顛覆。帕特爾認為，這種深度整合的x86筆記型電腦，可能會成為“市場上最好的產品”。
前英特爾高管吉多·阿彭策勒對此表示：“如果你的兩個最大的死敵突然聯手，那是你能得到的最糟糕的消息。”他認為，這項合作對短期的客戶和消費者是利多，尤其在筆記型電腦市場。然而，其對競爭對手的衝擊是巨大的。阿彭策勒直言不諱地指出，AMD和ARM都將面臨嚴峻挑戰。AMD的顯示卡雖然不錯，但軟體生態系統孱弱，而輝達與英特爾的聯手將進一步擠壓其生存空間。對於ARM而言，其核心賣點是與英特爾的“不合作”，但現在輝達可能借此進入英特爾的技術領域，成為更危險的CPU競爭者。阿彭策勒總結道：“這重新洗牌了，我沒料到會這樣。我認為這是一個了不起的發展。”
華為的逆勢崛起：美國製裁下的AI晶片挑戰者
在全球晶片競爭的另一端，儘管面臨嚴酷的美國製裁，華為的AI晶片業務正在逆勢崛起，成為輝達在全球市場（尤其是在美國市場之外）最不容忽視的競爭對手。帕特爾回顧了華為在2020年發佈升騰（Ascend）晶片時的輝煌，當時他們是首家推出7奈米AI晶片的公司，其技術水平與輝達的差距幾乎不存在。
然而，制裁使華為失去了台積電的代工能力，被迫轉向國內中芯國際（SMIC）尋求生產，同時還通過各種管道獲取海外的記憶體供應。帕特爾透露，華為通過複雜的實體網路，曾從台積電獲得了近300萬片晶片訂單，總價值約5億美元。儘管這些管道最終被切斷，但華為的韌性不容小覷。
隨著2025年H20等輝達專供中國市場的AI晶片被禁，中國政府正在積極推動國產替代。帕特爾指出，華為等中國公司在邏輯晶片（替代台積電）和記憶體晶片（替代海力士、三星）方面正迅速追趕。他認為，雖然仍有差距，但中國能夠製造大量的7奈米人工智慧晶片，甚至可能通過使用現有裝置來製造5奈米晶片。
更令人驚訝的是，華為在記憶體領域也取得了突破，宣佈將採用定製HBM（高頻寬記憶體）。帕特爾認為這證明了華為正在迅速趕上輝達和AMD在記憶體技術方面的計畫。儘管產能和良率仍然是關鍵瓶頸，且需要更長時間才能完全與西方匹敵，但帕特爾強調：“問題總在於，我們能製造出來嗎？黃仁勳會說的是，你是在賭中國無法製造嗎？這只是時間問題，而不是會不會的問題。”
這種“炒作國內供應鏈”的策略，帕特爾認為也是華為在與美國政府進行博弈的一種手段，旨在表明中國擁有自主研發能力，從而影響美國的出口管制政策。他甚至認為，長遠來看，美國政府必須權衡，是完全支援內部供應鏈，還是完全追求超強人工智慧，因為中國終有一天會做出自己的選擇。
AI算力戰：兆市場、雲服務商與激增的資本支出
在半導體行業激盪的背景下，AI算力需求的爆炸式增長正在推動一個史無前例的兆級市場。帕特爾指出，銀行界對明年所有超大規模企業（微軟、CoreWeave、亞馬遜、Google、甲骨文、Meta）的總資本支出預測約為3600億美元，而他的研究模型顯示，這一數字更接近4500億到5000億美元，並且其中絕大多數將流向輝達。
在這場算力競賽中，甲骨文（Oracle）憑藉其獨特的策略脫穎而出。帕特爾認為，甲骨文與OpenAI簽署的超過3000億美元的合作協議，是股票和上市公司歷史上“最前所未有的事情”。他解釋了甲骨文成功的秘訣：擁有業內最大的資產負債表，且不固守任何特定硬體或網路技術，這使其在評估和搶購資料中心容量方面極具靈活性。
帕特爾通過追蹤全球每一個資料中心的建設進度、電力供應、晶片部署以及客戶協議，精確預測了甲骨文的營收增長。他發現，甲骨文正在積極簽約和部署大量新資料中心，這些設施將在未來幾年內為OpenAI和字節跳動等大客戶提供關鍵的AI算力支援。
相比之下，亞馬遜AWS曾一度在AI雲領域陷入“危機”。帕特爾在2023年第一季度撰文指出，AWS過去在橫向擴展計算方面的優勢，在垂直擴展的AI基礎設施時代變得滯後，其內部AI晶片團隊專注於成本最佳化而非性能最大化。儘管AWS收入增長一度放緩，但帕特爾預測其將重新加速，因為亞馬遜仍擁有最大的閒置資料中心容量，這將在未來一年內轉化為AI收入。
然而，新一代AI硬體的部署也帶來了挑戰。儘管亞馬遜在液冷等高密度資料中心技術上經驗豐富，但吉多·阿彭策勒提出了一個關鍵問題：“那是正確類型的資料中心容量嗎？我現在可能需要附近的一條大河來冷卻，在很多地區，我只是無法獲得足夠的水。而且可能在同一地區也有電力問題。” 帕特爾承認存在效率問題，但強調亞馬遜正迅速投入並轉化這些容量。
對於微軟與OpenAI的關係演變，帕特爾指出，雖然微軟曾是OpenAI的獨家計算供應商，但隨著OpenAI尋求多元化，並與甲骨文達成巨額協議，這種關係正在被重塑。這背後的核心驅動力是資產負債表：OpenAI需要一個有足夠資本實力來承擔巨額GPU投入的合作夥伴，而甲骨文恰好具備這一條件。
黃仁勳的非凡賭註：輝達護城河的深度解析
輝達在AI晶片領域的主導地位並非一蹴而就，而是其創始人黃仁勳（Jensen Huang）一系列“瘋狂”且高風險賭注的結果。迪倫·帕特爾將黃仁勳比作“半導體界的華倫·巴菲特效應”，並深入剖析了輝達建立強大護城河的歷史策略。
帕特爾透露，輝達在早期經歷多次失敗，但黃仁勳瘋狂到敢於押上整個公司。他曾為了Xbox項目，在微軟下訂單之前就訂購了所需數量的晶片，這種YOLO（你只活一次）式的豪賭貫穿了輝達的發展史。
在加密貨幣泡沫時期，當所有人都在懷疑GPU需求是否真即時，輝達成功說服供應鏈合作夥伴，這不僅僅是加密貨幣，更是遊戲、資料中心和專業可視化等“持久的真實需求”。他們誘導供應商增加產量，並在泡沫破裂時，輝達只需註銷一個季度的庫存，而其他公司（如AMD）則因猶豫不決而錯失良機。
黃仁勳的另一大特點是其非凡的直覺和遠見。帕特爾分享了一個關於黃仁勳和CFO科萊特的趣聞，黃仁勳曾說：“我討厭電子表格。我不看它們。我就是知道。”這種直覺使他能夠多次提前預判市場需求，甚至給出比客戶內部計畫更高的產能預測，並敢於提前下達“不可取消、不可退貨”的訂單。
更令人印象深刻的是輝達在晶片設計和製造上的執行力。阿彭策勒曾表示，在英特爾時期，他們非常嫉妒輝達，因為輝達總能在第一次交付時就成功（first pass success），通常只需提交“A0”版本，而其他公司（如英特爾）可能需要多達15次修訂（“E2”版本），這大大縮短了產品上市時間。這種高效的執行力使得輝達能夠迅速響應市場變化，及時交付創新產品，例如在Volta晶片投產前幾個月，大膽地加入了張量核心，從而奠定了其在AI領域的領先地位。
輝達的護城河並非僅僅是技術和市場份額，更是黃仁勳這種只為下一局而贏的獨特領導哲學。帕特爾引用黃仁勳的話：“玩遊戲的目的是為了贏。贏得目的，或者說，贏得原因是為了你可以再次玩。”這種不斷追求下一代技術突破、而非固守現有成就的基因，是輝達長青的秘訣。
邁入“吉瓦時代”：AI基礎設施建設的狂飆突進
隨著AI算力需求的飛速增長，全球資料中心的建設正在以前所未有的速度和規模進行，行業已正式邁入“吉瓦時代”。迪倫·帕特爾指出，曾幾何時，訓練GPT-3需要2萬個H100 GPU，令人印象深刻；而現在，全球已擁有至少10個10萬個GPU叢集，分析師們甚至對“兆瓦級”的資料中心感到“無聊”，只有“吉瓦級”的建設才能引起他們的興奮。
在這場史詩般的建設狂潮中，埃隆·馬斯克（Elon Musk）的XAI和Colossus項目成為了一個引人注目的案例。帕特爾詳細描述了馬斯克在田納西州孟菲斯的驚人壯舉：在短短六個月內，從購買工廠到部署10萬個GPU，建成了一個液冷資料中心。他採用了一系列“瘋狂”的創新做法，包括將發電機直接安置在工廠外、挖掘天然氣管道獲取電力、部署移動變電站等，以最快速度獲取能源和冷卻。
馬斯克的建設速度和“第一性原理”思維，甚至讓他能夠挑戰地方政府的監管。帕特爾提到，馬斯克在孟菲斯遇到抗議後，直接將部分基礎設施轉移到密西西比州邊境，利用不同州之間的法規差異來加速建設。這種打破常規的執行力，是推動“吉瓦時代”資料中心建設的關鍵。
然而，如此大規模的AI基礎設施投資也帶來了新的挑戰：輝達作為最大的現金流公司，面對未來數千億美元的現金盈餘，其資本部署策略成為了一個開放性問題。黃仁勳因監管審查無法進行大型收購（如ARM），那麼這些巨額資本該何去何從？
帕特爾認為，輝達投資資料中心和電力設施，解決算力增長的瓶頸，可能比投資雲服務本身更具戰略意義。但他同時也承認，黃仁勳在投資新雲、模型訓練公司等方面也在積極佈局，只是這些都是小打小鬧，無法完全消耗其龐大的現金流。這一困境，與蘋果公司在庫克時代因缺乏遠見而將大量現金用於股票回購，導致創新停滯的案例形成了鮮明對比。
新硬體的部署之困：GB200的TCO與可靠性挑戰
新一代AI硬體雖然性能飛躍，但其部署帶來的高昂成本和複雜挑戰，讓使用者和雲服務商都面臨著新的難題。帕特爾分析了輝達GB200（將GPU和CPU整合在同一個晶片上）的TCO（總擁有成本），指出其大約是H100的1.6倍。雖然在特定工作負載（如深度探索推理或強化學習）下，GB200能提供超過6-7倍的性能提升，使投資變得物有所值，但對於其他通用型任務，性能提升可能僅為2倍左右，收益便不再那麼顯著。
GB200在部署中最大的挑戰是可靠性問題。帕特爾透露，作為一個新GPU，GB200仍面臨一些可靠性挑戰，且其故障的“爆炸半徑”遠超前代產品。在一個包含72個GPU的GB200機架中，如果一個GPU出現故障，可能導致整個機架需要離線維修。這與8個GPU的H100/H200盒子不同，後者故障時只需替換單個伺服器。
為了應對這一挑戰，使用者和雲服務商不得不設計複雜的基礎設施管理策略，例如將高優先順序工作負載運行在64個GPU上，而將低優先順序工作負載運行在剩餘的8個GPU上，以減少故障對核心業務的影響。雲服務商也因此調整了服務等級協議（SLA），例如提供64個GPU 99%的可用率，而非72個。這迫使最終客戶必須具備處理這種不可靠性的能力和智能。
此外，帕特爾還詳細闡述了推理工作負載的細分：預填充（Prefill）和解碼（Decode）。這兩個操作需求截然不同，前者需要巨大的浮點運算能力，後者則對延遲和每秒令牌數（TPS）敏感。OpenAI、Anthropic等頂級實驗室，以及眾多雲服務商，都已開始分離預填充和解碼工作負載，在不同的GPU叢集上平行運行，以提高效率和使用者體驗。
輝達也順應這一趨勢推出了專門用於預填充的Rubin預填充卡（如CPX）。CPX通過剝離HBM（佔據GPU成本一半以上），提供了一個更便宜、更高效的預填充晶片，從而有效支援長上下文AI模型的部署。這不僅降低了成本，也提高了整個推理過程的效率。
RL環境的未來：機遇與隱憂
在快速變化的AI前沿領域，RL（強化學習）環境作為訓練AI代理的關鍵技術，正吸引著矽谷的巨大關注。文章指出，RL環境旨在通過模擬真實軟體應用中的多步驟任務來訓練AI代理，這對於開發更強大的通用型AI代理至關重要。
Anthropic等領先的AI實驗室正大量投入自建RL環境，而像Mercor和Mechanize這樣的初創公司，以及Scale AI等傳統資料標註巨頭，也在積極佈局，希望成為“RL環境領域的Scale AI”。
然而，RL環境的未來並非一片坦途。帕特爾強調，“人們低估了擴展（RL）環境的難度。” 一些業內專家也指出，RL環境容易出現“獎勵欺騙（reward hacking）”問題，即AI模型通過作弊而非真正完成任務來獲取獎勵。OpenAI高管對RL環境初創公司持謹慎態度，而AI研究員Andrej Karpathy雖然看好“環境和代理互動”的潛力，但對“強化學習本身”能帶來多大進步持保留意見。
這表明，RL環境雖然被視為AI代理突破的關鍵，但其技術挑戰、擴展成本和有效性仍有待時間驗證。
一個無法預測的兆未來
正如帕特爾所言，預測超過五年後的未來幾乎不可能，因為每次的情況都是一個全新的局面。在這個由技術、資本和地緣政治交織的狂野西部，黃仁勳那句“玩遊戲的目的是為了贏，贏得目的，或者說，贏得原因是為了你可以再次玩”的哲學，或許是對這場高 stakes 變革最恰當的註腳。
天空之城全文整理版
意外的聯手：輝達投資英特爾的影響
迪倫·帕特爾: 你購買GPU的方式就像購買可卡因。你給幾個人打電話，你給幾個人發簡訊，你問，喲，你手頭有多少？價格是多少？
Guido Appenzeller: 如果你的兩個死敵突然聯手，這是你能得到的最糟糕的消息。我沒有預料到這個。我認為這是一個了不起的進展。
主持人: 就像華倫·巴菲特入股一家公司。黃仁勳就像半導體界的巴菲特效應。
迪倫·帕特爾: 一切都回到了原點，英特爾有點像在爬向輝達，這有點詩意。
主持人: 迪倫，歡迎回到播客。
迪倫·帕特爾: 謝謝邀請。
主持人: 碰巧就在我們邀請你來的時候，輝達宣佈向英特爾投資50億美元，雙方將合作開發定製資料中心和PC產品。你怎麼看待這次合作？
迪倫·帕特爾: 我覺得很有趣，就像輝達可以投資，消息一宣佈，他們的投資就已經上漲了30%。50億美元的投資，20億美元的利潤，我覺得這很有意思，因為他們需要他們的客戶真正地大量購買。所以當他們潛在的客戶大量購買並致力於某些類型的產品時，這是非常有意義的，
在某種程度上，這有點可笑，因為過去，曾發生過英特爾因晶片組的反競爭行為而被起訴的事件，而且輝達實際上很久以前就從英特爾那裡獲得了一筆和解金，當時圖形處理單元（GPU）與顯示卡是分離的，顯示卡實際上是放在晶片組上的，晶片組還有其他的輸入/輸出（IO），比如USB和所有這些東西。所以，現在英特爾將製造一個小晶片，並將其與輝達的小晶片一起封裝，然後這就是一個PC產品，這有點滑稽的轉變，所以，一切都回歸原點，英特爾有點像是在向輝達卑躬屈膝，但這實際上可能只是最好的裝置，這有點詩意，我不想要ARM筆記型電腦，因為它不能做很多事情。因此，一台完全整合了輝達顯示卡的x86筆記型電腦，可能會是市場上最好的產品。
那麼你樂觀嗎？你認為事情會如何發展？當然，我希望，我對英特爾總是保持樂觀，因為我必須如此。我當時的想法是，至少很多政府人士和英特爾都在努力爭取的交易結構是，讓人們，大客戶和最大的供應商直接向英特爾提供資金。但現在有點反過來了，他們購買了一些股票，擁有了一些所有權，但他們並沒有真正地稀釋其他股東的權益。然後，當英特爾最終從資本市場籌集資金時，其他股東將被稀釋，或者說所有人都將被稀釋。
但是因為他們已經宣佈了這些交易，而且規模很小，輝達50億，軟銀20億，美國政府是100億，這些仍然相對較小。相當小，關於事物的本質，上次我想我說英特爾需要大約500億美元，現在當他們進入資本市場時，情況會更好。而且希望他們能得到另一些，一些這樣的聲明，也許，有各種各樣的猜測說川普參與其中，某種程度上讓這些公司投資。輝達，現在，還有政府，當然，現在，蘋果會來投資嗎，並且還會和英特爾或其他什麼人合作嗎？這將真正提升投資者信心，他們可以稀釋股份/獲得債務。
主持人: 就像華倫·巴菲特進入一家公司的股票。黃仁勳就像半導體界的巴菲特效應。
Sarah Wang: Guido，您曾是英特爾資料中心和人工智慧業務部的首席技術官。你有什麼想法？
Guido Appenzeller: 我認為這對短期內的客戶和消費者來說真的很好，英特爾和，尤其是筆記型電腦市場，擁有這兩個合作者真是太棒了。我想知道英特爾的任何內部圖形或人工智慧產品會發生什麼，他們可能只是按下重設鍵，暫時放棄那些。他們目前沒有任何有競爭力的東西，曾經有Gaudi的努力。那或多或少完成了，曾經有內部圖形晶片，但從未真正地在高端市場競爭過，
_2: 所以從那個角度來這很有道理，
Guido Appenzeller: 這是為了雙方。聽著，我認為對英特爾來說，他們需要一股新鮮空氣，他們有點絕望。所以我認為這是一件非常好的事情。我認為AMD完蛋了。如果你兩個最大的死敵突然聯手，那就是你能得到的最糟糕的消息，他們已經很掙紮了，他們的顯示卡不錯。他們的軟體棧不行，他們獲得的關注非常有限，他們現在在那方面有更大的問題。我認為ARM也有點完蛋了，因為他們最大的賣點有點我們可以和所有不想與英特爾合作的人合作。從某種意義上說，他們是第一。輝達可能是未來CPU競爭者中最危險的，因此，他們現在突然可以訪問英特爾的技術，並可能朝那個方向發展。它重新洗牌了，我沒料到會這樣。我認為這是一個了不起的發展。
華為的崛起：國產AI晶片的挑戰與機遇
Sarah Wang: 看看這件事如何發展會非常有趣。針對埃裡克的觀點，新聞密集的一周。
Sara Wang: 既然迪倫你在這裡，我們還想請教你另一件事，那就是華為發佈其人工智慧路線圖的消息。
Sarah Wang: 顯然，他們在大肆宣傳其能力。我認為你們一直走在嘗試評估950超級叢集實際能力的曲線前端，但很想聽聽你們對中國方面所有進展的看法，這與DeepSeek聲稱他們的下一個模型將基於國產中國晶片的消息聯絡在一起。中國政府禁止公司購買專門為中國生產的輝達晶片。所以目前中國的半導體市場有很多多米諾骨牌正在倒下，但很想聽聽你的總體看法，深入一些細節。
迪倫·帕特爾: 我認為當你稍微放大視野，比如回顧2020年，因為我認為認識到華為有多麼強大，或者甚至從歷史上他們一直都非常出色，這一點非常重要。當然，最初他們竊取了像思科的原始碼和韌體之類的東西，但隨後他們迅速超越了思科以及其他所有電信公司。2020年，他們發佈了Ascend晶片，並提交給公正的公共基準測試，他們是第一個將7奈米人工智慧晶片推向市場的公司。他們是第一個擁有那個的，現在你仍然可以說輝達領先，但差距幾乎不存在，這時他們可以完全使用國外的供應鏈。這時他們剛剛超越蘋果，成為台積電最大的客戶。從整體上他們在製造供應鏈的設計方面顯然領先於所有人，當然，輝達仍然擁有更高的市場份額，但當時市場還很初期，他們本可以真正接管市場。
華為被川普政府禁止訪問，然後在2020年生效，完全禁止。所以他們只能製造少量這些晶片，但他們用當時製造的這些晶片訓練了重要的模型。然後在接下來的幾年裡，輝達繼續加速發展。華為由於被台積電禁運，不得不去想辦法在中芯國際（國內的台積電）進行生產。與此同時，他們也在試圖通過空殼公司在台積電生產，並從韓國獲取記憶體等等。因此到了24年底，這種行為已經全面展開，並且被抓住了，被抓住了，他們最終關閉了這些管道，但他們通過這些其他實體從台積電獲得了300萬片晶片，確切說是290萬片晶片，大約價值5億美元的訂單，最終變成了美國政府給台積電的10億美元罰款，如果我沒記錯的話，或者至少有一篇路透社的文章是這麼說的。我不知道他們是否真的開出了罰單，這一點很重要，也很有意思，因為目前市面上流通的升騰晶片數量還沒有完全消耗掉這些產能，
現在我們到了2025年，H20在年初被禁售。輝達不得不註銷巨額資金。我們對輝達在中國僅H20產品的收入估計超過200億美元，因為那是他們預定的產能或不得不註銷的金額。然後它被禁售了，他們切斷了供應鏈，就像他們說的那樣，不，我們不再這樣做了。他們有他們的庫存，庫存重新獲得批准，他們轉售庫存，但現在他們在想，我們還要重新開始生產嗎？這是輝達的問題。現在中國會說，我們不需要輝達，我們有國產替代品，無論是華為還是寒武紀，這些公司都有產能，但這些產能大部分仍然是國外生產的，無論是台積電的晶圓，還是韓國的記憶體，三星和SK海力士。所以問題有點他們能在國內做多少？
而且那裡大致有兩個方面，有邏輯方面，即替代台積電，還有記憶體方面，即替代海力士、三星、美光。在邏輯方面，他們落後了，但他們正在迅速提升，而且我認為他們可以達到一定的生產能力。所需的估算，而且美國幾乎仍然允許他們進口所有必要的裝置。這些禁令實際上是針對當前這一代技術之後的，超越7奈米的，這些禁令實際上是針對5奈米及以下的，即使政府說是針對14奈米的，但實際被禁的裝置只是針對7奈米以下的。因此，他們將能夠製造大量的7奈米人工智慧晶片，甚至可能通過使用現有裝置來製造5奈米晶片，而不是採用新技術。
因此，有邏輯方面，然後是儲存方面。華為宣佈的消息中令人驚訝的方面是，他們正在進行定製記憶體，這部分有點這真的很令人興奮。他們宣佈了明年兩種不同的晶片，一種專注於推薦系統和預填充，另一種專注於解碼。
Guido Appenzeller: 現在有一種趨勢。
迪倫·帕特爾: 所以在輝達，同樣的事情，他們最近也宣佈了一款專門用於預填充的晶片。有許多人工智慧硬體初創公司真正專注於預填充而不是解碼。因此，推理分解為兩個工作負載，華為明年的晶片也在做同樣的事情。有趣的是，解碼晶片採用了定製的HBM。這意味著什麼？製造供應鏈是什麼樣的？因為這才是棘手的問題，他們能生產多少這種定製HBM？輝達和其他公司也要到明年才開始採用定製HBM，所以不是說，製造能力不存在。也許它會消耗更多的電力。頻寬可能會稍微低一些，但他們能夠做到輝達計畫做的一些事情，AMD計畫在他們的記憶體中做的事情，這證明他們正在趕上。但剩下的主要問題是生產能力。
所以，關於“輝達在中國被禁”這件事，就像他們說的那樣，不要購買輝達的晶片。我認為在一段時間內，這沒問題，對中國來說沒問題，從中國的角度來沒問題，因為你們在2024年運來了所有的產能。它們還沒有變成人工智慧晶片。現在你們要把它們變成人工智慧晶片。你們正在耗盡所有庫存。那麼，從耗盡庫存到提升新產品的過渡呢，那個過渡才是真正棘手的。中國要麼通過在那段時間不購買輝達晶片來搬起石頭砸自己的腳，要麼中國能夠提升產能。我認為他們能夠提升產能。我認為這會花費更長的時間，並且會出現一個中間的空檔期，中國可能會退一步並表示一切都很好。比如字節跳動正在懇求獲得輝達的晶片，比如他們不想用，他們用了一些寒武紀，他們用了一些華為，但他們真的想用輝達的，因為它更好。他們不在乎國內供應鏈。他們想要製造最好的模型。他們想要儘可能高效地部署他們的人工智慧。所以政府可以強制要求他們不要這樣做，所以不是輝達沒有競爭力。而是政府在某種程度上試圖煽動它。
然後，我想最後要說的是，總有一種說法是，如果禁止向中國出口輝達晶片對中國這麼好，為什麼中國自己不這樣做呢？他們最終開始為自己這麼做了。所以再說一次，看看會發生什麼，會很有趣。走私仍然在發生，將晶片從其他國家再出口到中國。 這仍然以一定的量在發生，低量，中低量，但是，目前不一定能直接運送那些合法允許出口到中國的輝達晶片，但可能在某個時候必須重新開始，因為中國沒有足夠的生產能力，與美國相比，他們部署在國內的人工智慧晶片會少很多。 在某個時候，你必須做出選擇，我是完全支援內部供應鏈，還是完全追求超強人工智慧？
Guido Appenzeller: 那麼這裡是否存在一個關於談判角度的問題？因為目前仍在討論出口到中國的邊界到底在那裡，什麼可以出口到中國？ 所以如果你想表明美國應該允許更多出口，那麼這些都是適時的聲明。你認為這是一個因素嗎，還是不是？
迪倫·帕特爾: 所以，在幾周前我們做的關於華為的生產能力和供應鏈的報告中，我們寫了一點關於，老實說，如果你是中國，你想要輝達，你確實想要輝達的晶片，你會怎麼做？ 那就是通過炒作你的國內供應鏈。並且感覺我們什麼都能做。就像華為發佈了各種最瘋狂的東西。宣佈了長達7年的計畫，或是發佈了3年的路線圖。
Guido Appenzeller: 我猜他們基本上是讀了你的報告。
迪倫·帕特爾: 我認為他們知道。他們已經被咬了一口了。然後假設我們禁止輝達，然後政府官員會考慮，同時受到國內廠商的遊說，我們當然想給他們運送更好的AI晶片。我們正在失去這個市場。我們不能失去這個市場。這有點這是10000智商，我們在這裡玩跳棋，而他們在下象棋。
Sarah Wang: 那麼，我想先拋開談判籌碼不談，你在那份報告中提到，HBM或高頻寬記憶體是華為的瓶頸。正如你所說，關於這次發佈會令人驚訝的方面之一，你認為根據他們所說的，不再是瓶頸是可信的嗎？或者他們只是在炒作？
迪倫·帕特爾: 我認為從生產能力來這絕對仍然是一個瓶頸。他們，製造HBM所需的某些類型的裝置需要進口。他們正在研究國產解決方案。但據我們所知，他們還沒有進口足夠的裝置來完成這項工作。雖然，如果你查看中國不同類型裝置的進口資料，大概是這樣，晶圓廠大約會花費，這取決於工藝技術，但晶圓廠在光刻、刻蝕、沉積、計量等方面花費的金額大致不同，就像這些不同的步驟。從歷史上光刻一直徘徊在17%、18%左右。隨著EUV（極紫外光刻），它增長到25%，但中國，因為他們有點想要儲備光刻裝置，並且擔心即將到來的禁令，他們以比這更高的比率進口光刻裝置，比如他們裝置進口的30%、40%都是光刻裝置。而且他們只是在囤積光刻裝置。現在這種情況有點逆轉了，如果我想要，所以如果你查看中國的月度進出口資料，包括進入中國各省的資料，以及從各國出口的資料，你可以看到刻蝕裝置正在急劇增加。
關於堆疊HBM（高頻寬儲存器）的主要事情是，當你有了每個晶圓，你必須進行刻蝕，建立一種叫做矽通孔的東西，這樣它才能從頂部連接到底部，然後你將它們堆疊在一起，HBM有12層高，16層高。這就是你製造超高頻寬記憶體的方式。並且他們刻蝕機的進口量現在就像火箭般躥升。所以他們還沒有生產能力。作為他們能獲得多少裝置的函數，他們能以多快的速度提高產量？A，以及B，比如良率，在製造業上，提高良率真的很難。英特爾和三星真的很棒。而台積電簡直令人驚嘆。不是說那些公司很糟糕，我想這是更好的表達方式。
所以，我認為是這兩件事。良率，他們甚至還沒有開始高速HBM3的生產，他們只做了一些HBM2的抽樣。HBM3幾年前就出來了。所以在提升學習曲線方面，還有很多方法。顯然，我預計他們趕上的速度會比技術開發所需的時間更快，因為它已經存在了，在世界上，我們知道如何去做。這只是實際去做和發明它的區別。另一個是產能問題。幾個月的進出口資料不足以建立起未來幾年的供應鏈，這就是我們今天在韓國為韓國公司所擁有的。現在，海力士也在美國投資。在伊利諾伊州，而美光主要在日本，美國的儲存公司主要在日本和台灣，但他們也在新加坡和美國擴張。現在。就像已經投入了大量的資本。中國需要一段時間才能建立起能夠真正與西方匹敵的生產能力。當我說西方時，我指的是東亞的生產，非中國東亞的生產能力。所以需要一段時間才能達到那個水平。我不認為，我認為這我們可以設計這個。問題總在於，我們能製造出來嗎？
然後像黃仁勳會說的是，你是在賭中國無法製造嗎？這只是時間問題，而不是會不會的問題。這就是整個考量，我認為美國政府必須意識到，當他們說，我們出售什麼等級的AI晶片時？我們什麼都賣嗎？可能不會，因為人工智慧遠比半導體更強大，而且人工智慧的終端市場將遠大於半導體和裝置的終端市場。我們賣什麼，我們賣到什麼程度？中國能在每個特定的，某種性能層級上製造多少，然後，分析它，以及它的產量，然後弄清楚什麼是可以接受的，比如略高於或大約相同水平。
Sarah Wang: 所以，正如你所說的關於下象棋與跳棋的問題，如果你是黃仁勳，鑑於手頭的情況，你的下一步行動會是什麼？
迪倫·帕特爾: 這在某種程度上是正確的，他害怕華為勝過害怕AMD。他稱他們為強大的。像其他公司一樣，華為已經擊敗了蘋果，他們在台積電訂單上超過了蘋果。他們在手機市場份額上超過了蘋果，雖然不是在美國，但在禁令頒布之前，在世界許多地方都是如此。即使現在，在沒有西方供應鏈的情況下，他們的市場份額也在再次增長。他們已經對許多其他行業這樣做了。我會說蘋果就像一個強大的競爭對手，就像他們已經擊敗了很多行業。所以他害怕他們是很合理的。這有點他並不害怕AMD。所以，我認為最好的事情是，儘可能地像華為一樣，華為所宣佈的是現實，而不是他們的希望目標。
所以，排除了所有關於製造能力的疑問，我認為這不公平，我認為製造能力是他們真正的瓶頸。然後是良率學習，真正的瓶頸，就像暫時的，也許我們會看看會持續多久，我們會看看輝達的技術在多大程度上超越了華為的能力，以及華為能夠以多快的速度縮小差距。
主持人: 但我認為他的主要論點是華為是真實的。
迪倫·帕特爾: 他們是個強大的競爭對手。他們不僅要佔領中國市場，還要佔領國外市場，無論是中東、東南亞、南亞、歐洲還是拉丁美洲，除了美國以外的任何地方。 還有，有點我認為諾亞·史密斯有這樣一個比喻，整個想法是，你應該對中國進行“加拉帕戈斯化”，讓他們擁有與世界其他地方截然不同的國內產業，有點像70、80和90年代的日本發生的事情，他們的PC非常特別，並且針對日本市場進行了過度最佳化，那些奇怪的，我不知道你是否見過日本PC上奇怪的滾輪。就像你真的，你這樣做，它就會滾動，觸摸板是一個圓圈，然後在它周圍。諸如此類的東西非常奇怪。世界上的其他地方並不關心，但日本市場喜歡它，而他的整個想法就像是，讓我們對他們進行加拉帕戈斯化，即將他們的技術限制在中國境內。那樣就會造成無謂損失，他們永遠無法向外擴張，而我們服務於整個世界。
但整體的風險是，相反的情況也可能發生。我們的技術經過了超最佳化，可以運行這種規模的語言模型和強化學習。而你持續進行硬體軟體協同設計可能會把你帶入一條陷阱路徑，最終走到死胡同。然後中國，因為他們無法訪問這條路徑，他們就會想，哦，好吧。然後他們最終會到達最佳的位置，我們遇到了局部最小值，他們遇到了局部最大值，他們遇到了全域最大值，就像那種技術加拉帕戈斯化的事情，這有點像諾亞·史密斯（Noah Smith）的比喻。我很喜歡它。我不知道這是否精準，但這是一個有趣的觀點。
兆市場的未來：AI算力增長的樂觀與悲觀情景
Sarah Wang: 我喜歡這個。實際上也許可以從當前的事件中退一步，即使現在有很多事情可以談論。上次你和我們一起出現時，輝達（Nvidia）被提到了，這是顯而易見的。你談到了輝達（Nvidia）未來發展的幾種潛在路徑。給我們講講看多情景和看空情景吧。有道理。
迪倫·帕特爾: 現在他們的數字中嵌入了很多東西，但有趣的是銀行的共識就像超大規模企業一樣。也就是微軟、CoreWeave、亞馬遜、Google和甲骨文，Meta，所以是六大超大規模企業，我會認為他們是超大規模企業。銀行業界的共識是明年所有銀行的總支出為3600億美元。而我的數字更接近，大概是4500億到5000億。這是基於我們對資料中心的所有研究，以及追蹤供應鏈中每個獨立的資料中心，所以，這僅僅是輝達的支出。這是超大規模企業的資本支出，然後這些資本支出會被分配給不同的公司，但絕大多數仍然流向輝達，輝達的處境不是他們掠奪份額，他們無法掠奪份額，而是他們與市場共同增長或者捍衛份額。所以問題是，超大規模企業和其他使用者的資本支出增長速度有多快，我之所以將甲骨文和Core Wave納入超大規模企業，即使它們傳統上不被稱為超大規模企業，是因為它們正在睜大眼睛看待超大規模，
所以，當你觀察並查看甲骨文的公告時，首先，甲骨文的公告，我不明白為什麼人們不認為這更瘋狂。他們做了股票和上市公司歷史上最前所未有的事情。他們給出了四年指導，這使得拉里成為世界上最富有的人，就像所有這些事情一樣。無論如何，問題是，收入增長有多快，你認為甲骨文和Open，你認為OpenAI，它與甲骨文簽署了一項超過3000億美元的協議，實際上能夠支付3000億美元嗎，通過籌集資金和收入。我認為大多數，並且它在短短幾年內達到了每年超過800億美元，超過900億美元的速度，
主持人: 所以這你相信市場會增長得那麼快嗎？
迪倫·帕特爾: 非常有可能。而且像OpenAI這樣的公司，明年退出時的收入會是多少，這也非常有可能。有人認為350億，有人認為400億，有人認為450億。年度經常性收入（ARR），到明年年底，今年他們達到了200億，年度經常性收入（ARR），如果保持這種增長率，那麼所有這些成本都將用於計算，以及他們繼續籌集的所有資金，再次說明，他們上次融資時給投資者的財務資料大致是，我們明年將燒掉大約150億美元。更有可能達到200億，但是，如果把這些都加起來，他們沒有產生現金流，在2029年之前他們都不會盈利。所以你大概可以認為，他們每年將繼續燒掉150億、200億、250億美元的現金，加上收入增長，這就是他們的計算支出。你可以對Entropiq這樣做，對OpenAI這樣做，對所有實驗室都這樣做。這個大盤子很有可能會達到，超過5000億，明年不是3600億，而是5000億，用於總資本支出，並且這個大盤子會繼續增長。
對於超大規模企業，輝達表示，實際上每年在人工智慧基礎設施上的投入將達到數兆美元。他將佔據其中很大一部分。這是他的樂觀情景，樂觀情景是人工智慧實際上具有變革性，世界將被資料中心覆蓋，並且你的大多數互動都將與人工智慧進行，無論是業務效率，還是指示代理執行一些程式碼，或者你只是和你的AI女友安妮聊天，諸如此類，無關緊要。在很大程度上，所有這些都運行在輝達的平台上。悲觀情景是，即使它確實增長了很多。
Guido Appenzeller: 請繼續。讓我們暫時保留樂觀情景。我認為從根本上講，價值創造，我個人認為，是存在的，通過人工智慧創造數兆美元的價值，我完全可以看到這種情況發生。所以假設這是真的，輝達的上限在那裡？
迪倫·帕特爾: 我想，你有多相信起飛，所以如果存在一個起飛情景，在那種情景下，強大的人工智慧建構更強大的人工智慧，建構更強大的人工智慧，或者，這創造了越來越多，每個智能水平都為經濟賦能，比如你能在你的企業裡僱傭多少猴子，而不是僱傭多少人類，有點像或者多少條狗，有點一個人相對於一條狗的價值創造是什麼？這有點像人工智慧。所以，在這種情況下，價值創造可能是數千億美元，如果不是，我們正在追逐這個目標。
Guido Appenzeller: 你需要這個嗎？如果我們讓每個白領工人的工作效率通過人工智慧提高一倍，那將達到數千億美元，不是嗎？
主持人: 但是，什麼叫做一倍，如果你和實驗室的人談談，比如工作效率提高一倍，這到底意味著什麼？就是取代了他們，而且會比死亡好10倍。
Guido Appenzeller: 我不知道那有多快——如果一種白領工人本質上在沒有持續不斷的LLM（大型語言模型）令牌流的情況下毫無用處，那能讓他們提高生產力，到那時，你基本上可以對世界上每個知識工作者徵稅，從長遠來這也就是世界上大多數的工人。所以，你猜是什麼？給我們一個數字。上限是多少？上限？
迪倫·帕特爾: 為什麼我們不製造一個俄羅斯套娃大腦？在某個時候，機器會說人類不需要生存，我們需要更多的計算能力。在那之前的一步，我們開始殖民火星了嗎？待定，夥計。我覺得，就好完全，好不可能預測五年以上的事情，鑑於變化如此之大。那不像——五年？五是最後的數字。我會把它留給經濟學家，好老實說，好供應鏈的東西，好三、四年就結束了。然後第五年，有點像及時行樂，所以，我只是試著讓自己立足於供應鏈的東西，供應鏈，然後，人工智慧的採用情況如何？價值創造是什麼？使用情況是什麼？而且你可以在短時間內看到它。除此之外，我們是否都會連接到電腦，腦機介面之類的？伙-計。人形機器人，它們會怎麼樣，你看到了埃隆的東西，他說，是啊，人形機器人是特斯拉價值超過10兆美元的原因。好的，很好。所有這些都是用什麼訓練的？很好，輝達，好的，太棒了。所以那也值10兆美元，這對我來說太遙遠了。我不喜歡那些遙遠的討論。
主持人: 非常公平。
迪倫·帕特爾: 讀一些科幻小說。
輝達的護城河：從歷史賭注到市場主導
Sarah Wang: 所以僅僅是提取你談到的線索，這有點像一句順帶一提的評論，但市場份額實際上無法增長，因為它已經佔據了如此主導的市場份額。我們談到過，或者你們上次談到過輝達的護城河。顯然，這個護城河與維持他們目前擁有的非常高的市場份額相關。我很喜歡你之前帶我們回顧的關於華為的那段歷史旅程。你能大概講解一下輝達在歷史上都做了些什麼來建立他們的護城河嗎？
迪倫·帕特爾: 這非常棒，因為，他們在早期失敗了很多次，而且他們多次押上了整個公司，黃仁勳瘋狂到敢於押上整個公司，就像在知道晶片是否能工作之前就訂購了一定的晶片數量，而且這幾乎是他剩下的所有錢，或者像是為他尚未贏得的項目訂購數量。我聽到一個傳聞，或者說不是傳聞，而是從一位業內老前輩那裡聽來的故事，我認為他應該知情，他說，不，不，不。輝達在微軟下訂單之前，就已經為Xbox訂購了所需的數量。他們只是想，去他媽的， YOLO（你只活一次），我不知道這件事有多真實，我確信其中有更多的細微差別，口頭指示或者什麼的，但是就像訂單在他收到訂單之前就已經下了，就像他說的。
有些情況就像加密貨幣泡沫一樣，就像有幾次，但是輝達盡了最大的努力來說服供應鏈中的所有人，這不是加密貨幣，而是遊戲，這是持久的真實需求，是遊戲、資料中心和專業可視化，因此你們應該提高產量，然後他們都提高了產量，並花費了所有的資本支出來增加產量，為他們建立新的生產線，他們按件付費，然後購買並出售，賺了很多錢，然後當一切崩潰時，他們只需要註銷一個季度的庫存，無論如何，其他人都說，糟糕，我所有的生產線都空了，所以但是AMD當時做了什麼，他們的晶片，實際上更適合加密貨幣挖礦，在一個，矽成本與雜湊值的比例上，但是他們就是沒有，AMD啊，我們不會真的提高產量，就像一個合理的，事情，它不是一個，這有點像趁熱打鐵，所以同樣的事情也發生在輝達身上，
他們，最近，好他們訂購了沒人相信的產能，好幾次。他們看到了需求，很明顯，但在很多情況下，他們只是覺得，他們給微軟的數字比微軟的內部計畫還要高，然後微軟的內部計畫提高了，但是他們給微軟的數字還是高得多。這啊，即使他們告訴我們這麼多，我們也不認為微軟會需要這麼多。這誰會不，不，不，客戶，你會買更多的。訂單，然後當訂單通過供應鏈時，我必須支付NCNR，不可取消，不可退貨，這是，這是，我曾經在台灣問過一個問題。那裡好像有一個，是科萊特，她是首席財務官，還有黃仁勳，首席執行官。他們都在那裡。那是一個房間，裡面大多是金融人士，他們在盈利發佈前三天問一些愚蠢的金融問題。所以很明顯，他們什麼都回答不了，因為這是美國證券交易委員會的規定。
但我問他們的問題是，你黃仁勳，你非常注重感覺，非常有直覺，而且非常有遠見。然後科萊特是首席財務官，她本身就很出色，但是，這些個性會衝突。你們是如何一起工作的？他說，我討厭電子表格。我不看它們。我就是知道，諸如此類就是他的回答。而且當然，世界上最優秀的創新者都有非常好的直覺，這種直覺就像是在不瞭解情況時下不可取消的訂單，而且他們在歷史上不得不多次註銷，累計訂單金額達數十億美元，因此，累計總訂單，無論是H20（更多的是監管方面），還是他們訂購後不得不取消的其他情況。達到數十億美元了嗎？達到數十億美元。小菜一碟。這取決於情況，當他們的股票價值低於1000億美元時，加密貨幣的減記就像幾十億美元，這只是小菜一碟。只是與上漲空間相比，我認為你做的一切都是對的。我認為AMD所做的一切都是錯的。在那樣的情景下，但就像這很瘋狂，尤其是在像半導體這樣周期性的行業裡，公司總是會破產，這就是為什麼我們有這麼多的整合，每一次下行周期公司都會破產。
Guido Appenzeller: 如果你從風險回報的角度來這些賭注完全值得下。如果你從“我是一個CEO，我想要為華爾街提供可預測的季度業績”的角度來看。那就是一個非常不同的故事了。而且我認為這是他們之間緊張關係的一部分原因。
迪倫·帕特爾: 所以，我不知道你是否看過這些，像李光耀剪輯，在那裡他們像他，像在發表一些激烈的演講。然後，然後在結尾放一些很酷的音樂，然後展示他們不同的照片。所以我們最近做了一個關於黃仁勳的，並把它放到了社交媒體上，比如在Instagram、TikTok、小紅書上，當然還有Twitter，就像所有不同的社交媒體一樣。我真的很喜歡，因為他說，玩遊戲的目的是為了贏。贏得目的，或者說，贏得原因是為了你可以再次玩，他把它比作彈珠遊戲，就像實際上你整天都在玩，並且不斷獲得更多回合一樣。他的全部意義是，我想贏，這樣我才能玩下一局。而且，這只關乎下一代，這只關乎現在，下一代。現在討論15年後的事情沒有意義，因為每次的情況都是一個全新的局面，或者說5年後的情況也一樣。
我認為你說得對。風險回報是合理的。只是很少有人願意承擔這種風險。這是唯一一家價值超過100億美元的半導體公司，而且成立時間相對較晚。就像聯發科在90年代初，然後是輝達，其他的大部分都來自70年代。那些大型公司，
Sarah Wang: 我認為你提出了一個很好的觀點，關於這種孤注一擲的賭注，而且正如你所說，他實際上已經錯了好幾次。移動領域，
迪倫·帕特爾: 移動領域到底發生了什麼？
Sarah Wang: 沒錯，而且他仍然在接受（這些教訓）。我認為馬克實際上和埃裡克有過一次很棒的對話，他在對話中談到了創始人主導的模式，在這種模式下，你會記住你為了達到今天的成就所承擔的風險，所以在很多情況下，如果你是後來聘請的CEO，你有點繼續按原樣掌舵這艘船。但在這種情況下，他記得他們幾乎破產的所有時刻。他說，我有一個賭注。繼續下這樣的賭注。你認為他發生了那些變化？他是任職時間最長的CEO之一，超過30年。他現在有點和拉里·埃裡森並駕齊驅了。你認為在過去的30年左右的時間裡，他發生了那些變化？
迪倫·帕特爾: 很明顯，我29歲。我不知道他是什麼樣的人。
主持人: 我看過很多舊的採訪。我不會說他不是——他擔任首席執行官的時間比你活得還長。沒錯，沒錯。輝達在我出生之前就成立了。我96歲了，我當時想，你知道嗎？
Sarah Wang: 過去幾年的任何事情嗎？
迪倫·帕特爾: 不，不，可能更好。我覺得即使是看以前的採訪，比如我看了很多以前的採訪，很多他以前做的演講。一件事就是他簡直是魅力四射，渾身散發著光芒，他所擁有的魅力只會變得更強。 這很有趣。我不知道這是否完全相關。我不同意，但這個人好像學會了如何成為一個搖滾明星，即使他一直都很有魅力。他現在就是一個徹頭徹尾的搖滾明星。他是個搖滾明星，十年前也是。只是人們可能沒有意識到。
我想我看的第一個現場演示，非常極端，好像是，是，那個什麼，那個什麼，是CES，大概2014年或2015年什麼的。他是，那是消費電子展。我當時在管理遊戲、遊戲硬體的子版塊，那時我還是個青少年。然後那傢伙一直在講人工智慧。他在告訴，他在告訴所有這些遊戲玩家關於AlexNet和自動駕駛汽車的事情，
主持人: 首先，你要瞭解你的受眾，而且，這和消費電子產品沒有任何關係。
迪倫·帕特爾: 當時這給了我，當時我一半覺得，天那，這太棒了。但我我也一半覺得，我希望你發佈新的遊戲GPU，但我知道在論壇上，在論壇上很快，每個人都說，去他的，我想聽聽關於遊戲GPU，輝達的價格欺詐，當然輝達一直有，我們對價值定價，而且還加上一點，因為我們足夠聰明地知道，我猜黃仁勳只是對如何定價有直覺，他會改變價格，就像至少在遊戲手錶上，他會在演示之前改變價格。所以，這真的可能是一種直覺。無論如何，他有那種魅力去知道什麼是對的，但我認為人們，很多人都說，哦不，隨便，黃仁勳是錯的，他不知道自己在說什麼。但現在他說，人們會說，哦，非常，非常，所以可能只是因為他足夠正確。
Sarah Wang: 最近在X上有一篇帖子說他已經晉陞到上帝模式，和一群精選的CEO在一起，但這完全正確。
迪倫·帕特爾: 還有那些神？
Sarah Wang: 是扎克，還有那些神？馬斯克。馬斯克，馬斯克，扎克和黃仁勳。
迪倫·帕特爾: 好，好，好的。很好的團隊。所以我們向矽谷祈禱，現在是邪教了嗎？
Sarah Wang: 沒錯。關於人員的最後一點，你提到了卡拉，他的首席財務官，而且輝達似乎有一個出了名的忠誠的團隊，即使所有的元老現在都可以退休了。如今在輝達，是否有人類似於SpaceX的格溫·肖特韋爾，或者之前蘋果公司史蒂夫·賈伯斯的提姆·庫克？
迪倫·帕特爾: 他有兩位聯合創始人，就像那樣，我們不要忽略這一點。其中一個，其中一個沒有參與並且已經很久沒有參與了，但另一個直到幾年前才參與，所以不只是黃仁勳在主導一切，雖然他一直在主導。在硬體方面，有相當多的人參與。我一直覺得，輝達有個人對我來說就像神話一樣。就像當你和工程團隊交談時，他領導著很多任務程團隊。他是個很低調的人，所以其實我不想說出他的名字。可以理解。但他他實際上就像首席工程官一樣，他的角色就是這樣，他所在組織的人會知道他是誰。而且我認為還有像他這樣的人，但是，他非常忠誠。並且有很多這樣的人。
還有另一個人，就像輝達有很多創新想法，而他就是那個會說“我們現在必須把矽晶片搞出來，我們要削減功能”的人。這就是他出名的原因，輝達所有的技術人員都討厭他。這是第二個人，這是第二個人。他也對輝達非常忠誠，在那裡工作了很長時間，但當一家公司如此具有遠見卓識和前瞻性時，一個問題就是你會迷失方向。哦，我想做這個，它必須是完美的，令人驚嘆的。你必須有那種感覺，這些人之所以能接近黃仁勳是有原因的，因為黃仁勳也相信這些事情，擁有遠見卓識的未來展望，但同時也覺得算了吧，砍掉它，我們把它放在下一個版本裡，交付，現在就交付，更快地交付，尤其是在矽晶片這樣的領域，這真的很難做到。
關於輝達的事情總是令人印象深刻的，而且從一開始就是如此，他之前也談到過這一點，他們的第一個成功的晶片，他們就要沒錢了。他甚至不得不向其他人要錢才能完成開發。即使那樣，他也只是有足夠的錢，因為在此之前他已經有過一次失敗的晶片，所以這次晶片必須成功，否則就不行了，你知道嗎？所以他們因為他們只能支付，這叫做掩範本，基本上，你把這些我稱它們為範本的東西放入光刻工具中。然後它就像是指示圖案在那裡。然後你，你把範本放進去，你沉積東西，你蝕刻東西，你在晶圓上沉積材料，蝕刻掉它。你把範本放進去，你告訴它把東西放在那裡，然後沉積和蝕刻在那些位置不斷髮生，你把幾十層堆疊在一起，你就做成了一個晶片。這些範本是為每個晶片定製的，而且它們今天的成本高達數百億美元。但即使在當時，這仍然是一大筆錢。當然，那時不算多，有點他們只能支付一套的費用。
但半導體製造的典型情況是，無論你模擬得多麼好，無論你做了多少驗證，你都會提交一個設計，然後不得不修改它。總會有問題的。完美地模擬一切太難了。而輝達的特點是，他們往往能一次成功。即使是像AMD或博通這樣執行力很強的公司，他們也經常需要交付，它們被標記為A加一個數字或B加一個數字。所以就像是掩範本的兩個不同部分。所以像輝達總是交付A0，幾乎總是這樣。他們有時會交付A1。很多時候，即使他們開始生產，A基本上是電晶體層。那麼數字就像連接所有電晶體的線路。所以輝達將開始A的生產並將其產量迅速提高。然後，你只需在過渡到金屬層之前將其保持原樣，以防他們確實需要更改金屬層。所以，就像他們準備就緒並確認它可以工作的那一刻，他們就可以直接，迅速完成大量生產。然而其他所有人都會說，哦，讓我們把晶片拿回來。哦，好的，A0不起作用。我們需要進行這個調整，進行這個調整，把晶片拿回來。
Guido Appenzeller: 這叫做步進，在英特爾，當時我們非常嫉妒輝達，他們總能在第一次交付時就成功，而我們沒有。事情就是這樣。
迪倫·帕特爾: 資料中心CPU組，曾經有一個產品，我說A1，A0、A1，或者如果你必須改變電晶體層，那就到B。所以就像是B。輝達，對不起，英特爾曾經到過E2。E2，就像那是第15次修訂。這就像是AMD的巔峰時期，就像他們相對於英特爾的市場份額飛速增長的時候，當時英特爾正處於E2，就像15個步進。因為那是幾個季度的延誤，這對上市來說是災難性的。每次都是一個季度的延誤或者什麼，所以這很荒謬。
所以我想關於輝達的另一點是，算了吧，發貨吧。讓我們盡快獲得銷量。 讓我們，讓我們做這些事情，所以無論如何，他們，擁有一些最好的模擬、驗證等等，這讓他們可以儘可能快地從設計，從想法到交付，剔除任何可能延遲它的不必要的功能，確保他們不必進行修訂，以便他們可以，他們可以盡快響應市場。 有一個關於Volta的故事，它是第一款帶有張量核心的輝達晶片，他們在上一代P100 Pascal上看到了所有AI的東西，他們決定我們應該全力投入AI。 他們在將Volta送到晶圓廠之前的幾個月裡加入了張量核心。就像他們說的，算了吧，讓我們改變它。這太瘋狂了。如果他們沒有這樣做，誰會，也許其他人會佔據AI晶片市場，所以有很多時候他們只是，那些都是重大的改變，但通常有一些小的事情你需要調整，數字格式或者一些架構細節。輝達就是這麼快。
Guido Appenzeller: 另外一件瘋狂的事情是，他們有一個能夠跟上這一切的軟體部門，如果你推出了晶片，而且基本上不需要任何步進（修改），它就能立即進入市場，然後準備好驅動程式和所有基於其上的基礎設施，這真是令人印象深刻。
Sarah Wang: 我很喜歡你說的這一點，因為你會想到輝達從一個又一個順風中受益，但我認為你們都在說，你必須行動得足夠快，執行得足夠好，才能利用這些順風。如果你考慮一下，順便說一句，我喜歡你關於國際消費電子展的故事。我只是想像著10多年前他談論自動駕駛汽車的情景。但是，如果你想到抓住視訊遊戲順風、VR、比特幣挖礦，現在顯然是AI，詹森今天談論的一件事，或者其中一件事是機器人技術、AI工廠。也許我關於輝達的最後一個問題，你們如何看待未來10到15年？我知道預測超過5年是很困難的，但是，輝達的業務會是什麼樣子？
迪倫·帕特爾: 這實際上是一個問題，這我認為每次我和輝達的一些高管交談時都會問這個問題，因為我真的很想知道。而且，他們顯然不會回答這個問題，但你打算如何處理你的資產負債表？就像你是現金流最高的公司，你擁有如此多的現金流。現在，超大規模企業都在大幅削減他們的現金流，因為他們正在購買GPU。你打算如何處理所有這些現金流，甚至在這整個起飛之前，他都不被允許收購ARM，那麼，他能用所有這些資本和所有這些現金做什麼呢，即使是對英特爾的這筆50億美元投資，也面臨著監管審查，就像公告裡說的，這需要接受審查，我估計這會通過，但就像他無法購買任何大型的東西。他的資產負債表上將會持有數千億美元的現金。你是做什麼的？是開始建設人工智慧基礎設施和資料中心嗎？也許吧，但話說回來，如果可以找其他人來做，然後自己拿錢，為什麼要自己做呢？
他正在投資那些，
主持人: 投資的是小錢，
迪倫·帕特爾: 就像他最近給Core Wave提供了一個後盾，因為現在真的很難找到大量的GPU用於突發容量，我想訓練一個模型三個月，我有我的基本容量，我不知道我的實驗，但我想在三個月後訓練一個大型模型。我們從我們的投資組合中知道，所以像輝達就看到了這個問題。他們認為這對初創公司來說是一個實際的問題。這就是實驗室擁有如此優勢的原因。但如果我可以，現在，矽谷的大多數公司會花費，多少，75%的融資額在GPU上，至少是這樣，我們看到了，如果你可以在三個月內用一次模型運行完成75%的工作，會怎樣，你知道嗎？並且真正地擴展規模，擁有某種有競爭力的產品，然後你擁有了模型。然後你籌集更多的資金，或者開始部署，
你用它來做什麼？是開始大量購買人形機器人並部署它們嗎？但好他們做的軟體並不好。在模型方面，他們為機器人做的軟體也不是特別出色，他們做的，底層的東西很棒。
Guido Appenzeller: 他們在那裡部署他們的資本，這才是問題。不過，他一直在上下游供應鏈進行一些投資，投資於新雲，投資於一些模型訓練公司。
迪倫·帕特爾: 但再說一次，這只是小打小鬧。如果他想，他本可以完成整個Anthropic的融資輪。當然他沒這麼做，然後真正地讓他們使用GPU。或者，他本可以完成整個，OpenAI的融資輪。
主持人: 他本可以完成整個，任何可解釋人工智慧（XAI）的融資輪。
主持人: 你認為這些是他應該做的事情嗎？
迪倫·帕特爾: 好問題。
Guido Appenzeller: 我們會在我們等待的下一輪融資中引用你的話。
迪倫·帕特爾: 但不管怎樣, 他可能讓風險投資變成夕陽產業。不，開玩笑的。拿走所有最好的融資輪次。
你可以先做種子輪，然後讓黃仁勳抬高你的估值。我是聽說的。不，我不這麼認為。我喜歡。我認為挑選贏家對他來說顯然非常困難，因為他在整個生態系統中擁有客戶。如果他開始挑選贏家，那麼就像他的客戶會更加急於離開，並投入更多精力去選擇AMD，或者一些初創公司，或者他們內部的努力等等，等等，購買TPU，或者其他什麼。人們會那樣做。他不能僅僅投資這些。他可以做一點，在OpenAI的融資中投入幾億美元是可以的，或者在XAI的融資中投入幾億美元也是可以的。CoreWeave，每個人都在為此大驚小怪，但這就像他早期投資了幾億美元，而且，為了內部開發目的從他們那裡租用了一個叢集，而不是從超大規模廠商那裡租用，這對輝達來說更便宜，對他們來說，從他們那裡獲得比從超大規模廠商那裡獲得更好。他真的，他真的在很大程度上支援CoreWeave嗎，或者，其他的客戶或者像Neo雲這樣的，就像有一些投資，但更像是，這是一個不錯的雲，我們會投入像5%或10%的融資額，不他拿走了超過50%的融資額。
Guido Appenzeller: 他也在重塑他的市場嗎？你幾年前，只有四筆大型的這種卡的採購。你剛剛列舉了六個。在多大程度上那是——那是他，還有Nebius等等……那裡有一長串名單。叢集材料，
迪倫·帕特爾: 這是一個策略嗎？我認為絕對是。但他不必投入太多資金來做這件事。
Guido Appenzeller: 比如什麼——他是早於另一個晶片了嗎？
迪倫·帕特爾: 不，但如果你看看他花費在投資Neo雲上的巨額資金，那是幾十億美元。但如果他想的話，他還有很多其他的槓桿可以使用。對，對。正如你提到的，分配。很好的一點是，歷史上，你會給超大規模企業量大折扣，但因為他可以用反壟斷的論點，他就說，每個人都得到同樣的價格。太公平了。非常公平，非常公平，你知道嗎？
那麼他應該怎麼做，或者什麼應該引導他的——有一種觀點認為他應該投資資料中心，而且只投資資料中心層，而不是投資資料中心裡的東西，這樣才能讓更多人建造資料中心。然後，如果市場需求持續增長，資料中心和電力就不是問題了，投資資料中心和電力。我已經跟他們說過了，他們應該投資資料中心和電力，而不是投資雲層。因為雲層已經相當商品化了，或者說，它是商品化還是互補，這就是整個短語。我不會說成為一家雲服務商已經商品化了，但它確實是，你現在有很多不錯的競爭對手。而且你已經教育了商業房地產和其他基礎設施投資公司也進入了人工智慧基礎設施領域。所以，我不認為應該投資雲層，你應該投資資料中心和能源嗎？你是否投資於，因為這真的是你增長的瓶頸，是A，人們願意且能夠花費多少，以及B，實際將他們放入資料中心的能力。
還有像機器人技術。而且，我認為有一些他可以投資的領域，但沒有那個需要3000億美元的資本。那麼你用這些資本做什麼呢？我真的不知道。而且我覺得黃仁勳肯定有一些想法。這裡肯定有一些有遠見的計畫，因為這塑造了公司，他們可以出售，他們可以繼續，我提到了每年2000億美元的自由現金流，2500億美元的自由現金流。他們用這些錢做什麼？他們會一直回購股票嗎？他們會走蘋果的路線嗎？蘋果公司近十年幾乎沒有任何有趣的新發展，原因是他們的領導者缺乏遠見。蒂姆·庫克打造了供應鏈，他們只是把錢投入到股票回購中。他們實際上並不擅長汽車領域，自動駕駛汽車項目失敗了。我們會看看增強現實/虛擬現實會發生什麼，我們會看看可穿戴裝置會發生什麼，但像Meta和OpenAI可能比他們更好。我們拭目以待，還有其他公司，他會投資什麼呢？但什麼都不投資，什麼需要如此多的資金，這才是難題。而且它實際上獲得了回報。因為簡單的事情就像我的股權成本，
Guido Appenzeller: 我只是回購。而且它不會徹底改變公司文化。我認為那是另一件事，可能有他可以投資的領域，但你突然發現公司在做兩件完全不同的事情，這很難維持。
迪倫·帕特爾: 但他們做了10件完全不同的事情，一種看待它的方式是我們建構人工智慧基礎設施。並且以我們建構人工智慧基礎設施為幌子，機器人、人形機器人遍佈世界各地都是人工智慧基礎設施。或者資料中心和能源是人工智慧基礎設施，就
Guido Appenzeller: 所以人形機器人會完全奏效，如果你突然開始澆築混凝土和建造發電廠，它就擁有完全不同的文化，完全不同的一群人，而且會變得非常非常困難。
迪倫·帕特爾: 好的，我同意。但是有不同的方法可以做到，比如投資不同的公司，或者像後盾一樣，支援發電廠的建設，因為沒人想建造發電廠，因為它們是30年的承保項目。有很多不同的領域可以使用資本來，允許一些事情發生，不一定非要擁有它並出售它。
Guido Appenzeller: 還有，回顧我在英特爾的時光，我們遇到的最大的問題之一是我們的客戶群很糟糕，
迪倫·帕特爾: 我們賣給，大部分晶片都賣給了大型超大規模企業，它們過於集中，而且它們自己製造晶片。
Guido Appenzeller: 這樣你就可以壓低價格。
迪倫·帕特爾: 所以老實說，把錢花在雲的多樣化上，雲——問題在於2014年，你們應該收取高昂的費用，使你們的利潤率達到80%。世界會怎麼做？什麼也不會。當時的利潤率相當不錯。
主持人: 那不是問題所在。那是主要問題。不，它們是60，65。它們是80。還是，哎呀，天啊。那是黃仁勳。那是另一個播客上的黃仁勳。
Guido Appenzeller: UTSD 在這裡發揮作用了。
雲端戰局：亞馬遜、甲骨文與AI基礎設施的重塑
Sarah Wang: 等等，我認為 Guido 的評論實際上是一個很好的引子，可以引出我們想和您談論的其他事情，也就是超大規模企業。我喜歡閱讀semi-analysis的原因之一是，你們做出的這些非共識性的預測往往是正確的。其中最近一次，當我在打電話時——只有往往？
Sarah Wang: 你的黃仁勳命中率很高。非常高。
主持人: 我價值10億美元，EV正收益的賭注在那裡？
Sarah Wang: 但引起我注意的是亞馬遜的人工智慧復興。所以我想和您談談這個，因為，我認為我們發現幫助我們的投資組合公司選擇合作夥伴非常有趣。因此我們有一些關於此的微觀資料，但您可以大致瞭解他們落後的原因。
迪倫·帕特爾: 所以在2023年第一季度，我寫了一篇文章叫做《亞馬遜的雲危機》。它是關於所有這些新型雲將如何商品化亞馬遜。它是關於亞馬遜的整個基礎設施在計算的過去時代是多麼的優秀，他們用他們的彈性網路結構，ENA和EFA，他們的網路卡，他們，整個協議以及背後的所有東西，他們為定製CPU所做的一切，等等，就像對過去時代的橫向擴展計算來說非常好，而不是這個時代的縱向擴展AI基礎設施，以及新型雲將如何商品化它們，以及他們的晶片團隊是如何專注於，成本最佳化的。然而，今天的關鍵在於最大化性價比，但就像這通常意味著你只是瘋狂地提高性能，即使成本翻倍，你也要將性能提高三倍以上，因為這樣每次性能的成本仍然下降。這就是今天使用輝達硬體的關鍵所在。
結果證明這是一個非常好的預測。每個人都想指責我們，不，你是錯的。因為這就像亞馬遜是最好的股票，而微軟還沒有真正開始騰飛，其他的，像甲骨文等等也沒有。從那以後，亞馬遜一直是表現最差的超大規模廠商。這裡的觀點是，他們仍然存在結構性問題，他們仍然使用彈性光纖，雖然情況正在好轉，但仍然落後於輝達的網路，仍然落後於博通/阿里的類似類型的網路卡。他們仍然使用，他們內部的AI晶片還可以。但最主要的是他們現在正在醒悟，並且能夠真正地抓住商機，所以這裡的主要觀點是，自從那份報告發佈以來，AWS的收入一直在減速。同比收入一直在持續下降。
而我們的重要觀點是，它實際上將開始重新加速，這是因為熵增，是因為我們在資料中心所做的一切工作，跟蹤每一個資料中心，何時上線以及其中的內容，成本的流動，或者如果你知道晶片的成本、網路的成本、電力的成本，你就知道這些東西的總體利潤率，那麼你就可以開始估計收入。因此，當我們建構起所有這些時，對我們來說非常清楚的是，他們本季度在 AWS 收入增長方面觸底了，至少在未來一年內，這將是 AWS 收入同比增長率的最低點，並且由於他們擁有大量配備 Tranium 和 GPU 的線上資料中心，它將再次加速增長到 20% 以上，
取決於那一個，取決於那個客戶。體驗不如，比如 CoreWeaver 或其他什麼，但今天的關鍵是容量。CoreWeaver 只能部署這麼多，他們只能獲得這麼多的資料中心容量，而且他們建構速度非常快。但目前世界上擁有最巨量資料中心容量的公司，而且直到今天仍然如此，儘管他們可能會在未來兩年內被超越，是亞馬遜。實際上，根據我們所看到的，他們將會被超越，是亞馬遜。但逐漸地，亞馬遜仍然擁有最多的閒置資料中心容量，這些容量將在未來一年內轉化為 AI 收入。
Guido Appenzeller: 我問一個問題。那是正確類型的資料中心容量嗎？就像現在的高密度人工智慧建構一樣，你需要更多的冷卻，你需要附近有足夠的水源，你需要附近有足夠的電力。它在正確的位置嗎，或者它是錯誤類型的物品？
迪倫·帕特爾: 所以，從這個意義上來說，資料中心容量，從電力安全，到變電站的建設，到變壓器，再到你可以為機架提供電源線。現在，很明顯，資料中心容量會有所不同，從歷史上實際上，亞馬遜擁有世界上密度最高的資料中心，當每個人還在12千瓦時，他們已經達到了40千瓦的機架。如果你曾經走進過大多數資料中心，它們都非常涼爽和乾燥。如果你走進亞馬遜的資料中心，它們感覺像沼澤。感覺就像我長大的地方，就像潮濕和炎熱，因為他們正在最佳化每一個百分比。
所以有點你在這裡的觀點是，亞馬遜的資料中心沒有為新型基礎設施做好準備，但當你把它們與GPU的成本進行比較時，比如獲得，擁有複雜的冷卻裝置是可以的，幾個月前，大概兩三個月前，我們在Astera Labs上做出了判斷，當時他們大概在90美元，但在那之後的一個月就漲到了250美元，因為亞馬遜向他們下了訂單。但是亞馬遜的基礎設施有一些特殊之處，我不會過多地深入，但他們的機架基礎設施需要他們使用更多的Astera Labs連接產品。庫力也是一樣，所以它在網路和冷卻方面。他們只需要使用更多的這些東西。但再說一次，與GPU相比，這些東西的成本微不足道。你可以建造，
Guido Appenzeller: 我的問題更像是，聽著，我現在可能需要附近的一條大河來冷卻，在很多地區，我只是無法獲得足夠的水。而且可能在同一地區也有電力問題。
迪倫·帕特爾: 他們有兩個吉瓦規模的站點，電力供應已全部落實，濕式冷卻器和乾式冷卻器也已全部落實。就像一切都很好。只是效率沒那麼高。但那也沒關係，他們將會提高收入。他們將會有收入。並不是說我一定認為亞馬遜的內部模型會很棒，或者說，他們的內部晶片比輝達的更好，或者能與TPU競爭，或者他們的硬體架構是最好的。我不一定這麼認為，但他們可以建造很多資料中心，並且可以用可以出租的東西把它們填滿，這是一個非常簡單的，這是一個非常簡單的論點。
Sarah Wang: Anthropic對於Tradium的協同設計有多重要？因為我記得我們有一家投資組合公司。這是2023年夏天。他們邀請他們去了AWS。他們花了，天啊，我想一周內花了8個小時和他們一起試圖弄清楚當時的Tradium。根本無法解決。那麼，顯然那家投資組合公司沒有回去現在再嘗試，但根據你聽到的，現在的情況有多大不同？
迪倫·帕特爾: 哦，還是很糟糕。
Sarah Wang: 好的，好的，明白了。
迪倫·帕特爾: 很難使用。所以有點這是每個推理公司都會提出的論點，包括AI硬體初創公司，因為我最多隻運行三種不同的模型，我可以手動最佳化所有內容，並為所有內容編寫核心，甚至可以深入到彙編等級，這有多難？這相當難，確實相當難。但就像你通常會為生產推理做這些一樣。就像你沒有使用CUDNN，那是輝達的庫，它非常容易生成你的，生成核心之類的東西，就像你沒有，或者說不是生成核心，但無論如何，你仍然在使用，你沒有使用這些易於使用的庫。當你運行推理時，你要麼，使用Cutlass，要麼定製你自己的PTX，或者，在某些情況下，人們甚至會深入到SAS等級，當你看到像OpenAI或者像Anthropic這樣的公司，當他們在GPU上運行推理時，他們就是這麼做的，一旦你深入到那個層面，生態系統就沒有那麼棒了。
現在使用輝達的GPU也並不容易。你對硬體架構有一個直觀的理解，因為你在這方面做了很多任務作，而且每個人都做過，你可以和別人交談，但歸根結底，這並不容易，然而，Anthropic，Trania，更多的是TPU。實際上，硬體架構比GPU稍微簡單一些。更大、更簡單的核心，而不是擁有所有的這些功能。更少的通用性。這樣編碼就更容易一些。有Anthropic的人發推文說，當他們進行底層開發時，實際上，他們更喜歡在Tranium和TPU上工作，因為它們的簡單性。需要明確的是，Tranium和TPU，特別是Tranium非常難用。不適合膽小的人。這非常困難，但是如果你只是運行，如果我是Anthropic，我必須只為Sonnet運行Cloud 4.1 Opus，並且算了吧，我甚至不在GPU上運行Haiku，或者其他什麼，我只需要運行兩個模型。實際上，算了吧，我也會在GPU和TPU上運行Opus。無論如何，Sonnet是我的大部分流量。我可以花時間。我多久更改一次那個架構？每四到六個月，對嗎？多少？老實說，它甚至沒有改變那麼多。
Guido Appenzeller: 定義一下架構變更。在高層次上，在過去幾代中，基本元素或多或少是相同的。
迪倫·帕特爾: 老實說，我對Anthropic的模型架構瞭解不夠。但我認為從我在其他地方看到的情況來已經發生了足夠的改變，需要時間來，編寫程序並真正獲得……最主要的是，如果我是Anthropic，而且我現在擁有，多少，70億的年度經常性收入，或者更多，到明年年底，超過100億，超過200億，ARR甚至30也那是，而且我的利潤率是50%，70%。那就是我需要的150億美元的tranium，然後我就可以在Sonnet上運行。而且其中大部分將是Sonnet 3、5，或者抱歉，4、5，無論是什麼，它將是一個模型，服務於大多數用例。所以，我可以花時間讓它在這個硬體上工作。
Sarah Wang: 完全正確。也許關於你做出的非共識性判斷，也許我會轉移到另一個雲。在6月，你們說甲骨文正在贏得AI計算市場。然後在這個播客中，我們已經提到了甲骨文的巨大飛躍，這是顯而易見的。
迪倫·帕特爾: 我認為這是市值超過5000億美元的公司有史以來獲得的最大單筆收益。
Sarah Wang: 所以，而且在沒有...
迪倫·帕特爾: 2023年第一季度的輝達是不是更大？可能更小，好吧。
Sarah Wang: 我認為可能差不多。我們會自己核實。
迪倫·帕特爾: 太棒了。
Sarah Wang: 但是，很明顯這是已經宣佈的巨大承諾。你能跟我們說說你當時為什麼做出這個決定，以及為什麼甲骨文能夠在如此競爭激烈的領域中做得這麼好嗎？
迪倫·帕特爾: 所以甲骨文，他們是業內最大的資產負債表，並且不固守任何類型的硬體，他們不固守任何類型的網路。他們將使用Arista部署乙太網路。他們將通過自己的白盒部署乙太網路。他們將部署NVIDIA網路、InfiniBand或Spectrum X。而且他們擁有非常優秀的網路工程師。他們在各個方面都擁有非常出色的軟體，再說一次，就像ClusterMax一樣。他們是ClusterMax黃金級，因為他們的軟體很棒。他們需要加入一些東西才能使他們達到更高的水平，並且他們正在加入這些東西，以達到鉑金級，CoreWeave就在那裡。
所以，兩件事，OpenAI有著瘋狂的計算需求。微軟相當膽小。他們不願意投資，他們不相信OpenAI實際上可以支付這筆錢，我之前提到過，對。3000億美元的交易，OpenAI，你沒有3000億美元。而且甲骨文願意打這個賭。當然，現在，這個賭注有點這個賭注裡有更多的安全性，因為甲骨文實際上只需要保障資料中心的容量，
所以這有點像我們如何發現這個賭注的，我們一直在以一種超級詳細的方式告訴我們的機構客戶，特別是在，超大規模企業、人工智慧實驗室或者其他一些公司或者，投資者，在我們的資料中心模型中，因為我們正在跟蹤世界上每一個資料中心。順便說一句，甲骨文自己也不建造資料中心，對吧。他們從其他公司獲得，他們共同設計，但他們自己不實際建造。所以他們在評估新的資料中心、設計它們方面相當靈活。因此，我們看到了所有這些不同的資料中心，甲骨文在深入討論中搶購，搶購，簽約等等。所以我們有，這裡一個吉瓦，那裡一個吉瓦，那裡一個吉瓦，Avaline，兩個吉瓦，他們正在簽約和討論的所有這些不同的站點，我們都在記錄它們。我們有時間表，因為我們正在追蹤整個供應鏈，我們正在追蹤所有的許可證、監管檔案，通過，語言模型，不斷地使用衛星照片，然後是像冷水機、變壓器裝置、發電機等等的供應鏈。我們能夠在我們的資料中心模型中，逐季度地做出相當有力的估計，逐季度地，每個站點有多少電力，所以我們知道的有些站點甚至要到2027年才會開始啟動，但我們知道甲骨文已經簽約了，而且我們有這種啟動路徑。
所以現在的問題是，假設你有一個兆瓦，為了簡單起見，這已經是大量的電力了，但現在感覺不多了，我們正處於吉瓦時代。但是如果你在談論一個兆瓦，你用GPU填滿它，一個兆瓦的GPU要花多少錢，或者實際上，做數學計算甚至更簡單，如果我在談論一個GV200，每塊獨立的GPU是1200瓦，但是當你談論CPU，整個系統時，大概是2000瓦。與此同時，總而言之，簡單起見，每塊GPU 50000美元，而且GPU的花費不僅僅是GPU本身，還有所有的外圍裝置，因此，2000瓦需要50000美元的資本支出。所以1000瓦需要25000美元。那麼GPU的租賃價格是多少呢？如果你簽訂的是一個非常長期的協議，批次是270，那個範圍是260。最終你會發現，哦，租賃1兆瓦的成本大約是1200萬美元/兆瓦。而且每個晶片都不一樣。因此，我們跟蹤每個晶片，包括其資本支出和網路連線情況。因此，你知道每個晶片是什麼，你可以預測每個晶片，他們將那些晶片放置在那些資料中心，這些資料中心何時上線，每個季度多少兆瓦。然後你會發現，哦，“星門”在這個時間段上線，他們將在此時開始租賃，每個“星門”站點有這麼多晶片，因此，OpenAI必須花費這麼多錢來租賃它。
然後你把那些列印出來，我們就能非常確定地預測甲骨文的收入，而且我們在25、26、27財年的預測與他們公佈的數字幾乎完全一致。我們在28財年的預測也非常接近。讓我們感到驚訝的是，他們在28、29財年宣佈了一些資料中心，我們還沒有找到，但我們肯定會找到的，當然。有點像這種方法可以讓你看到，有點你得到了那些資料中心？多少電力？他們簽署了什麼協議？那些上線時會帶來多少增量收入？這就是我們押注甲骨文的基礎。
顯然，在時事通訊中，我們包含的細節要少得多，但是，有點像那個論點，他們擁有所有這些容量，他們將簽署這些協議。在我們的新聞通訊中，我們討論了兩件主要的事情。我們討論了OpenAI的業務，然後我們討論了字節跳動的業務。並且大概明天，周五，將會宣佈關於TikTok和所有這些事情，但是像字節跳動業務一樣，甲骨文也將向字節跳動租賃大量的資料中心容量，所以我們對字節跳動也採用了相同的方法，字節跳動肯定會付款，因為他們是一家盈利的公司，而OpenAI不是。
所以當你進一步推斷，比如OpenAI是否會在28、29、30年存在時，肯定會有一些誤差範圍。他們是否能夠支付每年800多億美元給甲骨文，這是他們簽約的金額，這是唯一的風險。如果發生這種情況，甲骨文的下行風險也會在一定程度上受到保護，因為他們只簽署了資料中心，這只佔成本的一小部分，GPU才是關鍵。而且GPU是在他們開始租賃前一到兩個季度購買的。所以他們不是，就他們而言，如果他們沒有達成協議，下行風險是很低的，他們不會獲得收入，但也不像是他們被一堆他們購買的毫無價值的資產困住。
Guido Appenzeller: 這是另一個角度嗎？OpenAI和微軟曾經是最好的朋友，現在他們提交了發聲檔案，他們只是想實現多元化，然後這正在將他們推向其他供應商。
迪倫·帕特爾: 所以微軟是獨家計算供應商。它被重新排序為優先購買權，然後微軟拒絕了。是不是最後的選擇之類的？不，仍然是優先購買權，但就像微軟一樣，這兩個並不相互排斥。如果OpenAI說，我們將在未來5年內簽署一份價值800億美元的合同或一份價值3000億美元的合同，你們想要嗎？或者，他們說，不。什麼？好的，酷。
主持人: 就好然後他們去找甲骨文，
迪倫·帕特爾: 然後OpenAI有點這是，OpenAI需要一個有資產負債表的人，才能真正負擔得起，因為，然後他們會賺很多錢，從OpenAI那裡，在利潤上，在計算上，以及基礎設施和所有這些東西上，但是必須有人有資產負債表，而OpenAI沒有資產負債表。甲骨文有。雖然，鑑於他們簽署的規模，我們還有另一個資訊來源，那就是他們在與債務市場談判，因為甲骨文實際上只需要籌集債務來支付隨著時間推移的這麼多GPU。現在，他們不會立即這樣做，比如他們可以用自己的現金支付今年和明年的所有費用，但是像在27、28、29年，他們將開始不得不使用債務來支付這些GPU，這就是CoreWeave所做的事情，以及許多新雲，大部分都是債務融資的。甚至Meta也去為他們在路易斯安那州的巨型資料中心獲得了債務。不是因為，僅僅是因為它比用現金回購股票並獲得債務更便宜，這在財務基礎上更好，因為債務比你的股票回報更便宜。這就像一個金融工程的事情，但誰會出手，可能是亞馬遜，可能是Google，可能是微軟。 這是一個非常短的名單。或者可能是甲骨文或Meta，Meta顯然不會。微軟已經退縮了。亞馬遜、Google和甲骨文，只剩下這些了。
Guido Appenzeller: Google會是一個尷尬的組合，所以。
迪倫·帕特爾: Google會是一個尷尬的組合。亞馬遜會是一個很好的組合，但正是如此，這是一個垂直領域。擬人化的，
“吉瓦時代”的瘋狂建設
Sarah Wang: 我想也許，關於這些巨型資料中心建設的話題，你們剛剛發佈了一篇關於XAI和Colossus 2的文章。你們是否，對於在六個月內建造如此龐然大物的壯舉，感覺沒那麼印象深刻了？或者這對你們來說仍然非常令人印象深刻？
迪倫·帕特爾: 這就是我一直對人工智慧研究人員說的事情，他們像是第一批以數量級規模思考問題的人類。然而，自從工業化以來，人們總是以百分比增長的方式思考問題。在那之前，就像絕對數字一樣，有點人類在思維方式上正在進化，因為事物變化得更快。一切都是大規模的。當GPT-2在如此多的晶片上進行訓練時，這讓人印象深刻，然後GPT-3在此基礎上進行訓練，比如在2萬個100系列GPU上，或者抱歉，GPT-4，2萬個100系列GPU，GPT，有點真是太厲害了。然後哦，10萬個GPU叢集的時代，我們做了一些關於10萬個GPU叢集的報告，但現在好世界上有10個10萬個GPU叢集。我想，這有點無聊。但10萬個GPU超過100兆瓦。現在就像字面上，字面上，在我們的Slack和一些頻道里，哦，我們找到了另一個200兆瓦的資料中心。有人每次都會放一個打哈欠的表情符號。
主持人: 我想，老兄，什麼？好像現在只有建造吉瓦級的資料中心才會讓人興奮。
Sarah Wang: 就像我們處在吉瓦時代，
主持人: 是，
迪倫·帕特爾: 而且我確信，我不確定。也許我們也會開始對那件事感到厭倦。但這個的對數尺度是，資本數字太瘋狂了，這太瘋狂了，以至於OpenAI進行了像1000億美元的交易運行，或者，就像他們進行了一0億美元的交易運行。現在我們在討論100億美元的交易運行，我們用對數尺度來思考這件事很瘋狂，但是，事情只有在它們做到的時候才令人印象深刻，就像埃隆正在做的事情一樣。
所以埃隆在田納西州，在孟菲斯所做的事情，第一次是很瘋狂的，6個月內10萬個GPU。他在24年2月左右買了一家工廠，並在六個月內進行了模型訓練，而且他做了液冷，第一個大規模資料中心以這種規模使用液冷進行人工智慧運算，就像所有這些瘋狂的第一次一樣，把發電機放在外面，像貓的渦輪機一樣，所有這些不同的事情都是為了獲得電力，移動變電站，所有這些不同的瘋狂的事情，挖掘沿工廠運行的天然氣管道，所以他做了這些，我的天那。而且他為10萬個GPU做了這件事，200，300兆瓦，現在他正在做千兆瓦級的，而且他做得一樣快，所以，你會覺得，這顯然比他再做一次更令人印象深刻。但也許我已經麻木了，但就像你給了孩子太多的糖果，
主持人: 現在孩子沒有了，不喜歡蘋果了，
主持人:
迪倫·帕特爾: 所以，一個千兆瓦的資料中心，圍繞他在孟菲斯的設施，有各種抗議活動，人們說，哦，你正在破壞空氣。你預定過孟菲斯那個地區的行程嗎？那裡有一個千兆瓦的燃氣輪機發電廠，為那個地區提供電力。有一個污水處理廠為整個明尼蘇達市，或者抱歉，為整個孟菲斯市提供服務。而且還有像露天礦坑，有露天採礦，就像那裡有各種令人作嘔的垃圾，這是需要的，我們需要這些東西來維持一個國家的運轉，就像要明確一樣。就像人們抱怨幾百兆瓦的空氣一樣，的發電量。所以他受到了來自各色人等的抗議。你對政治方面的事情非常投入，甚至全國有色人種協進會都抗議他，所以他真的讓一些地方市政府覺得，哦，我不喜歡，像這樣。所以他在孟菲斯不能隨心所欲地做那麼多，但他仍然需要資料中心靠近，因為他想用超高頻寬連接這些資料中心，而且距離要非常近。而且他已經在那裡建立了很多基礎設施。
所以他當時又買了一個配送中心。它仍然在孟菲斯，但孟菲斯很酷的一點是它就在密西西比州的邊境對面，所以現在，這就像距離他原來的地方有10英里遠，但是他的設施距離密西西比州只有1英里，而且他在密西西比州買了一個發電廠，並在那裡安裝渦輪機。法規完全不同，如果問題真的是像利用現有資源並快速建設，也許埃隆領先於所有人。他還沒有做出最好的模型，或者他沒有最好的模型，至少今天，我認為。你可以爭辯說Grok 4在一段時間內是最好的，但是，他能夠如此快速地建造這些東西，真是令人驚嘆。對於第一性原理，大多數人都會說，該死，我們不能再在這裡建設電力設施了，我們不能在這裡搞電力了。我想我們必須找到一個新的地點。但不，不，直接越過邊境。
主持人: 去密西西比州。我最喜歡的是，阿肯色州就在那裡。
Guido Appenzeller: 所以如果密西西比州生氣了，法規，所有未來的資料中心，都建在多個州交界的地方，是那個——四角區，
迪倫·帕特爾: 最佳的正則，我覺得，有一個，有了。在美國是否存在有五個州交匯的點？我知道存在四個州交匯的點。四個州在那裡交匯，
主持人: 也許這就是角落資料中心擔憂，好的。
Sarah Wang: 我打算在該地區購買房地產。我讀過了。
硬體新紀元：成本、性能與部署挑戰
Sarah Wang: 好的，我想就可能的新硬體這一話題來說，你有一篇文章分析了GB200的TCO（總擁有成本）。我想代表我們的投資組合公司提出這個問題，聽起來你已經在幫助他們了。但我發現一個非常有趣的結論是，GB200的TCO大約是H100的1.6倍。 顯然，關鍵在於，這算是性能提升的基準，你至少需要達到這種性能提升，才能使性能成本比從轉換中受益。也許可以談談你從性能角度看到的情況，以及你對投資組合公司有什麼建議，可能規模比XAI小，他們正在考慮新的硬體，嘗試得到它。顯然，存在產能限制。
迪倫·帕特爾: 那是一個挑戰，隨著每一代GPU的出現，它變得如此之快，以至於你最終想要新的那一個。而且，在某些指標中，你可以說GB200比上一代快三倍，或者快兩倍。其他指標，你可以說它遠不止這些，所以如果你正在做預訓練而不是推理，它們可以運行一切一會兒，如果你可以運行它一會兒，或者只是推理，並利用巨大的NVLink，NVL72，你可以通過一些方式爭辯說GB200隻比H100快2倍，在這種情況下，總體擁有成本是1.6倍。這，這是值得的，值得升級到下一代。但收益更小。這更像是邊緣性的，沒什麼大不了的。
然後還有其他情況，如果你運行深度探索推理，每個GPU的性能差異就像是超過了6、7倍，並且它會持續最佳化，為了深度探索推理。所以，然後我只多付60%的價格就能獲得6倍的性能。而且這是每美元4倍或3倍的性能提升。當然，如果你正在運行深度探索的推理，那也可以包括強化學習（RL），
所以問題是，然後另一個問題是，GPU是新的。還有B200。有GB200，有B200。從硬體角度來B200要簡單得多。它只是在一個盒子裡的8個GPU。所以性能提升就沒有那麼大了，尤其是在推理方面。但是你擁有所有的穩定性，這是一個8個GPU的盒子。它不會不可靠。GB200仍然面臨一些可靠性挑戰。這些問題正在被解決。情況每天都在變得越來越好，但仍然是一個挑戰。
但是，當你有一個GB，當你有一個H100，盒子，或者H200，8個GPU，其中一個出現故障，你會讓整個伺服器離線，你必須修復它，所以通常如果你的雲服務很好，他們會把它換掉，但是如果是GB200，如果其中一個出現故障，你現在要如何處理72個GPU？你是否要拆掉整個東西，然後獲得一個新的72個？故障的爆炸半徑，注意，GPU的故障率充其量是相同的，而且可能更糟，一代又一代，因為一切都在變得更熱、更快等等。所以充其量，故障率是相同的。即使你將故障率建模為完全相同，因為你從八分之一變成了七十二分之一，這是一個巨大的問題。
所以現在很多人正在做的是，他們在其中的64個GPU上運行高優先順序工作負載，然後在另外8個GPU上運行低優先順序工作負載，這就好這是一個整體的基礎設施挑戰，比如我必須有高優先順序工作負載，我必須有低優先順序工作負載。當高優先順序工作負載發生故障時，你不必使整個機架離線，只需從低優先順序工作負載中取出一些GPU，將其放入高優先順序工作負載中，然後讓死掉的GPU放在那裡，直到稍後維修機架。
主持人: 這所有這些複雜的基礎設施問題使得，哦等等，實際上預訓練中3倍或2倍的性能提升降低了，因為停機時間更長，或者我並非總是使用所有GPU，或者我沒有足夠的智能或我沒有資訊來擁有低優先順序和高優先順序工作負載。
迪倫·帕特爾: 這並非不可能。實驗室正在這樣做，
Guido Appenzeller: 只是……如果我運行一個雲服務，這實際上非常困難，因為我可能必須租用那個位置，比如從現貨實例中拿出備用資源之類的。
迪倫·帕特爾: 不，不，因為它是一個連貫的域。這是NVLink。 你不希望任何人觸碰它。所以必須是最終客戶。你不必把它們留作空備用資源，那樣更糟糕。不，最終客戶通常只會說，我想要它們，並且我會...並且服務水平協議（SLA）和定價，一切都為此負責，所以通常當你擁有一個雲時，你會有一個SLA，也就是說，它將是正常執行階段間，它將是99％，等等等等，在此期間。對於GB200，64個GPU的可用率是99%，而不是72個。然後72個GPU的可用率大約是95%。現在每個雲平台的情況都不一樣。每個雲平台都有不同的服務等級協議（SLA）。 明白了，但他們已經對此進行了調整，因為他們覺得，你這個硬體就是這麼不穩定。你還想要嗎？我們會給你補償，前提是其中64個GPU始終能工作，而不是72個。因此，這裡存在這種不穩定的特性，最終客戶必須能夠處理這種不可靠性。最終客戶可以繼續使用B200，性能遊戲沒那麼多。你想要72域名的全部原因是為了能夠獲得其中的一些收益。對。但你必須足夠聰明才能做到。這對小公司來說是具有挑戰性的。完全是。所以...
Guido Appenzeller: 他們剛剛發佈了Rubin預填充卡，就像CTX或CPX？CPX，就是那個。你對此有什麼看法？它會自相蠶食嗎？
迪倫·帕特爾: 夥計，順便說一句，我不知道這是否像腦死亡或者什麼，但我不記得我昨天午餐吃了什麼，但我知道每個該死的晶片的型號。
Sarah Wang: 就像...在你的夢裡追逐你。
迪倫·帕特爾: 我們已經崩潰了。我們已經崩潰了。
Guido Appenzeller: 活在夢裡。不，不。你知道嗎……
迪倫·帕特爾: 為什麼你要預先宣佈一個在某些用例中速度快5倍的產品？
Guido Appenzeller: 有那麼多嗎？哦，我想這取決於他們，
迪倫·帕特爾: 歷史上人工智慧晶片就是人工智慧晶片，然後我們開始聽到很多人說，這是個訓練晶片。這是一個推理晶片。實際上，訓練和推理在它們的需求方面切換得如此之快，以至於現在它們就像還是一個晶片。實際上，仍然存在工作負載等級的差異，但主要的工作負載是推理，即使在訓練中也是如此，這是因為強化學習（RL）。其中大部分是在環境中生成事物並嘗試獲得獎勵，所以這仍然是推理，訓練現在也變得主要由推理主導。
但是推理有兩個主要操作，一個是計算預填充的KV快取，這裡有所有這些文件，對它們之間進行注意力計算，在所有token之間，無論你使用什麼類型的注意力。然後是解碼，它是自動激進地生成每個token。這些是非常、非常不同的工作負載。因此，最初的想法或基礎設施技術，機器學習系統技術是，哦，我會讓每個正向傳遞的批次大小都這麼大。而且，如果我把它做成，我們稱之為，我把它做成1000那麼大。也許我會同時運行32個使用者。這樣，現在我仍然有，還剩下900多個，960個，這960個實際上是在進行預填充，如果如果進來一個請求，它會將其分塊。這被稱為分塊預填充。你預填充它的塊。現在你在GPU上獲得了非常好的利用率。但是，這最終會影響解碼工作者，那些自發地積極生成每個token的人，其交易處理速度（TPS）會比較慢。而每秒token數對於使用者體驗和所有其他事情來說都非常重要，
所以想法就是，好，這兩種工作負載如此不同，而且它們實際上就是不同的，你預填充，然後你解碼。這不像你在交錯進行它們。那麼我們為什麼不完全分離它們呢？這是在同類型的晶片上完成的，OpenAI、Anthropic、Google。幾乎所有人都這麼做。所有人，所有人都這麼做。所有人，他們都是真正的大佬。Together、Fireworks，所有這些人都進行預填充解碼，分離的預填充解碼。所以他們在一組GPU上運行預填充，在另一組GPU上解碼。為什麼這有好處？因為你可以自動擴展它們，你可以，突然間我有了更多長上下文工作者。我為預填充分配更多資源。哦，突然間我有了，不是突然間，而是，隨著時間的推移，我的流量組合不是長輸入，短輸出。而是短輸入，長輸出。我有更多解碼工作者。這樣我可以保證，所以現在我可以以不同的方式自動擴展資源。而且我還可以保證我的預填充時間，在搜尋中真正重要的是你讓頁面開始載入的速度有多快，而不是資源何時發生？人們在遊戲中做什麼？就像載入介面通常會有某種互動環境，或者它會隨著時間的推移而融入，或者其他什麼。它有提示和技巧，可以分散你的注意力。
同樣的情況是，有一些研究和論文表明，使用者更喜歡更快的首個令牌時間，首個令牌更快地流式傳輸給我，即使獲取所有令牌的總時間稍微長一些。反正他們也讀不了那麼快，所以。
Guido Appenzeller: 我喜歡瀏覽。大多數模型返回的速度都接近速讀的速度。
迪倫·帕特爾: 但你需要那個，但是，重點是你想保證首個令牌時間達到一定的水平，因為使用者體驗的原因。否則人們會覺得，去他的，不用AI了。解碼速度也很重要，但不如首個令牌時間那麼重要。因此通過擁有單獨的預填充解碼，你就做了這個，但現在你已經，而且這一切都在相同的架構中，你已經完成了這個。所以現在下一步合乎邏輯的步驟是什麼？這些工作負載非常不同。對於解碼，你必須載入所有參數和 KV 快取才能生成單個令牌。你可以將幾個使用者組合在一起進行批處理，但很快你就會耗盡記憶體容量或記憶體頻寬，因為每個人的 KV 快取都不同。所有令牌的注意力，然而在預填充時，我甚至可以一次只服務一兩個使用者，因為如果他們向我傳送 64000 個上下文請求，那將是非常多的浮點運算，64000 個上下文請求。我將使用 Llama 70B，因為它很容易進行數學運算，比如 700 億個參數。那是每token 140 gigaflops，乘以 64000。那是很多很多的teraflops。你可以像一秒鐘一樣使用整個GPU，像是潛在地，取決於GPU來完成預填充，而這只是一個正向傳遞。所以我我不一定關心，快速載入KV快取中的所有token或所有參數。我只關心所有的flops。
所以這引導我們去瞭解，我不得不，我認為這是一個冗長的解釋，因為人們很難理解CPX是什麼。我有很多這樣的情況，甚至是我自己的客戶，我們設定了很多注意事項，比如解釋，但他們還是說，我仍然不明白。我當時就想，靠，好吧。
Guido Appenzeller: 所以注意力就是你所需要的，論文。你不能指望，想想一個搞人脈的人。比如他們會說，我不需要，我不需要瞭解這個。注意力就是你所需要的，或者想想一個投資者，只有一些人，資料中心營運商，比如他們會說，哦，有兩個晶片。我為什麼要以不同的方式建造我的資料中心？我得解釋一切，或者直接說，不，你不需要以不同的方式建造。但無論如何，你會知道的。在史丹佛，至少25%的學生，不是電腦科學專業的學生，而是所有學生，都讀過那篇論文。讀過那篇論文？注意力是你所需要的一切。這太低了。他們主修專業，而你不喜歡那種哲學。我覺得這很神奇。
迪倫·帕特爾: 總之，抱歉。中東地區，我不記得是那個國家了，從大約8歲開始就進行人工智慧教育，並且在高中，他們必須閱讀《注意力是你所需要的一切》。
Guido Appenzeller: 哇。有人告訴我他們說他們不得不閱讀《注意力是你所需要的一切》。
主持人: 這，自上而下的教育指令。也許它們有效，也許無效。也許人們喜歡在家教育他們的孩子。
迪倫·帕特爾: 我上的是公立學校，但回到你的讀者。
Sarah Wang: 僅就硬體周期而言，我想也許，抱歉，我實際上沒有解釋CPX是什麼。
迪倫·帕特爾: 所以CPX是一個非常像計算最佳化的晶片，而對於預填充和解碼，簡單來說就像其餘的是帶有HBM的普通晶片。HBM佔GPU成本的一半以上。如果你剝離掉這一點，你最終會得到一個傳遞給客戶的更便宜的晶片。所以，或者如果輝達採取同樣的利潤率，那麼這個預填充晶片的成本就會低得多。現在整個過程更便宜，更有效率。現在可以採用長上下文了。好的。
Sarah Wang: 我很高興我們實際上要深入探討所有這些細節，因為我有一個更宏觀的問題想問你，那就是，我沒有像你那樣密切關注SEBI市場。我大概是從A100開始的。我記得在2023年6月的夏天，我在Character公司幫助Gnome追尋GPU。那時唯一重要的是交貨日期，因為存在巨大的產能危機。然後看到過去兩年裡，情況發生了變化，在6到12個月前，人們都在對20個Neo雲進行招標，在某種程度上，唯一重要的是價格。
迪倫·帕特爾: 人們真的會為GPU進行招標嗎？所以，需要澄清一下，我對你如何購買GPU的看法是，這就像購買可卡因或任何其他毒品一樣。這是別人告訴我的，不是我。我不買可卡因。好的，太棒了。所以有人告訴我這個。有人告訴我這個，我就想，我的天，說得對。你給幾個人打電話，你給幾個人發簡訊，你問，喲，你手頭有多少？什麼價格？
這就像——這他媽的就像買毒品。哦，對不起，對不起。
Sarah Wang: 不，非常準確。
迪倫·帕特爾: 就是這樣。你只要傳送，我們有Slack連接了大約30個Neo雲，以及一些主要的雲。然後我們就給他們發消息，客戶想要這麼多。這就是他們想要的。然後他們就傳送報價。我認識這個人。
Sarah Wang: 我認識一個人。所以我認為這實際上是一個非常準確的描述，而且我傳送了無數的連接埠程式碼，你的ClusterMax原始帖子，因為我認為它在分解這些方面做得非常好。但對我來說，最後要問的一個問題是，隨著Blackwell的上線，我們現在處於什麼時代？我們是否有點回到了2023年夏天？這就是我們剛剛進入的周期嗎？你對我們所處的位置有什麼看法？
迪倫·帕特爾: 所以——這是個非常好的問題。對於你們的一個連接埠程式碼，我們當時在他們與亞馬遜出現困難之後，我們試圖，我們當時想，讓我們實際上讓你使用我們當初為你爭取到的那些划算的交易。但是，這裡還有一些其他的交易，事實證明，多個主要的Neo雲的Hopper容量已經售罄。而他們的Blackwell容量將在幾個月後上線。所以這有點挑戰，
主持人: 在於——由於推理？
迪倫·帕特爾: 推理需求今年一直在飛速增長，推理模型，這些推理模型就是收入。今年一直在飛速增長。還有，Blackwell 上線了，但是很難部署。所以需要一點時間，部署它有一個學習曲線。因此，你買了 Hopper，你安裝了資料中心，它會在一兩個月內運行起來，對於 Blackwell 來說，時間會更長，因為存在可靠性挑戰。這是一個新的 GPU。這只是學習陣痛，學習，成長的煩惱。
所以存在著這樣的差距，即有多少 GPU 正在進入市場，因為收入開始發生轉變。所以大量的產能就被吸走了，實際上，Hopper的價格在大約三四個月前，或者說五六個月前觸底。實際上，它們現在已經稍微上漲了一點。它們仍然不是，所以我不認為我們正處於2023、2024年GPU緊張的時代。但當然，如果你想要，如果你只想要幾個GPU，那就很容易。但如果你想要很多，那就很難，就像你不能立即獲得產能。
主持人: 哇，真是個時代。
主持人: 我們要結束這次談話了嗎？迪倫，這又是另一部即時經典。非常感謝你來參加播客。這就像兩個小時，老兄，我都錯過了。我們不能，我停不下來。非常感謝。這太棒了。
迪倫·帕特爾: 非常感謝邀請我。謝謝你。 (Web3天空之城)