在談到AI、大模型、算力等關鍵字時，如果要提及硬體產品，很多人應該會不假思索的說出輝達。

一位華爾街分析師曾如此評論到：

人工智慧領域正在進行一場戰爭，而輝達是唯一的軍火商。

的確，在AI 時代下，輝達的地位是獨特又難以撼動的。但現在，有一位勇者準備正式挑戰這個局面。

2022 年，Gavin Uberti 和Chris Zhu 創立了Etched.ai。他們從一開始就獲得了包括Ebay 前CEO Devin Wenig 在內的536 萬美元的種子輪投資。

在剛剛宣布融資1.2 億美元後，Etched 又發布了目前的最快的AI 晶片—— Sohu。

此Sohu 非彼搜狐，它號稱可以在毫秒級別的時間裡處理數千個單字。每秒能處理超過50 萬個tokens，運行Llama 70B 模型。

什麼概念呢？這就相當於可以在兩秒鐘內寫完《聖經》，或是一年寫15 兆個tokens。

根據Etched 官網介紹，Sohu 在硬體層面上整合了Transformer 架構，是第一個專為Transformer 模型設計的專用晶片（ASIC）。

正是這種專用性，為Sohu 帶來了效能的巨大提升。相較於輝達H100，Sohu 的推理速度相提升了8 至10 倍。

搭載八片Sohu 晶片的伺服器，可以取代整整160 個輝達H100 GPU。

對於程式場景，Sohu 可以透過蒙特卡羅樹搜索，並行相應數百個結果，給出最優秀的答案。

無論是語音助理還是智慧客服，Sohu 都能做到在幾毫秒內分析數千個單字。

並且Sohu 還支援多重推測解碼，可以以極快的速度即時生成新的內容。

作為全球首款Transformer 專用積體電路（ASIC）晶片，每張Sohu 晶片只有一個核心，使用了台積電4nm 製造工藝，並配有144GB HBM3E 高頻寬記憶體。

相較於輝達的下一代Blackwell（B200）GPU，Sohu 的速度提高了一個量級，價格也會更便宜。

短短兩年時間，Etched 從零開始成長到現在這番模樣，實在是一個「奇蹟」。

Chris Zhu 是一名華裔，他和Gavin Uberti 一起創立了Etched，兩人也都有著豐富的背景。

Gavin Uberti 和Chris Zhu 都曾就讀哈佛大學，度過了一段大學部生活。後來出於一些原因，他們選擇休學一年，並在OctoAI 找到了一份實習工作。

當時兩人的工作內容，主要是負責ApacheTVM 開源編譯器和微內核開發。但在實習時，他們發現Arm 的指示集中的一些設計十分低效，使得他們的工作效率很差。

Gavin Uberti 說到：「這個問題無法解決，每次工作時我都得面對這個問題，這讓我和Chris 覺得我們必須做得更好。」

在思考如何解決這個問題時，他們突然發現可以利用這個想法來設計一款AI 加速晶片。

於是兩人便選擇了從哈佛輟學，創辦了一家專注於LLM 的AI 晶片新創公司—— Etched。

在Gavin Uberti 看來，通用公版設計無法帶來獲得突破性的效能提升，所以他們才研發Transformer 架構下的專用加速晶片。

必須在單一架構上下大力氣，讓晶片處理AI任務，目標太大了，必須要針對更具體的任務來設計晶片......我們認為輝達最終會這麼做。

目前主流的AI 產品如ChatGPT、Claude、Gemini 和Sora 等，都是以Transformer 架構驅動的。

作為全球首款Transformer ASIC 晶片，再配上如此亮眼的成績，Etched 自然也是吸引了一大波關注。

6 月25 日，Etched 宣布完成1.2 億美元的A 輪融資。這次融資由紐約創投機構Primary Venture Partners 和Positive Sum Ventures 共同領投。

其天使投資人陣容也十分強大，包括創投家Peter Thiel、GitHub 執行長Thomas Dohmke、自動駕駛公司Cruise 的共同創辦人Kyle Vogt， 以及Quora 的共同創辦人Charlie Cheever，

在2022 年創立之初，Etched 就看中了Transformer將會佔據主導地位的未來。 Gavin Uberti 表示，「我們在人工智慧領域下最大的賭注。」

如果我們賭對了，Sohu 將改變世界。這就是我們敢於下注的原因。(APPSO)

輝達最近真是一波未平一波又起，剛剛扭轉了三天股價下跌4300億美元的勢頭，又被行業初創公司給盯上了，可謂是打江山容易，守江山難。

6月25日，Etched.ai公司宣布已完成1.2億美元的融資，將向Nvidia最引以為傲的AI晶片設計發起挑戰。

在當今這個由數據驅動的時代，人工智慧（AI）晶片無疑地站在了科技革命的前沿。它是智慧演算法的心臟，為機器學習、影像辨識、自然語言處理等提供了強大的運算支援。

在這樣的大背景下，三位哈佛輟學生Robert Wachen、Gavin Uberti和Chris Zhu，帶著對科技的熱愛和對創新的追求，投身於AI晶片產業，開啟了他們的創業之旅—— Etched。

其中，作為公司最早的兩名創辦人之一的Gavin Uberti，曾在OctoML和Xnor.ai擔任要職，累積了豐富的行業知識和經驗。

而另一位華裔創辦人Chris Zhu，除了在哈佛大學擔任過電腦科學的教學研究員外，還有在亞馬遜等公司的實習經歷，這些經歷讓他對科技的商業應用有了深刻的理解。

豐富的科技履歷加上哈佛大學做背書的頂尖學習能力，讓他們有了更高的眼界和更敏銳的意識，在2022年三人就打賭Transformer大模型將統治世界。

因此，他們將所有的精力都用來打造世界上第一個針對Transformer（即ChatGPT中的T）的專用晶片—— Sohu。

談到AI晶片，輝達的名字是繞不開的話題。憑藉其在圖形處理單元（GPU）領域的深厚積累，輝達在AI晶片市場佔據了舉足輕重的地位。

其產品不僅廣泛應用於遊戲和圖形設計，更在AI訓練和推理任務中展現出卓越的表現。

但正是這樣，Etched放出的狠話，“就Transformer而言，Sohu是有史以來最快的芯片，沒有任何芯片能與之匹敵”，才讓他們的這次融資備受矚目。

那麼市面上有著如此多的AI模型，包括DLRM、Stable Diffusion等老牌強者，為什麼Etched一定要做Transformer的專用晶片呢？

在Transformer發力以前，許多公司都有著自己的大模型架構，而從GPT-2誕生開始一直到今天，所有大型科技公司（OpenAI、Google、亞馬遜、微軟、Facebook等）都開始使用Transformer模型。

Transformer由Google研究團隊於2017年提出，它的功能強大、實用且利潤豐厚。

市面上耳熟能詳的OpenAI 的GPT系列、Google的PaLM、Facebook的LLaMa，甚至Tesla的FSD都是Transformer架構。

這證明了Chris Zhu等人確實有著先見之明，也讓這場「賭局」的情況似乎變得明朗起來，因此他們對輝達發出的挑戰才會得到眾多業內人士的關注。

隨著Etched.ai技術的不斷成熟，它有望成為AI晶片產業的一股不可小覷的新興勢力，並且能為產業的發展注入了新的活力。

不過，Transformer並不是不可取代，目前依然還有SSM、RWKV等多個新架構正在被研究，Etched表示：「一旦Transformer被任何新架構取代，我們的Sohu晶片將毫無用處，但如果我們猜對了，Sohu將改變世界！

創辦人Uberti則更有信心：「發明了一種比 Transformer 更好的新架構成本非常高，並且這種情況十年內只會發生一兩次，就像半導體領域發生的那樣：光刻技術、掩模版/晶圓尺寸和光阻成分的變化確實在不斷優化，但變化速度非常緩慢。

要知道Etched的信心從何而來，他們一直宣傳的Sohu晶片就是關鍵。

在Etched看來，目前市場上流行的AI晶片，特別是輝達的GPU，它們的晶片單位面積的運算能力(TFLOPS) 幾乎保持不變。

也就是說，如今的AI顯示卡的能力提升，靠的是物理上的堆疊，例如NVIDIA的B200、AMD的MI300、Intel的Gaudi 3和亞馬遜的Trainium2都是將兩塊晶片算作一張卡，來實現所謂的「雙倍」性能，總給人一種力大磚飛的感覺。

而Etched.ai的Sohu晶片採用了尖端的4nm製程技術，這項製程使得晶片在單位面積上整合了更多的電晶體，從而大大提升了晶片的運算密度和能效比，顯著降低了能耗。

並且，Sohu晶片的核心優勢在於其專為Transformer模型優化的設計，在Transformer被用來處理的自然語言處理和圖像識別等方面擁有傳統GPU無法比擬的計算速度。

根據Etched官方發布的數據，一台8 x Sohu伺服器可以取代160 個H100 GPU，一台8 x Sohu 伺服器每秒可以處理超過500,000個Llama 70B代幣。

與市場上的傳統GPU相比，Sohu晶片展現了其高吞吐量和低延遲特性。這些特性使得Sohu在AI模型的推理和訓練任務中，擁有卓越的處理速度和能效。

這種性能上的優勢，使得Sohu晶片在未來AI晶片市場中能夠佔據一個獨特的位置，為那些尋求高性能、高效率AI解決方案的客戶提供新的選擇。

在這種背景下，Etched.ai被眾多投資人所看好。

由Primary Venture Partners和Positive Sum Ventures等知名創投公司領投，公司自成立以來，已經完成了幾輪融資，這次1.2億美元的融資也吸引了包括Peter Thiel、Github CEO Thomas Dohmke以及Coinbase前CTO Balaji Srinivasan在內的一系列知名天使投資者。

他們的加入進一步增強了Etched的信譽和市場影響力，也為公司的研發和市場推廣提供了足夠的資金支持。

值得一提的是，市場對Sohu晶片的預期非常高，目前Etched收到的預訂單的數額已經達到了數千萬美元，這對公司的創始人們來說無疑是一劑強心針。

Etched也在一篇文章中指出，目前AI晶片市場的需求已經達到前所未有的水平， Transformer的市場價值也從最開始不到5000萬美元，到如今已超過50億美元。

在創辦人的透露下，Etched.ai的市場策略非常明確，公司專注於為那些對AI運算效能有極高要求的客戶提供服務，包括大型科技公司、雲端運算服務供應商、AI研究實驗室以及需要進行大規模資料處理的企業。

Etched.ai將透過深入了解這些客戶的需求，不斷優化Sohu晶片的效能，確保其能夠滿足客戶在處理速度、能耗效率和成本效益方面的要求。

此外，公司也積極建構生態系統，與軟體開發商、雲端服務供應商和其他硬體製造商建立合作夥伴關係。

這種開放合作的策略，不僅能夠在未來加速Sohu晶片技術的推廣和應用，也能夠幫助Etched.ai更能理解市場動態，以快速回應客戶的需求。

在他們的預想下，Etched 預計將在2024 年第三季將其Sohu AI晶片推向市場，初步計劃是向主要雲端供應商銷售。

用Uberti的話來說：“我們把賭注押在了Transformer和Sohu上，這兩者都正在成為現實。”


Etched將成為世界上最大的公司之一

可以預見的是，Etched.ai的崛起的確會對輝達構成一定的挑戰。

長久以來，輝達憑藉其GPU在AI晶片市場中佔據主導地位，而這次Sohu晶片的高性能特性，正逐步吸引產業的目光。

Uberti更是大膽表示：“如果我們打賭真的成功，Etched 將成為世界上最大的公司之一”

不過他們也很清醒的知道，Sohu在大多數工作狀態下都無法擊敗GPU，因為它連Stable Diffusion都不支持，但在Transformer推理領域，Sohu將一舉清空市場，成為新一代獨屬於Transformer的ASIC王者。

從整個AI晶片市場來看， Etched.ai打造出的Sohu晶片，不僅是對輝達的挑戰，更是在整個AI晶片產業技術進步的縮影。

Sohu晶片的推出，將激發業界對更有效率AI運算解決方案的探索與創新。這種創新的推動力，自然也會加速AI晶片技術的發展。

正如當今半導體產業兩大龍頭企業（三星、台積電）已經開始下一輪技術內捲，這也意味著晶片產業的發展又一次開上了快車道。

展望未來，Etched.ai和Sohu晶片的發展前景充滿希望，但也伴隨著許多挑戰。

技術的不斷進步和市場需求的不斷變化，要求Etched.ai持續進行研發投入和創新。

同時，輝達等老牌強者可不是坐以待斃的風格，Etched.a i的專業晶片理念一旦被市場所認可，怎樣在擁有更大技術和供應鏈優勢的強力對手面前活下來，Etched.ai任重而道遠。

總的來看，Etched.ai和三位創辦人的故事，是對全球科技競爭中創業者精神的生動詮釋，也是一條充滿挑戰與機遇的旅程，其背後同樣代表著AI技術也在高速發展。

而隨著全球科技競爭日益激烈，他們的未來到底如何，是真的變成科技巨頭公司還是變成哈佛輟學生創業的新談資？或許要不了幾年就會有答案。(環球科技局)

6月27日消息，晶片初創公司Etched近日宣佈推出了一款針對 Transformer架構專用的AISC晶片 “Sohu”，並聲稱其在AI大語言模型（LLM）推理性能方面擊敗了輝達（NVIDIA）最新的B200 GPU，AI性能達到了H100的20倍。這也意味著Sohu晶片將可以大幅降低現有AI資料中心的採購成本和安裝成本。

目前，Etched公司已就其Sohu晶片的生產與台積電4nm工藝展開直接合作，並且已從頂級供應商處獲得足夠的 HBM 和伺服器供應，以快速提高第一年的生產能力。一些早期客戶已經向Etched公司預訂了數千萬美元的硬體。

一、AI性能超過輝達H100的20倍，是如何做到的？

據Etched公司介紹，Sohu是世界上第一個基於Transformer架構的ASIC。

根據Etched公司披露的資料顯示，一台配備了8顆Sohu晶片的伺服器每秒可以處理超過 500,000 個 Llama 70B Token，達到了同樣配備8張輝達H100 GPU加速卡的伺服器的20倍。同樣，也遠遠超過了配備8張輝達最新的B200 GPU加速卡的伺服器約10倍。

△基準測試針對的是 FP8 精度的 Llama-3 70B：無稀疏性、8x 模型平行、2048 輸入/128 輸出長度。使用 TensorRT-LLM 0.10.08（最新版本）計算的 8xH100，8xGB200 的數字是估算的。

Etched公司表示，Sohu速度比輝達的最新一代Blackwell架構的B200 GPU還要快一個數量級，而且價格更便宜。可以幫助客戶建構 GPU 無法實現的產品。

不過，這裡還是要強調以下，雖然Sohu的AI性能要比輝達GPU更好，但這是有一個前提的，因為Sohu是專為基於Transformer架構的大模型定製的，所以其也僅支援基於Transformer架構的大模型加速。

“通過將Transformer架構整合到我們的晶片中，雖然無法運行大多數傳統的 AI 模型，比如為 Instagram 廣告提供支援的 DLRM、像 AlphaFold 2 這樣的蛋白質摺疊模型、像 Stable Diffusion 2 這樣的舊的圖像模型，以及CNN、RNN 或 LSTM等模型，但是針對基於Transformer架構的大模型，Sohu將是有史以來最快的AI晶片，沒有那個晶片能夠與之匹敵。”Etched公司說道。

由於Sohu只運行Transformer這一種類型的演算法，因此可以刪除絕大多數控制流邏輯，從而擁有更多數學計算邏輯。因此，Sohu的 FLOPS 利用率超過 90%（而使用 TRT-LLM 的GPU上 FLOPS 利用率約為 30%）。

雖然輝達H200 擁有 989 TFLOPS 的 FP16/BF16 計算能力（無稀疏性），這無疑是非常強大的，甚至比Google的新 Trillium 晶片還要好。但輝達已經發佈的B200的計算能力僅高出25%（每個晶片 1,250 TFLOPS）。這是由於 GPU 的絕大部分區域都用於可程式設計性，因此專注於 Transformer 可以讓晶片進行更多的計算。

比如，建構單個 FP16/BF16/FP8 乘加電路需要 10,000 個電晶體，這是所有矩陣數學的基石。輝達H100 SXM 有 528 個張量核心，每個都有4 × 8 × 16FMA 電路。因此，輝達H100 有 27 億個專用於張量核心的電晶體。但是 H100 擁有 800 億個電晶體！這意味著 H100 GPU 上只有 3.3% 的電晶體用於矩陣乘法！

這是輝達和其他靈活的 AI 晶片經過深思熟慮的設計決定的。如果想要支援所有類型的模型（比如CNN、LSTM、SSM 等），那麼沒有比這更好的設計了。

而Etched公司的Sohu晶片僅支援運行Transformer架構的AI大模型，這使得其可以在晶片上安裝更多的 FLOPS，且無需降低精度或稀疏性。

通常來說，AI推理會受到記憶體頻寬的限制，計算的限制相對較小。但是事實上，對於像Llama-3這樣的現代模型來說，需要更高的計算力來提升頻寬的利用率。

如果使用輝達和 AMD 的標準基準：2048 個輸入標記和 128 個輸出標記。大多數 AI 產品的提示比完成時間長得多（即使是新的 Claude 聊天應用在系統提示中也有 1,000 多個標記）。

在 GPU 和Sohu上，推理是分批運行的。每個批次載入一次所有模型權重，並在批次中的每個標記中重複使用它們。通常，大語言模型輸入是計算密集型的，而輸出是記憶體密集型的。當我們將輸入和輸出標記與連續批處理相結合時，工作負載變得非常計算密集型。

以下是大語言模型連續批處理的示例。這裡我們運行具有四個輸入標記和四個輸出標記的序列；每種顏色都是不同的序列。

我們可以擴展同樣的技巧來運行具有 2048 個輸入標記和 128 個輸出標記的 Llama-3-70B。讓每個批次包含一個序列的 2048 個輸入標記和 127 個不同序列的 127 個輸出標記。

如果我們這樣做，每個批次將需要大約(2048 + 127) × 70B params × 2 bytes per param = 304 TFLOPs，而只需要載入70B params × 2 bytes per param = 140 GB模型權重和大約127 × 64 × 8 × 128 × (2048 + 127) × 2 × 2 = 72GBKV快取權重。這比記憶體頻寬要多得多。輝達H200需要6.8 PFLOPS的計算才能最大限度地利用其記憶體頻寬。這是在100%的利用率下——如果利用率為30%，將需要3倍的計算量。

由於Sohu擁有如此之多的計算能力且利用率極高，因此可以運行巨大的吞吐量而不會出現記憶體頻寬瓶頸。

在 GPU 和 TPU 上，通常軟體開發是一場噩夢。處理任意 CUDA 和 PyTorch 程式碼需要極其複雜的編譯器。第三方 AI 晶片（AMD、英特爾、AWS 等）在軟體上總共花費了數十億美元，但收效甚微。

但由於Etched公司的Sohu只運行Transformers，因此開發人員只需要為 Transformer 編寫軟體！

大多數運行開源或內部模型的公司都使用特定於 Transformer 的推理庫，如 TensorRT-LLM、vLLM 或 HuggingFace 的 TGI。這些框架非常僵化 ——雖然你可以調整模型超參數，但實際上不支援更改底層模型程式碼。但這沒關係，因為所有 Transformer 模型都非常相似（甚至是文字/圖像/視訊模型），調整超參數就是你真正需要的。

雖然這支援了 95% 的 AI 公司，但最大的 AI 實驗室還是採用定製化。他們有工程師團隊手動調整 GPU 核心以擠出更多的利用率，逆向工程哪些暫存器對每個張量核心的延遲最低。

Etched公司表示，“有了Sohu，您不再需要進行逆向工程。因為我們的軟體（從驅動程式到核心再到服務堆疊）都將是開放原始碼的。如果您想實現自訂轉換器層，您的核心嚮導可以自由地這樣做。”

對於目前的AI基礎市場營運商來說，輝達的AI GPU是最為高昂的一項投資，其H100 80G版本的價格高達3萬美元，即便是便宜的英特爾Gaudi 3 的價格也要15,650美元左右。

現在一座大型的AI資料中心的建設已經達到了數百億美元，甚至傳聞微軟和OpenAI正計畫推出被稱為“星際之門”（Stargate）的AI超級電腦，用來為OpenAI提供更強的算力支援，該項目的總成本或將超過1150億美元。顯然，這當中輝達AI GPU將會佔據相當大的一部分成本。並且這些高能耗的GPU還將會帶來龐大的能源供應支出（按照現有的發展速度，很多地區的能源供應已經不足以支撐大型AI資料中心的建設）互聯支出和散熱支出。

如果一顆Etched的Sohu晶片就能夠代替20顆輝達H100晶片，那麼這無疑將會帶來巨大的採購及建設成本和營運成本的降低。

二、專用晶片替代GPU已不可避免

在Etched看來，近年來雖然GPU性能得到了增長，但是實際上並沒有變得更好，因為主要是通過更先進的製程工藝以及更大的晶片面積來實現的。近四年來，GPU晶片單位面積的計算能力 (TFLOPS) 幾乎保持不變。比如輝達的GB200、AMD的MI300、英特爾的Gaudi 3 和亞馬遜的Trainium2 幾乎都將兩塊晶片算作稱一張加速卡，以實現“雙倍”性能。

面對越來越龐大的大語言模型對於AI算力需求的快速增長，GPU晶片在摩爾定律放緩以及單位面積AI算力提升放緩的背景之下，已經難以滿足需求，因此提高性能的唯一方法就是採用專用晶片。

Etched公司指出，在Transformer架構的模型統治世界之前，許多公司都建構了靈活的 AI 晶片和 GPU 來處理數百種不同的演算法模型。比如：輝達的GPU、Google的TPU、亞馬遜的 Trainium、AMD的MI系列加速器、英特爾的Gaudi加速器、Graphcore 的 IPU、SambaNova SN 系列晶片、Cerebras的CS系列晶圓級AI晶片、Groq的GroqNode、Tenstorrent 的 Grayskull、D-Matrix 的 Corsair、寒武紀的思源等。

但是幾乎沒有廠商製造過專門針對Transformer架構演算法的專用 AI 晶片 (ASIC)。因為一個晶片項目至少將花費 5000 萬到 1 億美元，需要數年時間才能投入生產。如果真的一個特定演算法模型推出專用的AI晶片，很可能在這期間由於新的更優秀演算法架構出現，而使得原來的專用的AI晶片不再有效，這將會沒有市場。

但是現在情況變了，Transformer 架構的演算法模型市場規模正在迅速增長。在 ChatGPT 出現之前，Transformer 推理的市場規模約為 5000 萬美元，而現在已達到數十億美元。所有大型科技公司都使用 Transformer 架構的模型，比如OpenAI、Google、亞馬遜、微軟、Meta 等。

另外，AI演算法經過多年的發展，已經開始出現架構上的融合趨勢。AI模型過去發展很快，因此可能每個幾個月就會有新的AI模型出來。但是自GPT-2以來，最先進的模型架構幾乎保持不變，不論是OpenAI 的 GPT 系列、Google 的 PaLM、Facebook 的 LLaMa，甚至 Tesla FSD 都是基於Transformer架構。

△基於Transformer架構的模型驚人地相似。諸如 SwiGLU 啟動和 RoPE 編碼之類的調整被廣泛應用於LLM、嵌入模型、圖像修復和視訊生成。

△雖然 GPT-2 和 Llama-3 是相隔五年的最先進的 (SoTA) 模型，但它們的架構幾乎相同，唯一的主要區別是規模。

在此背景之下，如果演算法模型架構開始趨於穩定，那麼想要進一步提升算力，專擁的ASIC晶片將會是很好的選擇。特別是在目前基於GPU的AI訓練和推理基礎設施成本超過100億美元時，這樣高昂的成本的壓力之下，專用的AISC是不可避免的，因為1%的改進就足以覆蓋專用AISC的成本。

事實上，在特定演算法模型上，ASIC 的速度可能會比 GPU 快幾個數量級。比如，當針對比特幣礦機的AISC晶片於 2014 年進入市場時，傳統的利用GPU 來“挖礦”的做法很快被拋棄，因為使用AISC比使用GPU來挖掘比特幣更便宜。

顯然，在AI演算法模型基礎架構開始趨於穩定，GPU算力提升遭遇瓶頸以及成本越來越高的情況下，人工智慧領域可能也將會發生同樣的事情。這也正是Etched公司下重注推出基於Transformer架構專用的AISC晶片 “Sohu”的原因。

與輝達等頭部的AI公司一樣，Etched公司也預測，在五年內，AI模型在大多數標準化測試中將變得比人類更聰明。

Etched公司進一步指出， Meta訓練的 Llama 400B（2024 SoTA，比大多數人類都聰明）所用的計算量，比 OpenAI 在 GPT-2（2019 SoTA）上所用的計算量要高出 50,000 倍。通過為人工智慧模型提供更多計算力和更好的資料，它們會變得更聰明。規模化將是未來幾十年來唯一持續有效的秘訣，每家大型人工智慧公司（Google、OpenAI / 微軟、Anthropic / 亞馬遜等）都將在未來幾年投入超過 1000億美元來保持規模的增長。我們正處於有史以來最大規模的基礎設施建設中。

OpenAI 首席執行官Sam Altman此前就曾表示：“規模化確實是一件好事。當我們在太陽周圍建造出戴森球時，我們就可以討論是否應該停止規模化，但在此之前不能停止。”

Anthropic 首席執行官 Dario Amodei也表示：“我認為 （我們）的規模可以擴大到 1000 億美元，我們將在幾年內實現這一目標。”

不過，如果按照現在的AI資料中心算力，再擴大 1,000 倍，將會面臨非常昂貴的成本。下一代資料中心的成本將超過一個小國一年的GDP。按照目前的速度，現有的硬體、電網和資金投入都跟不上需求。

Etched公司表示：“我們並不擔心資料耗盡。無論是通過合成資料、註釋管道還是新的 AI 標記資料來源，我們都認為資料問題實際上是推理計算問題。Meta CEO Mark Zuckerberg、Anthropic CEO Dario Amodei、 Google DeepMind CEO Demis Hassabis 似乎都同意這一觀點。”

基於這樣的發展趨勢，Etched公司認為，未來能夠獲勝的大模型一定會是那些能夠在硬體上運行速度最快、成本最低的模型。Transformer 功能強大、實用且利潤豐厚，足以在替代方案出現之前主宰每個主要的 AI 計算市場。

目前，Transformer 正在為每款大型 AI 產品提供動力：從代理到搜尋再到聊天。很多AI 實驗室已投入數億美元進行研發，以最佳化 GPU 以支援 Transformer。並且當前的和下一代最先進的大模型也都是 Transformer架構的。

隨著這些大模型的規模在未來幾年內所需要的硬體資源從 10 億美元擴大到 100 億美元，再到 1000 億美元，測試新架構的風險也隨之飆升。與其重新測試縮放定律和性能，不如花時間在 Transformer 之上建構功能，例如多標記預測等。

當今的很多軟體堆疊也針對 Transformer 進行了最佳化。每個流行的庫（TensorRT-LLM、vLLM、Huggingface TGI 等）都有用於在 GPU 上運行 Transformer 架構模型的特殊核心。許多基於Transformer 建構的功能在替代方案中不易獲得支援（例如推測解碼、樹搜尋）。

所以，未來的硬體堆疊也將持續針對 Transformer 進行最佳化。比如，輝達的 GB200 特別支援 Transformer（TransformerEngine）。

在Etched公司看來，Transformer架構就是未來，“如果我們猜對了，Soho將改變世界。這就是我們下注的原因。”Etched公司在網站上寫道。

在2022年的時候，Etched公司就已經開始下注，開始研發基於Transformer架構的Sohu晶片，當時ChatGPT還沒有推出，圖像和視訊生成模型是 U-Nets，自動駕駛汽車由 CNN 驅動，而 Transformer 架構並未無處不在。顯然這是一場豪賭。

雖然現在看來，Sohu可以支援所有的Transformer架構的AI大模型，比如OpenAI的GPT、Sora，Google的Gemini、Stability AI公司的Stable Diffusion 3 等，但是在兩年前，這些模型都還沒有出現。如果，Transformer架構的AI大模型沒有成為主流，再加上無法支援CNN、RNN 、LSTM等傳統模型以及SSM、RWKV 或其他的全新架構的AI大模型，那麼Sohu將會毫無用處。

幸運的是，從目前來看，形勢已經對Etched公司有利。從語言到視覺，每個領域的頂級模型現在都是基於Transformer架構的。這種融合不僅驗證了Etched公司下對了賭注，也有望使Sohu成為十年來最重要的硬體項目。

“像 Sohu 這樣的 ASIC 晶片進入市場，標誌著進入一條不歸路。其他Transformer “殺手”要想成功，需要在 GPU 上的運行速度需要比 Transformer 在 Sohu 晶片上的運行速度更快。如果發生這種情況，我們也會為此構重新建一個 ASIC！”Etched公司非常堅定的說道。

最後說一句，Etched公司的看法與芯智訊在多年前所寫的《輝達的AI盛世危機！》所表達的核心觀點類似，即GPU並是不專為處理特定AI演算法所設計的，其優勢在於比其他AI晶片更通用，可以適應各種AI演算法，但是當未來AI演算法的演進開始趨於穩定時，那麼屆時專用的面向特定演算法的更高效的ASIC晶片無疑將會更具優勢。現在越來越多的雲服務廠商都有推出自研的雲端AI晶片也正是順應這一趨勢。   (芯智訊)

#Etched 你可以在這裡找到鉅亨號中所有使用「Etched」為關鍵字所發布的內容