•
輝達H100，沒那麼缺貨了！RTX 4090 ，大漲！
可以肯定的是，在接下來的幾個月裡，使用Nvidia GPU 的長隊可能會變得更短。
過去幾個月，許多大大小小的公司都報告收到了數千塊H100 GPU。
這樣，在雲端使用H100 GPU 的排隊時間可能會縮短。資料中心供應商和前比特幣挖礦公司正在開設具有H100 叢集的資料中心。這些公司承諾以大型雲端供應商成本的一小部分提供H100 GPU 運算，而大型雲端供應商則對H100 GPU 加速的虛擬機器收取高價。
亞馬遜最近宣布，將在其網站上對H100 GPU 進行1 至14 天的預訂，以應對未來需求的激增。
供應正常化也有助於企業將人工智慧計畫付諸實施。HPCwire 就短缺問題是否已解決聯繫了Nvidia，但該公司拒絕發表評論。
幾個月前，特斯拉執行長馬斯克注意到GPU 短缺，並等待接收Nvidia GPU 以提高人工智慧能力。馬斯克表示，特斯拉啟動了由10,000 個H100 GPU 組成的集群，並且部署速度極快。
「訓練是全自動駕駛和車輛自主進展的根本限制因素，」馬斯克在上個月的財報電話會議上表示。
Nvidia 一直在對H100 進行配給，並根據AI 模型的規模、可用基礎設施和客戶概況來評估客戶。這家晶片製造商優先考慮各行業財力雄厚的客戶。Nvidia 也選擇了能夠積極反映其GPU 最佳利用的客戶。特斯拉符合頂級客戶的形象，擁有明確的人工智慧模式。
Nvidia 也提供了關於客戶何時收到H100 GPU 的更清晰的時間表。資料中心供應商Applied Digital 購買了34,000 個H100 GPU，其中26,000 個將在4 月部署，此後還會再部署8,000 個。
Applied Digital 於9 月開始收到5 月下達的GPU 訂單。9 月份，它收到了1,024 個GPU，執行長Wes Cummins 估計這個數字在10 月翻了一番，並且「11 月、12 月以及1 月這個數字可能會顯著增加」。
該公司還在北達科他州埃倫代爾破土動工新建一個高效能運算資料中心，該資料中心可在運算叢集中託管50,000 個Nvidia H100 SXM 級GPU。
英偉達（輝達）也向能夠簽署採購訂單的小型客戶提供服務。
Iris Energy 正在創建人工智慧運算基礎設施，支付了約1000 萬美元購買了248 個Nvidia GPU。預計在未來幾個月內交付。該公司在上個月向美國證券交易委員會提交的文件中表示。
H100 將為Iris Energy 啟動一項新的人工智慧業務，該公司早些時候已將自己定位為加密貨幣礦工。這家澳洲公司看到了更大的生成人工智慧市場，並正在改造其位於美國和加拿大的比特幣挖礦資料中心，以進行人工智慧運算。
由億萬富翁Jed McCaleb 資助的新創公司Voltage Park 收到了大量24,000 個Nvidia H100 GPU，這些GPU 分佈在華盛頓州、德克薩斯州和維吉尼亞州的集群中。
「訂單是在2023 年4 月左右下的。團隊很清楚……緊要關頭即將到來，因此他們提前下了一份非常大的訂單，以保證有足夠的供應，」Voltage Park 的Eric Park 在一封電子郵件中表示。
這些GPU 已經為人工智慧公司Imbue 提供服務，該公司似乎與Voltage Park 有著密切的聯繫。Nvidia 和Jed McCaleb 創立的Astera Institute 都是Imbue 的投資者之一。
Voltage Park 還旨在透過支援名為FLOP Auction 的計劃，為客戶提供廉價的H100 GPU 運算能力。它就像eBay 在H100 上進行人工智慧運算一樣，出價最高者獲得伺服器時間。
Park 表示：“這是一個早期項目，旨在研究進入Voltage Park H100 集群的拍賣機制。我們的想法是，通過拍賣時間而不是合同，這有助於保證市場價格和透明的流程。”
目前每小時H100 集群FLOP 拍賣的中標價格比Google Cloud 上2017 年發布的V100 的每小時價格便宜。勝利取決於合約規模和承諾。
H100 熱潮也為電腦硬體的價值賦予了全新的意義，GPU 成為新業務的抵押品。
Crusoe Energy 是一家前加密貨幣礦商，以20,000 台H100 作為抵押，獲得了2 億美元的融資。同樣，GPU 計算提供商CoreWeave 也以H100 作為抵押獲得了價值24 億美元的融資。
Crusoe 的GPU 容量將於明年第一季投入使用。該公司已經提供了在較舊的Nvidia GPU 上運行的叢集。
甚至一家cannabis公司也加入了H100 熱潮。總部位於科羅拉多州的American Cannabis 公司已同意與HyperScale Nexus Holding Corp. 合併，該公司希望圍繞Nvidia 的H100 GPU 創建業務。
將記憶體和晶片結合在一起的CoWoS 封裝的短缺加劇了GPU 的短缺。英偉達正在幫助台積電尋找新的合作夥伴和供應商來解決短缺問題。
展望未來，其他因素可能會意外地結束短缺並加速Nvidia 的GPU 出貨量。
美國政府最近對英偉達向中國公司出口A800、H800和L40S系列GPU實施了限制。這可以打開CoWoS 封裝並釋放製造能力，為美國和其他市場生產更多H100 晶片。
Nvidia 並沒有直接向客戶提供GPU，而是透過雲端供應商租用GPU 來擴展H100 容量。雲端提供者部署的GPU 伺服器是DGX 參考模型的複製品，其中包含8 個H100 GPU。
市場研究公司表示：「這項轉變也可能激發Nvidia 擁護以A100 或H100 AI 伺服器為基礎的DGX 雲端訂閱和租賃模式的熱情，甚至擴大其視野以納入更多樣化的雲端服務（L40S 等）。 」 TrendForce 在10 月發布的研究報告中表示。
Oracle 在9 月宣布全面推出Nvidia H100 裸機運算服務。
谷歌於8 月下旬宣布推出A3 超級計算機，該計算機可根據計算需求容納多達26,000 個H100 GPU。
微軟財務長Amy Hood 在最近的財報電話會議上表示，微軟也提高了GPU 容量，從而更好地利用其人工智慧服務。
Azure 雲端服務是圍繞著Nvidia 的GPU 建構的。微軟宣稱其Azure 超級電腦是世界上最快的伺服器系統之一。
該公司可能會在11 月21 日的下一次財報電話會議上提供GPU 供應的最新資訊。
儘管對H100 的需求炙手可熱，Nvidia 最近還是宣布了更新的路線圖，計劃在未來三年推出新的GPU。
107000 個挖礦GPU 可，供出租用於AI 工作負載
加密貨幣熱潮崩潰後，許多加密農場留下了大量未使用的GPU。其中一些公司設法為他們的GPU 找到其他用途，但仍有數千家公司閒置。Io.net 開發了一個分散式網絡，可以匯集數十萬個GPU 並將它們用於人工智慧應用程式——顯然目前有107,000 個GPU 處於等待名單上。
Io.net開發了一個去中心化實體基礎設施網路（DePIN），支援來自不同地理位置的資料中心和加密貨幣礦工的GPU運算能力的池化和叢集化。該網路旨在透過聚合世界各地未充分利用的GPU 來為人工智慧和機器學習工作負載提供資源。為了吸引GPU 所有者，Io.net 推出了70 萬美元的激勵計劃，鼓勵他們為網路貢獻資源。
雖然Io.net DePIN 的主要想法是聚合資料中心和各個加密貨幣礦工未使用的GPU 運算資源，但該公司也與專門從事遠端渲染的Render 網路合作，以獲得對額外GPU 的存取權。
Io.net 並不是當今唯一的GPU 資源DePIN，但該公司表示，它實際上可以在幾分鐘內聚集來自不同地理位置的GPU 資源，這與一些競爭對手不同。
Io.net 營運長 Tory Green 在接受Cointelegraph 採訪時表示：「問題在於它們並沒有真正叢集。」「它們主要是單一實例，雖然他們的網站上確實有叢集選項，但銷售人員很可能會調用所有不同的數據中心來查看可用的內容。”
就功能而言，最接近的競爭對手是針對人工智慧的服務，例如Akash Network，由8 到32 個GPU 組成。
Io.net 的平台允許客戶挑選他們想要使用的GPU 的數量和位置以及安全設置，從而使企業和機器學習工程師能夠更輕鬆地獲得他們所需的運算能力。
該公司使用Solana 區塊鏈技術來管理其網路內的微交易，以便向GPU 運算提供者付款。Solana 的技術可以促進大量小額交易，而傳統區塊鏈可能無法有效處理這些交易，因為處理時間較慢/費用較高。這使得Solana 成為Io.net 基礎設施的關鍵組成部分，使其能夠透過強大的支付系統運行GPU 運算能力的去中心化網路。
RTX 4090 零售價格，過去一個月上漲10%
Nvidia RTX 4090目前是最佳顯示卡中速度最快的GPU，在我們的GPU 基準測試層級中處於桿位。它從來就不是一款價格實惠的卡，建議零售價為1,599 美元，但最近的趨勢是價格更高。在美國，我們看到價格最低的卡片在過去一個月的成本上漲了10%，並且查看亞馬遜上的特定型號，其中一些價格上漲得更多。有多種因素可能在起作用。
首先，或許也是最重要的一點，從11 月17 日開始，RTX 4090 將受到中國出口限制。這要歸功於其原始運算能力，但也可能是因為它有點太像資料中心Nvidia L40 和L40S——它們使用相同的資料中心AD102晶片為4090。但限制這些GPU出口到中國也意味著在中國組裝顯示卡也被禁止。大多數顯示卡公司出於成本原因在中國進行顯示卡組裝，因此華碩、技嘉、微星、PNY 等都將不得不將4090 卡的生產轉移到其他地方，而以中國為中心的品牌可能不得不完全停止生產。
查看CamelCamelCamel 上的一些客製化RTX 4090 卡，可以深入了解最近幾個月的進度。華碩RTX 4090 TUF OC觸底價為1,699 美元，但現在售價為1,819 美元——亞馬遜上該卡的最高價格。同樣，華碩4090 ROG Strix OC在5 月觸及1,885 美元的低點，但在10 月飆升至2,173 美元，目前價格為2,640 美元（因為它基本上缺貨）。
我們可以嘗試看看其他4090 型號，但還有另一個令人不安的趨勢：大多數4090 卡開始缺貨。是因為需求增加了嗎？這是可能的，但可能性不大。更有可能的是，供應已經枯竭，要么是因為製造成本太高，要么是因為其他產品正在醞釀中。
這就引出了影響價格和可用性的第三個潛在因素：傳聞已久的RTX 4090 Ti。在過去一年的大部分時間裡，我們一直聽到有關4090 Ti（有時也稱為新Titan RTX）的所謂「洩漏」消息。當然，Nvidia 在創建RTX 4090 時為更高效能的AD102 元件留出了空間。但考慮到4090 的16 針連接器故障及其已經有些令人厭惡的450W TGP 額定值，推出了600W 或更高的RTX 4090 Ti TGP 似乎會帶來更多問題。
儘管如此，最新的Nvidia RTX 4070 Ti Super 傳聞也提到了RTX 4070 Super、RTX 4080 Super 和RTX 4090 Ti。這可能會發生，也可能不會發生，但如果4090 Ti 將在未來幾個月內推出（1 月的CES 2024 似乎確實有可能），顯示卡製造商幾乎肯定會停止普通4090 卡的生產。
這是因為4090 目前是光環產品，價格也與之相符。那些想要盡可能快的GPU 的人可能會被吸引去購買4090 而不是4080，但出於同樣的原因，如果存在4090 Ti，他們為什麼會選擇去年推出的倒數第二個GPU？換句話說，如果Nvidia 推出4090 Ti，它很可能會停產4090，或至少減少該零件的產量。
還有另一個憤世嫉俗的因素也可能在起作用。理論上，黑色星期五GPU 銷售即將到來。雖然我們通常不會看到很多顯示卡促銷活動，但我們經常在促銷開始前看到價格呈現上漲趨勢。今年稍早售價為600 美元的GPU 可能會在一個月左右的時間內突然升至700 美元，然後再次以600 美元的價格「上市」。“節省14%！”
我們無法確定上述每個因素如何影響RTX 4090 的定價方程，但我們確實知道4090 的價格在過去兩個月裡一直在攀升。理想情況下，我們將在不久的將來獲得一款新的RTX 4090 Ti，建議零售價與4090 相同，均為1,599 美元。不幸的是，更有可能的是，這樣的卡——如果它存在並且很快就會推出——將使建議零售價提高一個檔次。無論如何，我們將繼續追蹤價格，等待事情的最終結果。（半導體產業觀察）
參考連結
https://www.hpcwire.com/2023/11/07/nvidia-h100-gpu-capacity-increasing-usage-prices-could-get-cheaper/
https://www.tomshardware.com/tech-industry/artificial-intelligence/107000-repurposed-crytpomining-gpus-up-for-rent-for-ai-workloads
https://www.tomshardware.com/pc-components/gpus/yikes-rtx-4090-retail-prices-increased-10-percent-in-the-past-month