輝達GB200可為AI工廠帶來77.6%利潤率，AMD MI355X利潤率為-64%！

8月27日消息，據摩根士丹利最新公佈的一份報告顯示，雖然目前人工智慧（AI）晶片市場競爭激烈，但是輝達依舊是無可爭議地佔據著市場主導地位，並且其產品的經濟效益也遠超其他競爭對手。

報告以輝達目前暢銷的GB200 NVL72機架為例指出，這個機架包含了72個NVIDIA B200 GPU和36個Grace CPU，通過NVLink互聯，整體的成本約為310萬美元。而上一代的8卡配置的H100伺服器架構僅為30萬美元左右。不過，對於大型的 AI工廠（資料中心），摩根士丹利認為，與上一代的H100相比，採用輝達最新的GB200 NVL72機架式產品更具經濟效益。

根據摩根士丹利的計算，對於給定的100MW規模的AI工廠，尤其對於專注於推理的AI工廠來說，輝達的GB200 NVL72系統目前在盈利能力方面居於市場領先地位，其次是Google的TPU v6e pod。

具體來說，100MW規模的AI工廠，使用輝達的GB200 NVL72 機架，該AI工廠可以實現77.6%的利潤率；而如果實使用Google的TPU v6e pod則可以實現74.9%的利潤率。需要指出的是，雖然GoogleTPU v6e pod的定價尚未公開，但是與輝達GB200 NVL72機架相比，租用GoogleTPU v6e pod的平均成本要低40%至50%。

有趣的是，根據摩根士丹利的計算，採用AMD MI300和MI355平台的100MW規模的AI工廠的利潤率為負，分別為-28.2%和-64%。輝達GB200 NVL72 機架為AI工廠所帶來的利潤率卻是最高的，達到了77.6%。這還是真是印證了輝達CEO黃仁勳那句廣告語：“買得越多，省得越多！”

摩根士丹利的報告基於一個假設，即一個100MW的AI工廠需要6.6億美元的基礎設施成本，在10年內折舊。GPU的成本從低端的3.67億美元到高端的22.73億美元不等，折舊期為4年。然後，摩根士丹利通過將各種冷卻系統提供的能效應用於全球電價的平均值來計算營運成本。最終，計算出各晶片能夠為AI工廠帶來的利潤率。

雖然，對於100MW規模的AI工廠（利用Llama 2 70 B模型進行推理）來說，輝達GB200 NVL72能夠帶來更好的經濟效益，但是其總擁有成本（TCO）也是最高的，達到了8.0658億美元。相比之下，AMD的MI355X平台則略低，為7.7411億美元；Google的TPU v6e pod的TCO最低，只有3.5869億美元。 (芯智訊)