在人工智慧晶片市場,如果英偉達(輝達)說第一,就沒人敢稱第二了。過去的一年,英偉達(Nvidia) 股價飆升了近4倍,成功加入萬億美元市值的精英俱樂部;其主要就是憑藉著領先全球的人工智慧晶片(GPU)——A100和H100。但最近英偉達動作不斷,昨天突然發表H200;前天針對中國市場又推出閹割版GPU。那英偉達在擔心什麼呢?
一、急著搶佔高階市場,突然發表H200
據了解,H200是第一款具有HBM3e 記憶體的GPU,提供了141GB 的記憶體和4.8TB/s 的記憶體頻寬,幾乎是NVIDIA H100Tensor Core GPU 容量的兩倍,記憶體頻寬也增加了1.4倍。
在AI 領域,業務需要使用大型語言模型來滿足各種推理需求。H200在處理類似Llama2這樣的大型語言模型時,相較於H100GPU 的推理速度提高了2倍。對於高效能運算應用,記憶體頻寬對於提高資料傳輸速度、減少處理瓶頸至關重要。H200的更高記憶體頻寬確保有效率地存取和操作數據,使得與CPU 相比,處理時間快了110倍。