在今年的S23大會上，NVIDIA 英偉達（輝達）突然宣布推出了NVIDIA HGX H200，為全球領先的AI 運算平台帶來強大動力。據介紹，該平台基於NVIDIA Hopper 架構，配備NVIDIA H200 Tensor Core GPU 和高階內存，可處理產生AI 和高效能運算工作負載的大量資料。 英偉達指出，NVIDIA H200 是首款提供HBM3e 的GPU，作為一種更快、更大的內存，HBM3e可加速生成式AI 和大型語言模型，同時能推進HPC 工作負載的科學計算。透過HBM3e，NVIDIA H200 能以每秒4.8 TB 的速度提供141GB 內存，與前一代的NVIDIA A100 相比，容量幾乎翻倍，頻寬增加2.4 倍。 HGX H200 由NVIDIA NVLink 和NVSwitch 高速互連提供支持，可為各種應用工作負載提供最高性能，包括針對超過1750 億個參數的最大模型的LLM 訓練和推理。英偉達表示，在不斷發展的人工智慧領域，企業依靠LLM來滿足各種推理需求。當為大量用戶群大規模部署時，人工智慧推理加速器必須以最低的TCO 提供最高的吞吐量。 在處理Llama2 （一個700 億參數的LLM）等LLM 時，H200 的推理速度比H100 GPU 提高了2 倍。