「即使安裝100萬台NVIDIA GPU，實際工作時間也只有10%」 被稱為HBM之父的KAIST金正浩教授在最近的一次採訪中說道。其餘90%的時間，GPU都在等待記憶體中的資料到來，基本上是在閒置。 韓國KAIST教授金正浩在訪談中解釋GPU利用率偏低的原因，指出AI計算的大量時間消耗在資料讀取、傳輸和等待，單純增加算力難以解決系統瓶頸。圖片來源：韓國MoneyGuide訪談 原因很簡單。每次AI輸出一個單詞的答案時，都需要從HBM讀取資料並重新寫入，而這個讀寫時間幾乎佔用了全部時間。