LLM若想高速推理，現如今，連GPU都無法滿足了？ 曾造出世界最大晶片公司Cerebras，剛剛發佈了全球最快的AI推理架構——Cerebras Inference。 運行Llama3.1 8B時，它能以1800 token/s的速率吐出文字。 不論是總結文件，還是程式碼生成等任務，響應幾乎一閃而過，快到讓你不敢相信自己的眼睛。