我的天！DeepSeek 剛用 FP8 沒多久，這 FP4 訓練要來了？？？🤯 一篇 1 月 28 號的預印論文直接砸場！引入了兩項關鍵創新，簡直是要把 FP4 訓練玩出新高度！ 論文地址：arxiv.org/abs/2501.17116 在大語言模型（LLM）中，FP8和FP4主要是數值精度的不同，分別指4位和8位的浮點數格式。FP4使用4位二進制位來表示浮點數，而FP8使用8位二進制位。