中國 AI 晶片公司壁仞科技(Biren)近一年內見發聲,公佈其在算力架構層面的最新技術進展。
9月5日,鈦媒體AGI獨家獲悉,即將在2024全球AI晶片峰會上,壁仞科技將首次公佈壁仞自主原創的異構GPU協同訓練方案HGCT,業界首次支援3種及以上異構GPU混合訓練同一個大模型,用一套統一方案支援多種不同型號、不同廠商的GPU,而且一行程式碼適配多種框架。
壁仞HGCT的異構協同通訊效率大於98%、端到端訓練效率90-95%,從而突破了大模型異構算力孤島難題。
壁仞科技副總裁、AI軟體首席架構師丁雲帆向鈦媒體AGI獨家表示,這是業界首次支援3種及以上(壁仞GPU+輝達GPU+其他中國國產晶片)異構GPU同時訓練一個大模型。同時,目前壁仞科技打造的軟硬一體、全端最佳化、異構協同、開源開放的大模型整體解決方案可以實現千卡叢集、千億參數的自動斷點續訓小於10分鐘,15天連續訓練不中斷,4天連續訓練無故障。