【導讀】新模型bGPT是一個基於字節的Transformer模型,能夠將不同類型的數據納入同一框架之下,可以生成文本、圖像和音頻,還能模擬計算機行為,數字世界將迎來真正的大一統?
微軟亞洲研究院推出的最新成果bGPT,這種基於位元組的Transformer模型,為我們探索數位世界開闢了新的大門。
與傳統的基於詞表的語言模型不同,bGPT的獨特之處在於其對原始二進位資料的直接處理能力,不受特定格式或任務的限制,其目標是全面模擬數位世界。
論文:https://arxiv.org/abs/2402.19155