進一步改善AI大模型訓練方式。 Google團隊的一篇最新論文或將揭開下一代AI大模型訓練新範式。 這是一篇關於語言模型訓練方式的論文，由GoogleResearch、GoogleSearch和GoogleDeepMind三大團隊人員合力完成，他們提出了一種“DiLoCo的縮放定律”，可使語言模型訓練具有可靠且穩健的擴展性。 論文第一作者、GoogleAI分佈式機器學習研究員Zachary Charles表示：“這是分佈式訓練在越來越大的模型上發揮作用的關鍵一步，我們可以跨資料中心進行LLM訓練，並且能夠很好地擴展到越來越大的模型！”