參戰萬億MoE模型！上海大模型獨角獸出手，騰訊阿里米哈遊參投

智東西4月17日消息，今日，上海多模態大模型獨角獸MiniMax正式推出abab 6.5系列模型，包含abab 6.5和abab 6.5s兩個模型。

MiniMax成立於2023年1月，是目前國內估值最高的大模型公司之一。今年3月，MiniMax完成阿里參投的新一輪融資，投後估值超過25億美元。此前米哈遊、騰訊均有投資MiniMax。

當MoE尚未成為行業共識時，MiniMax已經押注MoE路線，今年1月發布其首款基於MoE架構的abab 6，並在過去3個月潛心研發出性能更強的萬億參數MoE模型abab 6.5，在核心能力測驗中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等頂尖大語言模型。

標註星號的是MiniMax呼叫API測試得到的結果，其餘分數來自對應的技術報告。

abab 6.5和abab 6.5s採用相同的訓練技術、數據，支援200k tokens上下文長度。abab 6.5s更有效率，1秒能處理近3萬字的文字。

MiniMax在200k tokens內進行了業界常用的「大海撈針」測試。在891次測試中，abab 6.5均能正確回答。

MiniMax團隊表示找到了越來越多加速實現Scaling Laws的途徑，包括改進模型架構、重構資料pipeline、訓練演算法及平行訓練策略優化等。今天發布的abab 6.5和abab 6.5s是其加速Scaling Laws過程的階段性成果。

abab 6.5系列模型會捲動更新到MiniMax旗下的產品中，包括生產力產品海螺AI和MiniMax開放平台上。(智東西)