·通往通用人工智慧,無損的長上下文將會是一個很關鍵的基礎技術。
3月21日,澎湃科技(www.thepaper.cn)從通用人工智慧(AGI)創業公司北京月之暗面科技有限公司(以下簡稱「月之暗面「)獲悉,該公司推出的Kimi智慧助手已支援200 萬字超長無損上下文,預計今年將開啟商業化模式。
月之暗面創辦人楊植麟表示,通往通用人工智慧,無損的長上下文將會是個很關鍵的基礎技術。歷史上所有的模型架構演進,本質上都是在提升有效的、無損的上下文長度。上下文長度可能有摩爾定律,但需要同時最佳化長度和無損壓縮等級兩個指標,才是有意義的規模化。
月之暗面工程師副總裁許欣然表示,大模型無損上下文長度的數量級提升,會進一步幫助大家開啟對AI應用場景的想像力,包括完整程式碼庫的分析理解、可以自主完成多步驟複雜任務的智能體Agent、不會遺忘關鍵資訊的終身助理、真正統一架構的多模態模型等。