在人工智慧技術高速發展的今天大語言模型的算力需求與能源消耗之間正形成日益尖銳的矛盾模型越大、解析度越高生成內容越豐富對算力與能耗的需求就越驚人如何破題?一群中國上海交通大學科研團隊把目光投向了“光”↓ ↓ ↓日前,上海交通大學傳來好消息,交大積體電路學院陳一彤課題組在新一代算力晶片方向取得重大突破,首次實現了支援大規模語義視覺生成模型的全光計算晶片LightGen。相關研究以《大規模智能語義視覺生成全光晶片》(All-optical synthesis chip for large-scale intelligent semantic vision generation)發表於國際頂級學術期刊《科學》(Science)上。當前,光電晶片仍主要擅長加速判別類的任務,距離支撐前沿大規模生成模型還有不小距離。因此,“如何讓下一代算力光晶片能夠運行複雜生成模型”,成為全球智能計算領域公認的難題。所謂“光計算”,可以通俗理解為:不是讓電子在電晶體中運行,而是讓光在晶片中傳播,用光場的變化完成計算。由於光天然具備高速和平行的優勢,長期被視為突破算力與能耗瓶頸的重要方向。不過,要把光計算真正用到生成式AI上,並非這麼簡單——生成模型往往規模更大,還需要在不同維度之間不斷變換;而如果晶片規模較小,則不得不頻繁在光與電之間級聯或復用,速度優勢就會被延遲與能耗迅速抵消。因此,全光計算,就顯得更為重要,同時也更為困難。LightGen晶片之所以能夠實現驚人的性能飛躍,在於它在單枚晶片上同時突破了三項領域公認的關鍵瓶頸——單片上百萬級光學神經元整合、全光維度轉換,不依賴真值的光學生成模型訓練演算法。這三項中的任意一項單獨突破都足以構成重要進展,而LightGen同時做到,使得面向大規模生成任務的全光端到端實現成為可能。更重要的是,LightGen晶片展現的並不是“電輔助光”的生成,而是讓全光晶片完整實現“輸入—理解—語義操控—生成”的閉環:輸入圖像進入晶片後,系統能夠提取與表徵語義資訊,並在語義操控下生成全新的媒體資料,實現讓光“理解”和“認知”語義。在性能評估上,LightGen晶片採用了極嚴格的算力評價標準:在與電晶片上運行的多個前沿電子神經網路相仿生成質量的前提下,直接對端到端耗時與耗能進行測量。實測表明,即便採用較滯後性能的輸入裝置,LightGen晶片仍可取得相比頂尖數字晶片2個數量級的算力和能效提升。而如果採用前沿裝置使得訊號輸入頻率不作為瓶頸的情況下,LightGen晶片理論可實現算力提升7個數量級、能效提升8個數量級的性能躍升。這項重要成果同步被Science官方選為高光論文重點報導。文中提到,生成式AI正加速融入生產生活,要讓“下一代算力晶片”在現代人工智慧社會中真正實用,勢在必行的是研發能夠直接執行真實世界所需前沿任務的晶片——尤其是大規模生成模型這類端到端時延與能耗極高的任務。面向這一目標,LightGen為新一代算力晶片真正助力前沿人工智慧開闢了新路徑,也為探索更高速、更高能效的生成式智能計算提供了新的研究方向。 (芯榜)