加州理工分拆的初創公司PrismML宣稱，已將Qwen 3.6的270億參數模型從54GB壓縮至不到4GB，並成功在iPhone 17 Pro本地運行，且不犧牲性能。這一突破正好契合蘋果“端側AI”路線。最新消息稱，蘋果已經與PrismML就該技術展開溝通。
對於堅持“端側AI”路線的蘋果而言，一家初創公司的最新成就，或許即將解鎖iPhone“AI智能”的天花板。
最新報導顯示，美國初創公司PrismML表示，已經成功壓縮阿里巴巴開源大語言模型Qwen 3.6的270億參數量版本，使其能夠在 iPhone 17 Pro上運行。公司透露，他們為iPhone開發的“壓縮模型”能夠完成複雜對話、推理、完全自主的智能任務以及軟體程式設計等功能。該開源模型將於下周二開始提供下載。
參數量通常用來衡量模型處理問題的能力。一般而言，目前大多數手機和筆記型電腦只能運行數十億參數量的模型。除了處理器算力不足外，移動裝置的視訊記憶體容量也是難以踰越的障礙。
PrismML是加州理工學院分拆出來的初創公司，該校電氣工程教授哈西比與創業團隊完成了實現“大模型壓縮”所需的數學研究。加州理工學院擁有相關技術的專利，並獨家授權給哈西比創辦的PrismML。
據悉，PrismML已經將千問3.6大模型的體積從54GB壓縮至不到4GB。通常情況下，模型體積縮小會導致性能下降，但該公司聲稱其用於壓縮模型大小的技術並不會影響性能。
這種“在本地裝置上跑AI”的邏輯，正是蘋果公司近年來的核心AI戰略。消費電子巨頭在耗資巨大的資料中心建設競爭中基本處於冷眼旁觀的狀態，同時一直倡導讓儘可能多的AI功能在裝置本地運行。
問題在於，蘋果自己的開發成果一直拿不上檯面。在今年6月的開發者大會上，蘋果公佈了基於GoogleGemini模型的Siri升級。但其中最複雜的功能依然體積龐大，蘋果仍需要依賴運行在Google雲上的輝達晶片提供算力支援。此前也有報導稱，蘋果曾嘗試過把模型壓縮到能裝進iPhone的程度，但發現模型能力出現嚴重下滑。
橫向對比，蘋果新推出的某款本地AI模型雖然聲稱擁有200億個參數，但採用的是稀疏架構，即一次僅有10億至40億個參數處於活躍狀態。而PrismML聲稱其開發的本地模型能讓全部270億個參數同時處於活躍狀態。
據報導，熟悉相關談判情況的人士透露，蘋果公司已經與PrismML就如何運用其技術進行了溝通。
PrismML的首席執行長哈西比對媒體表示，他預測未來絕大多數人工智慧處理流程，最終將由本地裝置來完成。而把模型縮小到可在本地裝置上運行的規模，從根本上改變了人工智慧的商業模式。
他說：“試想，也許三年後，你所需要的95%的智能服務都能在本地獲取——無論是手機、筆記型電腦還是各類家用裝置上，而只有那最後5%的高端功能才需要依賴雲端。”
哈西比也表示，PrismML計畫繼續壓縮更大規模的AI模型，甚至是兆參數等級的模型。這將使其進入OpenAI的GPT、Anthropic的Claude等前沿模型所在的領域。 (科創板日報)