端側大模型將商湯推向了關鍵時刻
前兩天商湯在上海臨港AIDC舉辦了一場大會，在大模型遍地、AI滿天飛的當下，這次發布的日日新大模型5.0版本，以及配套或衍生的行業大模型和AI助手，仍然成為了行業焦點。
值得一提的是，這場發表會更像是一次關於產業技術的交流會，現場來給商湯月台的大廠非常多：華為、金山辦公、小米、閱文等等，從業務介紹，到實戰演練，透露出一家老牌科技公司的紮實與銳利。
眾所周知，在萬物都朝著智慧化發展的時代，大模型憑藉著強大的表達和預測能力，涵蓋自然語言處理、電腦視覺等多個領域，能夠處理複雜的任務和資料。而以OpenAI作為代表的成功範例在全產業掀起的巨浪，更足以讓人相信大模型技術的可行性與市場潛力。
但隨著科技的不斷深入，不同場景對大模型的需求差異日益顯現，人們發現，尤其是對手機、AR等終端、及汽車在內的智慧體系來說，出於對輕量敏捷、安全穩定和成本等方面的考慮，傳統的大模型似乎無法滿足他們的需求。
也就在這種情況下，端側大模型逐漸成為新的產業趨勢。
以手機為例，在過去的一年裡，中國外包括蘋果、三星、華為、VIVO等大部分的手機廠商，都在研究一門新的學問：怎麼將大模型落地到端側？而他們之所以這麼做，目的也很明確，既為了在產業瓶頸掌握市場突破的重要籌碼，又為了滿足使用者AI需求，帶來革新終端的使用體驗。
這也是此次商湯發表會被討論最多的點。據了解，商湯新推出的1.8B（18億）參數規模的SenseChat-Lite版本端側⼤模型，在基準測試中，全面超越了MiniCPM-2B、Phi-2等所有開源的同量級的大模型，甚至越級比肩一些7B、13B的大模型，效能、指標都非常硬派。
更直觀的例子，是現場演示的SenseChat-Lite與GPT-4的一場拳皇比賽，就像商湯董事長兼CEO徐立說的那樣，“天下武功，唯快不破。”在不同的適用場景下，小模型決策更快，不管拳頭是不是最優的，但都實實在地打到了對手的身上。
有趣的是，發表會的第二天，商湯的股價即迎來開盤大漲，一度漲超36% ，周漲超80%，創上市後單周最大漲幅。不少人認為，這可能就是市場給予這家公司最直接的肯定。
01端側大模型元年
在手機上使用AI大模型其實並不是新鮮事了。
ChatGPT上線之後，中國的科技網路圈一度處在你追我趕的狀態，不到一年的時間裡，文心一言、通義千問、訊飛星火等等都接連推出App應用程式。彼時人們的關注點大多在於，哪款產品的回復準確率較高，以及它怎麼實現永續的商業化。
不難發現，當AI的概念總以第三方應用的形式被植入手機時，人們的關注點仍聚焦於軟體本身，但並不會因此對某款手機產生新的認知。
大模型可以被稱為一種暴力美學，一般認為，目前主流雲端大模型的參數量在千億級別，演算法效能隨著訓練時長和資料集的增加而增長。這些基於雲端大模型的App，需要呼叫大量的服務算力來進行資料傳輸，成本和安全性是服務商不能迴避的問題。
先前有手機廠商透露，調用一次雲端大模型的平均成本在1.2分到1.5分人民幣，假設每個品牌都有上億的用戶量，每人每天調用10次，那麼積攢下來的算力成本是驚人的；如果按次數或月租向用戶進行收費，在功能同質化的情況下，用戶的使用意願也會很難保證。
而用戶更重視的是，餵給的資料從何而來、用到哪裡去，資訊儲存在雲端是否可靠，會不會有更多風險？
這樣一來，手機廠商開始研究起大模型，由此「AI手機」的概念再度火熱。雖然彼時都不知道AI手機究竟是什麼樣，不過可以肯定，連網使用某款App所獲得的單一體驗絕對不是最終的答案。
為了解決大模型算力和用戶資料安全的問題，手機廠商選擇將大模型部署在本地，利用晶片算力產生結果，不用連網也能使用。畢竟雲端大模型的參數規模，記憶體、算力和功耗的需求都是一部手機滿足不了的，端側的大模型，參數可以壓縮到數十億到百億左右，但性能上仍然抗打。
但事實上，這將是更大的挑戰，和坐擁數千張頂級顯示卡的大模型公司相比，手機廠商走端側路線，意味著要在更小的晶片空間裡，做出不遜於超級大模型的產品。
理想狀態，每款手機都將成為給每個人量身定制的私人AI助理。就像商湯發布會上徐立演示的，在完全斷網的狀態下，商湯端側大模型輸出一張請假條的速度，甚至比人們閱讀的速度還快很多；模擬在飛行模式時，同樣可以利用AI生成詳細的工作紀要，且速度基本上等同人眼即時的速度。
除此之外，商湯在端側大模型的佈局思路是多模態，也就意味著數據和資訊可以來自不同的感官，生成結果除了文字，未來還可以是圖片、視頻等多種形式，這被他們稱為「擴散模型」。
在徐立看來，端側是業界應用鋪開的關鍵，商湯的擴散模式實現業界最快的端側推理速度，在高通旗艦平台上能夠做到小於1.5秒。在端側和雲側的對比擴圖實驗中發現，端側連擴了三張圖，雲端還沒有完成；端側生成3個圖，雲端才完成1張圖的擴圖，此外還能夠旋轉擴圖、任意比例擴圖。
「端側模型對於本地的處理有非常大的友好性。」徐立說，由於是直接在本地設備上運行，無需將數據發送到雲端處理，這極大減少了數據傳輸和等待雲端響應的時間。
從行業場景上看，目前商湯的端側模型已經涵蓋到日常對話、常識問答、文案生成、相簿管理、圖片生成等一系列功能，而這種低延遲性，使得端側模型在未來處理實時性要求較高的任務時具有顯著優勢，例如自動駕駛、即時翻譯等。
業內人士透露，作為中國最早做端側大模型的技術公司，商湯在演算法和模型方面具備深厚的技術積累，且能在硬體適配和晶片相容等方面做出創新。
值得關注的是，其多模態端側SDK不僅廣泛適配至手機、電腦、VR、車載顯示器等多種硬體場景；還能夠兼容眾多晶片，還實現了全系列的高通8系列晶片兼容，包括7系列晶片，甚至擴展至MTK天璣晶片，為大模型技術的落地應用提供了更廣闊的空間。
02市場需要怎樣的端側大模型解決方案？
王曉剛是商湯的首席科學家，也是旗下絕影汽車事業群的總裁，在他看來，今天大模型發展最重要的並不有多少家會留在市場，而是差異化在哪裡。 “有哪些是有價值、但風險更高，別人沒嘗試過，沒做出來的東西，這是商湯在發展大模型時的差異化思路。”
從去年開始，商湯與小米小愛建聯，透過端側的大模型來賦能小愛眾多的終端用戶。
根據小米集團小愛的總經理王剛介紹，小愛同學現在的用戶規模達到了1.3億人，主要以手機為主，日交互次數超過2億次，大模型在去年8月份首先在手機和音箱上開啟內測，目前已累積了900萬的大模型用戶，活躍用戶隔天留存更是增加了10%。
「小愛不只是語音助手，更是無所不在的AI智能助手。」大模型為小愛同學帶來的3點升級，分別是對話能力、垂直領域專業的AI助手、NLP任務能力的提升。而在商湯大模型的加持下，小愛除了性能明顯提升，在時間性能力上，結合搜尋功能，能引入可靠資訊來源，提升用戶對內容真實性的信任程度。
對於特定的業務場景，技術團隊對小愛升級的綜合能力和細節處理有更高的要求，需滿足時新性、品牌導向，且及時調整以適應產品的變化；同時，透過優化輸出格式，達到簡潔清晰、圖文並茂的輸出。簡單來說，有了商湯大模型的加入，小愛正成為更成熟可靠，更懂用戶的智慧助理。
去年9月，在大模型內測成功之後，小米硬體部門決定在終端機和高階機器上全部用上大模型，手機和音響之外，汽車是另一個佈局重點。
眾所周知，今年小米su7發布的火熱超出所有人預期，據王剛分享，「不同於生成圖文，車上大模型是完全不一樣的設計體驗，因為駕駛員更專注前面的行駛場景，追求簡潔交互，在這方面我們與商湯一起做車上大模型的適配。
大模型的加入，讓許多以往沒有的車載功能實現從0到1，用戶對車內小愛同學的關注也與日俱增。還有一個容易被忽略的點，如果說過去由於技術限制，大部分的車企都傾向模組化佈局，那麼商湯大模型能夠帶來的改變則是將這些一一打通，讓汽車真正實現端側整體的智能，這背後離不開它的兼容性和多模態特徵。
當然，也有很多人提出，例如手機，受限於當前GPU和NPU的硬體能力，大部分的終端只能運行數十億等級輕量級模型，但是這些模型訓練參數較小，一定程度上會影響結果的精準輸出。同樣的問題可以延伸到不同的終端場景，於是，為了平衡記憶體、執行速度、功耗的問題，許多廠商提出了「端雲協同」的需求。
背後的邏輯在於，用雲端解決複雜的大算力、大參數模型、實效性低的問題，用端側滿足資料安全性高、即時回饋、斷網條件下的需求。對商湯來說，這的確是大模型與場景協同的一次挑戰，按照徐立的說法，大部分推理如果能在端側100%完成的就完成，如果要追求高性能，就可以用端雲聯動的模式。
實用的模型往往能滿足不同產業的差異化需求，這也是商湯重要的研發概念之一。為了達到最佳的推理效果，適配不同的業務場景，同時降低推理成本，他們提出了“端雲協同方案”，針對不同行業應用設置了不同的雲端連動百分比。
此前，王曉剛曾與媒體交流，「每年有30億部手機，PC出貨量一年有2-3億台規模，AI PC可以成為我們每個人的助手，汽車智能化也處在重要的發展機遇期。現在可能到了大模型商業化普及和應用的最關鍵時期。
03為什麼是商湯？
「並不感到意外。」當天發布會現場，有投資人這麼表述，作為一家成立之初就緊密圍繞AI作為主要業務的科技公司，多年的技術沉澱，讓商湯具備更成熟的能力做好大模型。
從個人終端到企業客戶的基礎設施，產業對AI的需求是多元的。 2019年，商湯首次發表10億參數視覺大模型，2022年發表320億參數視覺大模型，到去年確立以「大模型+大算力」的發展策略，再加上旗下多款AI產品，商量、秒畫、如影、瓊宇、格物的多元佈局，以及剛推出的全面對標GPT-4Turbo的日日新5.0等一系列創新。
可以說，商湯在科技圈從未缺席，而這些成果的背後是十年如一日的持續投入。
據了解，2018年前後，商湯開始每年數十億投入專為AI原生打造的智算雲服務平台「SenseCore」商湯大裝置，並建造上海臨港智算中心。
截至目前，大裝置的總算力規模突破性成長到12,000 petaFLOPS，上線GPU數量高達45,000塊GPU，其中臨港AIDC為8400 petaFLOPS，遠遠超出立項規劃的3740 petaFLOPS算力總量。
在算力和資料規模支持下，日日新大模型得以持續優化，但商湯的大裝置不僅是為了支持自身的大模型研發，還作為算力服務方，支持外部客戶訓練大模型和應用部署：協助自動化資料標註提升效率百倍，推理部署提高推理效率100%以上，微調和增量訓練降低成本至原1/10，並提供開源模型和開發者工具，進而提升開發者效率。
目前，SenseCore已成為中國稀缺的AI基礎設施，且實現了全國聯網的統一調度，在上海、深圳、廣州、福州、濟南、重慶等地拓展了新的運算節點。如果AI真的是未來社會進步和產業革新的關鍵力量，某種程度上，這也體現了商湯大裝置的特殊點，它投入了很大的資源進行基礎設施建設，賦能自身的同時反哺產業，將能力標準化、基礎設施化、服務化，降低了整個人工智慧產業創新的門檻。
時至今日，AI仍是一個長周期，高成本投入，回報慢的產業，反而需要更多的策略定力。在商湯的生成式AI已經轉向收入的快速回報之際，就像王曉剛說的那樣，在商湯的背後，積累了大量對模型對AI的know-how，這些業務與行業的經驗，或許也正在給AI結合不同產業的商業化落地提供了更具想像力的參考。 (新眸)