從晶片到生態，聯發科在端側生成式AI領域火力全開
隨著ChatGPT的橫空出世帶動的生成式AI繁榮，手機晶片廠商迎來了新的契機。
在行動智慧終端過去十多年的發展中，手機廠商們圍繞著效能、顯示、拍照和充電等一系列功能展開了激烈的競爭。作為這場戰役背後的重要“力量”，晶片廠商也針對這些新功能的性能需求，在架構、製程工藝和功耗等領域打了十幾個來回的攻防戰。
然而正如大家所看到的，在過去幾年裡，隨著晶片製程走到了瓶頸期，加上終端創新的乏善可陳，整個產業陷入了持久的拉鋸戰。不過，隨著ChatGPT等生成式AI應用在去年的橫空出世，手機產業又找到了新的發力點－生成式AI。
作為智慧晶片產業龍頭，聯發科在日前以“AI予萬物”為核心主題舉辦了一場聲勢浩大的“天璣開發者大會（MDDC 2024）”，與產業鏈共同探討如何將生成式AI更便捷地普及到千行百業。
生成式AI加速普及，晶片肩負重任
對AI而言，過去幾年大家關注的一個重點，就是如何落地？在哪裡落地？即使在大模型面世以後，這也困擾著廣大開發者。
針對這個問題，聯發科技董事、總經理暨營運長陳冠州在MDDC 2024的演講中指出，在ChatGPT為代表的生成式AI應用問世以後，廠商首先在企業級市場中找到了應用的機會（如微軟Copilot就是典型的應用範例），但其創造的市場總值跟消費級應用不可同日而語。於是，業界都在探索生成式AI的消費端新機會，智慧型手機因為具備體驗更好的端側算力、用戶規模大且粘性高、具備完整的應用生態等特徵，也理所當然的成為了端側AI應用的首選。
從產業發展看來，端側生成式AI也成為智慧型手機產業既定的下一件大事。
然而，關於什麼是生成式AI手機，不同廠商有不同的定義。根據Counterpoint 與聯發科技共同發布的《生成式AI 手機產業白皮書》中所說，生成式AI手機需要具備以下幾點特徵：支援大模型的本地部署（或透過雲端協同的方式執行複雜的生成式AI任務）、具備多模態能力（即可以處理文字、圖像、語音等多種形式的內容輸入，以產生各種形式的輸出）、確保流暢和無縫的用戶體驗（設備能夠以自然而直觀的互動方式，快速響應用戶的請求）。
此外，生成式AI手機還需要擁有實現上述特徵的硬體規格，包括但不限於基於領先製程和先進架構設計的行動運算平台，擁有整合或獨立的神經網路運算單元（如APU/NPU/TPU），大容量和高頻寬的內存，以及穩定和高速的連接，硬體級和系統級的安全防禦。
由此可見，晶片的「TOPS」成為了生成式AI進軍智慧型手機產業的一道必須跨越的門檻，特別是在Counterpoint預測本地大模型參數的上限將在2024 年增長至130 億和在2025 年增長至170 億後，晶片必將肩負重任，而這正是聯發科所擅長的領域。
據了解，憑藉在邊緣運算領域的深厚功底和豐富經驗，聯發科每年賦能20億智慧終端設備，在人機互動、生產力、娛樂體驗等方面帶來了前所未有的創新。公司在智慧型手機晶片上的影響力更是有目共睹。根據市場研究機構Counterpoint Research最新發布的報告顯示，在2023年第四季全球智慧型手機應用處理器市場，聯發科以36%的出貨量市佔率位居第一，遙遙領先第二名。
具體到人工智慧方面，聯發科也有了很深的累積。早在2018年，公司就發表了首款具有APU（AI運算單元）的智慧型手機晶片Heilo P60。具體到大模型方面，雖然到2023年底才爆發，但聯發科技計算與人工智慧技術事業群副總經理陸忠立博士在年初接受鈦媒體採訪的時候就透露：2019年的時候，聯發科技就已經在圍繞Transformer模型進行APU層面的架構、演算法適配做預研了，尤其是在影像和語音方面。
到了2023年，聯發科技已經將APU迭代至第七代，能在算力翻倍的情況下將功耗降低50%。也終於迎來了生成式AI應用的大爆發。在MDDC 2024上，繼先前推出天璣9300以後，聯發科又帶來了5G旗艦生成式AI行動晶片天璣9300+。據介紹，該晶片延續全大核心CPU架構，為高階手機用戶和遊戲玩家提供卓越體驗。此外，天瑩9300+ 擁有強大的生成式AI能力，率先在端側支援AI推測解碼加速技術，效能大幅提升，可以是Llama 2 70億大模型運行速度提升至22 Token/s，實現業界最高的端側運轉速度。
在晶片硬體方面的予取予求，是聯發科能夠在端側AI走向智慧型手機時代發揮重要作用的根本。而在軟體和生態方面的並駕齊驅，則是聯發科能讓AI在智慧型手機大展拳腳的底氣。
天璣AI開發套件，賦能終端開發
在接受半導體產業觀察等媒體採訪時，聯發科技無線通訊事業部生態發展資深總監章立直言：「生成式AI給了許多開發者一個新的機會」。
如他所說，在生成式AI到來之前，手機產業似乎開始陷入創新瓶頸了。而從影像捲向折疊，也讓APP廠商好像無所適從。再者，因為過去已經形成規則，競爭關係比較收斂，流量也比較收斂了，所以對很多開發者來說比較難有新的創新機會。但是生成式AI不一樣，它給了開發者更多的工具，讓開發者擁有更豐富的資源；在這些工具的幫助下，開發者將擁有更多的創新能力，打造出爆品，章立表示。
但是，正如大家所看到的，這一切並不會一蹴而就，開發者也不能直接從傳統的軟體開發中無縫切換到生成式AI手機的開發生態中，當中涉及的各種工具鏈、晶片和模型適配以及應用開發等各種問題也不能立刻就能完美解決。
有見及此，聯發科舉辦了首屆“天璣開發者大會”，給大家展示了一個由晶片、模型和應用構成的天璣AI生態戰略。並寄望與產業夥伴、開發者共同探索和發展端側AI技術，推動終端設備和應用從觸控（Graphical Touch UI）向由生成式AI賦能的智能體（Agent UI）加速演進，為用戶提供更出色的互動體驗、多模態內容生成能力、個人化服務以及革新的應用生態。
當中，好用的工具鏈，成為聯發科旨在解決的第一個難題。
眾所周知，部署大模型，對於開發者來說，從來不是一件容易的事。尤其是在對功耗、硬體甚至成本有強制性需求的端側，這個挑戰尤其嚴峻。於是，聯發科把開發者在開發AI應用時需要的工具整合在一起，推出了“天璣AI開發套件”，為開發者提供“快、全、強、易”的專業開發體驗，賦能終端生成式AI應用開發全流程。
據介紹，該套件包含了快速高效的GenAI最佳實踐、覆蓋全球主流大模型的GenAI Model Hub、高效提升性能的GenAI優化技術和Neuron Studio 一站式視覺化開發環境等四大模組。
其中，GenAI最佳實踐透過模型量化、模型編譯和模型推理等方面提供INT4量化、記憶體壓縮、Token加速等技術，，可將大模型的終端部署所需時間從數週加速到一天，這就是所謂的「快」；GenAI Model Hub適配產業前沿主流的大模型，為開發者高效構建生成式AI應用提供豐富的大模型資源，亦即是所謂的「全」；GenAI優化技術則涵括了對推測解碼加速、LoRA Fusion等先進技術的支持，此之謂“強”；至於“易”，則生動體現了Neuron Studio 集成開發環境=提供的一站式可視化的開發環境，跳出傳統的代碼開發環境，帶來「所見即所得」般更易用的開發體驗。
把所有工具整合起來，用一個簡單的方式讓開發者可以使用，是本次開發者大會在想法上與之前最大的方式不同。這不僅在想法上，也在做法上以及對未來的擴充性上都有了很大的改變和轉變。聯發科技無線通訊事業部副總經理李彥輯總結。
值得一提的是，天璣AI開發套件並非僅針對智慧型手機，而是涵蓋了智慧型汽車、物聯網、個人電腦等智慧型終端設備，為全場景生成式AI應用開發賦能。
攜手上下游生態，加速AI普及
在提供「稱手工具」的同時，聯發科也聯合阿里雲、百川智能、傳音、零一萬物、OPPO、榮耀、vivo和小米等企業，共啟了一個面向全球開發者的「天璣AI先鋒計畫”，高效賦能開發者，建構從雲端到終端的AI新生態，加速推送生成式AI技術在智慧終端上的普及。
具體而言，聯發科希望能夠跟具有標竿性質、投入開發較早、開始導入生成式AI的應用開發者合作，一起引領整個生態往前推動。依照規劃，AI先鋒計畫包含兩部分：第一個環節是聯發科會和一些大模型、OEM廠商聯合，發揮行動生態底層角色拉動生態各方尋求共識，共同建構適合端側生成式AI落地的硬體基礎；第二個環節就是跟所有的APP開發廠商聯手，在這樣的硬體基礎上，探索開發新的應用。
天璣AI先鋒計畫的核心目標在於向應用程式開發者釋放開發資源，鼓勵他們積極參與，以加速生態系統的建構和推進。我們期望透過先鋒計劃，吸引更多開發者開始使用我們的開發工具，並創造創新的生成式AI應用，李彥輯解析說。
會上我們也了解到，目前，聯發科已攜手阿里雲通義千問、Cocos、王者榮耀、虎牙直播、酷狗音樂、美圖、全民K歌、RWKV、Soul、騰訊AI Lab、小紅書等數十個生態夥伴，在影音影片和遊戲等方面共創更精彩的端側生成式AI使用者體驗。
值得一提的是，作為近年來手機產業最重視的產業，遊戲成為了聯發科本屆開發大會不得不提的另一個重點。
回顧過去幾年的歷程，為了讓遊戲玩家擁有更好的體驗，聯發科除了率先引入行動端硬體光追技術以外，還推出了包含遊戲自適應調控技術（MediaTek Adaptive Game Technology, MAGT）和可變速率渲染（VRS/AI-VRS）的智慧調控引擎以及涵括5G快速通道2.0、HyperCoex 超連結在內的多個技術，以MediaTek HyperEngine 遊戲引擎為開發者和玩家帶來更好的體驗。
進入生成式AI手機時代，聯發科更進一步，全面升級“星速引擎”，借助自適應技術軟體開發套件和硬體光線追蹤技術，透過精準的性能管理、光線追蹤效果優化、網路品質監測等關鍵技術，協助遊戲開發者打造畫面更逼真、更流暢，觸控和網路反應速度更快，續航力更持久的全優體驗。
聯發科技無線通訊事業部副總經理陳一強介紹說：「『星速引擎』能夠為遊戲和平台溝通建立橋樑，在實際遊戲中，不但能讓設備可以根據需求讓算力收放自如，響應隨傳隨到；也能讓設備可以實現精準系統監控，操控隨心所欲；還能夠網路精準預測，執行智慧選網策略。
此外，聯發科也積極與Arm、Google、Khronos，以及Unreal Engine團隊在內的產業夥伴共同進行前沿技術的探索，持續賦能高速拓展的天璣遊戲生態圈。
聯發科表示，自「天璣」品牌誕生以來，公司一直持續透過大力投資科技與開放合作，建構了蓬勃向上的天璣移動生態。現在，先進的生成式AI正在改變行動產業，聯發科始終堅信科技能夠改善人類生活，並致力於以技術創新驅動產業共融、共創、共贏，將攜手更多生態夥伴構建基於生成式AI應用的新時代。
寫在最後
每每談到聯發科，除了談到他們在SoC、AP、基帶、藍牙、WiFi和一系列芯片方面的實力以外，公司董事長蔡明介先生提出的“一代拳王”理論以及由公司首創的“交鑰匙」方案交付方式也是不得不提的兩個面向。
可以毫不誇張地說，只要聯發科進入的行業，它都能以其領先的技術和獨到的“打法”，贏得滿堂彩。其中，與產業鏈上下游生態企業的緊密合作，是公司屢戰屢勝的不二法寶。不過，正如章立所說：我們能把土壤、環境、陽光、水準備好，把種子散下去，確保有一天能長出大樹。
透過提供好的硬體平台和好的開發者工具，聯發科技希望能讓大模型在其平台和「土壤」上能夠很順利地落地，釋放終端的能力，讓手機廠商能夠找到創新的用戶體驗。 「在生成式AI到來之際，無論是開發者、晶片廠商或手機廠商，面對的都是更巨大的市場，這應該是三方的最大公約數。」章立說。(半導體產業觀察)