AI 為未來場景提供了可實現的技術手段,推動著創新快速發展和產品應用落地。
近年來,隨 著生成式 AI 這一技術取得的顯著進展,也引發了生成式 AI 同終端產品深度結合的創新浪潮:
從應用的角度看,各終端廠家和應用廠家密集推出基於大模型的 AIGC 應用產品,涵 蓋對話、寫作、學習、媒體創作、辦公商務等領域。
從硬體裝置的角度看,各終端廠家的 AI 能力也在不斷推陳出新,產業界也紛紛提出 AI 終端、AI PC 不同維度的概念定義。
為了讓消費者對 AI 終端的能力有更清晰、更直觀的認知,同時也為了讓產業界對 AI 終 端的能力演進達成統一的共識,協同產業有序發展,參考汽車駕駛自動化分級,以及清華大學 PERSONAL LLM AGENTS(個人大語言模型智能體)中的智能體能力分級,我們提出 AI 終端智能化 L1~L5 分級標準,並期待產業界同仁一起來完善、最佳化該分級標準。
針對 AI 終端分級標準,進一步高階抽象出支撐該分級標準的 AI 終端六大關鍵技術特徵。
我們認為,原生智能 OS 需要具備統一的 AI 系統底座、原生智能應用、系統級智能體、 開放生態四大核心要素,以能夠更好地支撐 L1~L5 智能等級的終端 AI 技術演進。
如下以華為 HarmonyOS 原生智能技術架構為例來展開四大核心要素。
感知是指通過感測器資料獲得上下文資訊的過程。這裡的感測器包括硬體感測器和軟體感測 器,硬體感測器指具有物理結構的感知單元,如加速度計等。而軟體感測器則泛指廣泛的軟體資料, 如聊天記錄、日程安排等。
現有終端裝置、系統和軟體中已經有大量的感知過程,比如短影片軟體分析行為感知使用者喜好、 智慧型手機感知環境光照自動調節亮度、智能手錶識別使用者心率和 IMU 資料感知使用者動作等等。
然而, 目前大部分感知都是“碎片化”的,這種碎片化主要體現在幾個方面:
感知領域碎片化,每個軟體只能感知軟體內的行為和資料;
感知過程和結果碎片化,軟體在有限的感知視野內根據自身需求各自實現和執行感知步驟,得到侷限在某特定領域的感知結果,並通常不互相分享感知結果;
時間碎片化,系統出於能耗和隱私考慮往往不允許執行長期感知動作。
在系統層做最大程度的過程共享、調度最佳化,降低長時間感知的資源佔用和整體功耗,實現系統級全域最優的感知過程。
打破多個終端硬體、不同應用之間的隔離,從使用者上下文、裝置上下文、場景上下文中抽象出更高維度的感知結果。
AI 要超越今天的能力,我們需要的不僅僅是能夠看到或對話交流的 AI,我們還需要可以做到 的 AI。當 AI 結合了更高維度的感知結果,將觸發思考,進而影響自主行為。
與人類常見的行為模 式一樣,看到烏雲即可聯想到下雨從而帶了一把傘出門,AI 將學會感知複雜世界並與之互動,並 在此過程中觸發智能的、可按需編排調度的主動服務。
在不久的將來,更高維度的智能感知、更智 慧的基礎模型、更高階的空間智能將為具身智能賦能,開啟智能社會的更多可能性。
通用意義的 AI Agent 智能體實現了“以意圖為中心”的 AI 與人的協作機制,系統超級智能 體則進一步結合 OS 系統的底層能力,為使用者提供體系化、可擴展的智能能力。
OS 系統資源中 的各項能力(感知能力、記憶能力、工具能力等)向系統超級智能體開放並由其進行管理。
系統超級智能體主要由以下四個邏輯功能模組組成:
類似於終端作業系統(HarmonyOS、Android、iOS)的系統級 APP 和普通 APP 一樣, 除了系統超級智能體之外,下一代 AI 終端中還將存在多個領域智能體(領域 Agent)。
系統超級 智能體和領域 Agent 相互協作,為使用者提供全域性與專業性結合的智能服務體驗。
端側側重感知執行,雲側側重規劃決策,端雲協同構築真正強大的全域化智能,同時,端雲 協同一體的晶片、算子、模型的設計,還可以釋放更強大的硬體資源。
以華為端雲協同解決方案為例, AI 計算生態同棧,端雲模型同源,為業務帶來極致性能體驗。
端側自訂算子程式設計: 業界首次開放端側 NPU(Cube)的自訂算子程式設計,使能更 多樣的模型能夠運行在硬體加速器上,並可根據需要進行專門的定製最佳化。
端雲統一的 AI 計算生態: 業界首次實現端雲統一的 AI 計算生態,端雲的算子最佳化可 以互相使能或借鑑,並借助社區力量,推動端雲硬體加速的協同發展。
端雲晶片同源: 有利於端雲算力動態互助,以端助雲降成本,以雲助端提升體驗,同 時便於業務在多裝置間流轉時,保持能力、體驗的一致性。
端雲模型同源: 有利於模型能力、資料分佈、詞表、端雲體驗一致性的對齊,助力端 雲演算法協同、資料協同、業務場景協同。
隨著 AI 在未來的智能社會中扮演著越來越重要的角色,AI 系統需要處理更豐富更全面的個人 資訊,一旦 AI 系統被攻破,大量使用者敏感資料可能會被竊取和濫用,此外,AI 大模型本身也可能 成為攻擊目標,比如攻擊者可以通過設計出特殊的提示詞進行越權訪問,獲得其本來無權訪問的用 戶隱私資料,或引導智能體執行一些不該執行的動作。
生成式 AI 系統的可信安全體系需要從晶片、硬體、作業系統、大模型、智能體等多個維度全 新設計。
以華為 AI 終端為例,通過深度整合軟體、硬體、晶片與雲端各層防護機制,形成立體、動態、 自適應的“軟硬芯雲一體化安全架構”,確保資料、應用和使用者互動的安全無虞。
智能感知與動態防護的軟體安全:
1)整合自我學習與適應能力的 AI 安 全引擎,即時監控系統行為,識別異常活動,有效抵禦病毒、木馬和 0 Day 攻擊。
2)採用微服務架構,實現服務間最小權限原則和隔離,降 低單一服務受損對整體系統的影響。
3)內建的隱私保護機制,將確保用 戶資料在處理、儲存和傳輸過程中的加密與匿名化,保護個人隱私。
內建安全與可信執行環境的硬體安全: 通過整合安全晶片(如 TPM、 SE 等)實現硬體級的金鑰管理、身份驗證和資料加密,為系統提供 不可篡改的信任根。
此外,基於可信執行環境(Trusted Execution Environments, TEEs)為敏感操作提供獨立的執行空間,同時實現基 於密碼學的機密計算,保證了資料和計算過程的保密性、可靠性、不可 篡改性。
定製化安全指令與硬體加速的晶片級安全: 在晶片設計階段融入安全理 念,開發定製化的安全指令集,以硬體加速的方式執行加密運算和安全 協議,確保從底層硬體到上層應用的全程安全。
生態在 AI 終端中佔據著非常重要的一環,推動了應用和服務的多樣化發展。
通過建立開放的 生態系統,開發者可以輕鬆接入和利用 AI 能力,從而快速開發出創新的應用和服務,滿足使用者的 多樣化需求。
總體上,華為 AI 終端基於“分層開放、全流程價值賦能”的原則助力鴻蒙 AI 生態開發。
應用開發和部署階段:
模型開發部署能力開放: Core Deep Learning API,基於軟硬芯雲垂直整合,提 供硬體加速的端側模型推理、訓練和構圖介面,支援三方模型通過 Tools(統一 IR) 轉換為預設 MindSpore Lite,實現一次開發即可在多晶片(CPU、GPU、NPU、 DSP)運行,確保海量存量 AI 應用極易遷移的同時,在麒麟晶片、HarmonyOS 上 更能夠發揮出 AI 應用的極致性能體驗。
高價值 AI 能力開放: 為應用提供與 HarmonyOS 深度適配的,極具競爭力的原子化 AI 介面(Core AI API),以及高階 AI 系統能力元件(AI 控制項、意圖框架),應 用可直接整合,實現快速開發與迭代,提升使用者體驗和應用性能。
領域 Agent 開發平台開放: 小藝開放平台為領域 Agents 提供一站式、無程式碼開發 整合環境,同時提供移動終端獨特的工具 / 外掛,如位置服務外掛、事件通知外掛等, 賦能 CP 高精準、高效率地開發移動終端領域 Agent。
應用運行階段:
應用智能化推薦: 基於多裝置融合感知、意圖框架體系以及系統級多入口,小藝建議 幫助應用 & 服務多維度、多頻次、多場景、高效率地觸達使用者,實現從人找應用,到 應用找人。
服務智慧化編排: 在小藝系統超級智能體的統一協同下,服務可分可合、自動化編排, 實現服務按需組合,入口一步直達。 (AI雲原生智能算力架構)