隨著2024 年Vision Pro 的發布,蘋果迎來了下一個iPhone 時刻。類似2007 年的革命,蘋果公司透過智慧化、沉浸式空間運算平台,再次改變了運算行為的軌跡。就像2007 年一樣,世界再度煥然一新。一款全新的作業系統開啟了全新的維度。這些無限的、分層的畫布賦予了使用者「超能力」。現在,在任何環境中,人們都可以憑藉超凡的能力,在傳統物理世界和數位世界之外的空間中與資訊、內容以及他人互動。我們每天都可以進入前所未有的世界,體驗在虛擬和增強領域中形成的奇妙世界。
人類正踏上未知的混合實境之旅,這是一場智慧、沉浸式且超越現實的旅程。混合實境提升了人類的能力,在不斷發展的混合維度中釋放指數級的性能,取得前所未有的成就,促進了物理世界與數位世界的相互聯繫。
空間運算是許多商界人士在蘋果公司於2023 年6 月發布Vision Pro 裝置時第一次聽到的術語。但是,這並不是一個新術語。有人可能會說,我們的手機是原始的空間設備。事實上,AR、VR、XR(擴展現實)和AI 領域的許多專業人士多年來一直致力於空間運算。
為了理解空間運算的商業價值,我們首先必須為商業世界創建一個工作定義,並解釋它將帶來的市場機會。
一旦這樣做了,我們就可以了解商業和計算將如何變化,以便為這項轉型做好準備。
許多人追溯到西蒙·格林沃爾德(Simon Greenworld) 2003 年在麻省理工學院發表的碩士論文,在其中,空間計算首次被定義為學術術語。當時他還是麻省理工學院媒體實驗室美學與計算小組的研究員。在論文中,他探討了計算結構的空間環境,並這樣定義空間計算:「空間計算是人類與機器的交互,其中機器保留並操縱真實物體和真實空間的參照物。它是讓我們的機器在工作和娛樂中成為更好夥伴的重要組成部分。
他進一步定義:「作為人類與機器的交互,在其中機器保留並操縱真實物體和真實空間的參照物。在理想情況下,這些真實的物體和空間對用戶具有優先意義。空間計算更關注體驗質量。它們需要加入我們的物理世界。 它們將不得不操作我們操作的物體,而我們需要使用我們的物理直覺來操作它們。
格林沃德的定義並非獨一無二。很早以前,曾是創投界和科技界寵兒的Magic Leap(美國擴增實境公司)將他們正在打造的設備描述為空間運算設備。他們將空間運算定義為一種新的運算形式,利用AI 和電腦視覺將虛擬內容無縫融入我們周圍的物理世界。
他們透過一款名為Magic Leap One 的設備做到了這一點。在2018 年由前CEO(執行長)羅尼·阿博維茨(Rony Abovitz)和其他幾名著名的Magic Leap(美國擴增實境公司)員工撰寫的一篇題為《空間計算:給我們技術在朋友的概述》的文章中,他們解釋了該公司如何將空間計算定義為一種新的計算形式,讓數位內容超越當今2D(二維)螢幕和計算機的限制,並深入研究了其中的一些技術構件。 1 從那以後,Magic Leap 就不再使用空間來計算這個術語,而是使用AR 一詞,這項變更可以從其最近的媒體採訪和網站上可以看到。
在蘋果公司2023 年6 月召開全球開發者大會(WWDC)期間,該公司公開表示,空間運算「將數位內容與實體世界無縫融合,同時讓用戶可以身處其中並與他人保持聯繫。」這一資訊進一步反映在其網站和針對開發者的visionOS(蘋果的空間運算作業系統)資料中。
在Meta Connect 2023 開發者大會期間,Meta 公司宣布推出其Meta Quest 3(頭戴裝置),該產品採用新的晶片,使設備能夠更好地穿過混合現實,透過先進的空間映射更好地掃描物理世界,以及實現虛擬物品的空間錨定, 讓佩戴者每次使用設備時都可以返回起點。 Meta 高層也談到透過智慧眼鏡的發展迎來下一代運算平台,並表示該公司的新眼鏡將是「未來很長一段時間內市場上最有價值的空間運算眼鏡」。
該公司還宣布了新的雷朋Meta 智慧眼鏡,將在2024 年實現多模態,並能夠利用AI 了解配戴者周圍的環境。微軟將其定義為設備感知周圍環境並以數位方式表現這種感知的能力,以及在人機互動中提供新功能的能力。
AWS(亞馬遜雲端運算服務)將空間運算定義為虛擬世界與實體世界的結合,透過將實體世界虛擬化,並將虛擬資訊疊加到實體世界上,使用者可以透過自然和直觀的方式與數位內容進行交互。對AWS 來說,這種結合增強了我們在實體或虛擬場景上進行資料視覺化、資料模擬以及與資料互動的方式。亞馬遜技術副總裁比爾瓦斯(Bill Vass)在他的部落格文章《預測未來的最佳方式是模擬未來》中表示,「太空運算是協作體驗的動力」。
英偉達公司透過Omniverse 產品為其開發人員引入了空間框架,而Niantic(遊戲公司)透過其視覺定位系統(VPS)專注於空間映射,該系統使用戶能夠將虛擬物品放置在特定的現實世界位置,並讓該物品持續存在,因此一個人可以留下一個物品供其他人尋找,從而使現實世界的全球桌上遊戲變得栩栩如生。
空間運算世界依賴一系列基礎技術來驅動其沉浸式體驗。這些技術包括AI 和內容創作工具,以及連接解決方案和雲端運算。在本節中,我們將探索這些技術及其在空間計算領域中的關鍵作用。在空間運算領域中,數位世界和物理世界融合在一起,創造出非凡的體驗。
AI 基礎
AI 是空間運算的基石,包含多個子領域。
機器學習(Machine Learning,ML)
空間計算的支柱,使系統能夠從數據中學習並適應,而無須明確編程。它讓機器可以識別模式、做出決策,並隨著時間的推移提高其效能。在空間計算中,機器學習為AR 導航中的路線規劃等應用提供了支持,這些應用透過分析即時感測器數據為用戶提供最有效和最友好的路線。透過不斷完善其對環境的理解,機器學習在增強使用者體驗方面發揮關鍵作用。
深度學習(Deep Learning,DL)
機器學習的一個子集,專注於使用多層神經網路來建模複雜模型。在空間運算中,深度學習能夠創建處理大量資料的複雜模型,這對於AR 和VR 應用中的影像辨識和物件偵測至關重要。該技術增強了空間設備識別使用者周圍環境中的物體和空間並與之互動的能力。
強化學習(Reinforcement Learning,RL)
機器學習的一種形式,其中智能體透過採取行動和接收回饋或獎勵來學習如何做出決策。在空間運算中,強化學習用於開發遊戲和娛樂應用中的動態角色行為。它讓角色能夠根據使用者的輸入調整自己的動作,從而創造更具沉浸感和互動性的體驗。此外,強化學習有助於空間設備中使用的即時決策過程,以改善使用者互動。
程序化生成(Procedural Generation)
一種用於透過演算法生成內容的技術,可以創建大量不同的風景、物件和場景。在空間運算中,程式化生成為沉浸式環境帶來了動態且不斷變化的維度。這項技術通常用於產生3D 世界,使每個使用者的體驗都是獨一無二的。它對於遊戲、虛擬模擬和AR 等應用至關重要,這些應用需要即時生成內容以保持新鮮度和多樣性。
神經網路(Neural Networks)
受人腦結構啟發的計算模型。它們是各種AI 任務的基礎,包括模式識別和數據分析。在空間運算中,神經網路有助於處理複雜的任務。例如,它們在電腦視覺中發揮關鍵作用, 能夠識別現實世界中的物體和形狀。這種功能對於在AR 應用中增強物理環境至關重要,可以提供即時資訊並增強使用者理解。
電腦視覺(Computer Vision,CV)
一種讓機器能夠理解和解釋來自物理世界的視覺訊息的技術。在空間計算中,電腦視覺處於最前沿,它幫助空間設備識別使用者周圍的物體和空間,並與之互動。它在AR 導航等應用中發揮重要作用,可以將數位資訊疊加到現實世界中,為使用者提供即時方向和導引。
感測器技術(Sensor Technology)
感測器技術是空間運算的感覺神經系統,為設備提供感知物理世界的能力。太空設備配備了各種感測器,包括相機、陀螺儀、加速度計、GPS、光探測和測距(雷射雷達) 等。這些感測器會擷取與使用者周圍環境相關的數據,如運動、位置、光照水平甚至深度資訊。在空間運算中, 感測器在理解使用者的環境和移動、促進精確追蹤、手勢識別和物理空間映射方面發揮關鍵作用。這些感測器是空間設備的眼睛和耳朵,使它們能夠為使用者提供即時的、環境感知的體驗。無論是用於沉浸式遊戲、AR 導航,還是用於工業環境的精確地圖繪製,感測器技術對於創建動態體驗和互動式空間體驗都至關重要。
空間音響(Spatial audio)
空間音訊是空間運算領域沉浸式體驗的無名英雄。它改變了我們感知聲音的方式,讓我們沉浸在與環境視覺協調一致的3D 聽覺情境中。無論你是在探索虛擬世界、參加虛擬音樂會,還是在聽AR 講故事,空間音訊都可以為體驗的聽覺部分增加深度、維度和真實感。它可以讓聲音從空間中的特定位置發出,從而使用戶產生方向感和距離感,甚至可以模擬不同環境的聲學效果。空間音訊不僅豐富了我們的娛樂體驗和遊戲體驗,而且在訓練模擬、虛擬會議和建築設計中得到應用。這項技術徹底改變了我們與聲音互動的方式,使音訊成為沉浸式體驗中不可或缺的一部分。
眼動追蹤(Eye tracking)
眼動追蹤技術已成為空間計算領域的遊戲規則改變者,為了解使用者的意圖和興趣提供了直接的視窗。透過精確監測眼球運動和注視方向,它可以實現與空間設備更自然、更直覺的互動。從VR 和AR 到遊戲和醫療健康應用,眼動追蹤都可以增強使用者體驗。它讓設備可以根據使用者的視線進行調整,從而提供有針對性的信息,增強沉浸感,甚至提供個人化的內容。除了娛樂之外,眼動追蹤在幫助行動障礙患者和協助診斷程序等醫療健康方面也具有很好的前景。借助這項技術,觀看行為成為一種強大的工具,以之前難以想像的方式駕馭和塑造數位世界和物理世界。
語音辨識(Voice recognition)
在AI 能力的推動下, 語音辨識技術已成為空間運算領域輕鬆交流的基石。借助語音的力量,使用者可以自然地與空間設備進行交互,僅用聲音就可以發出指令、提出問題並接收回應。 AI 演算法是語音辨識的基礎,其使這些系統能夠理解人類語言、口音和脈絡的細微差別。這項技術不僅為日常工作帶來了便利,也為無障礙交流打開了大門,讓具備各種能力的個人都能參與空間環境。無論是在AR 介面導航、控制智慧家庭設備,還是觸手可及的即時語言翻譯方面,AI 增強的語音識別都已經成為連接人類意圖與數位行動的橋樑。在快速發展的空間運算領域,語音辨識就像一首交響樂,使我們的言語與我們想要的行動和體驗協調起來。
異常檢測(Anomaly Detection)
異常檢測涉及識別資料中的異常模式或行為。在空間計算中,這項技術對於確保安全至關重要。透過分析感測器數據並識別異常情況,空間設備可以提醒用戶潛在的問題。異常檢測在與預測性維護相關的應用中尤其重要,它有助於預測設備故障並減少停機時間。
基於物理的模擬(Physics-Based Simulation)
基於物理的模擬對於在空間運算中創建逼真、動態的虛擬環境至關重要。空間應用程式可以模仿現實世界的物理交互,增強用戶的存在感和互動感。醫療訓練模擬、建築設計和遊戲等應用程式利用這項技術來提供逼真的場景和使用者體驗。
優化演算法(Optimization Algorithms)
最佳化演算法是空間計算中簡化流程和決策的基礎。它們確保系統有效率、有效地運作。在零售商店佈局優化等應用中,這些演算法分析客戶的行動數據,並幫助零售商透過優化商店佈局和產品擺放來增強顧客的購物體驗。
自然語言處理(Natural Language Processing,NLP)
自然語言處理使機器能夠理解人類語言並與之互動。在空間運算中,自然語言處理促進使用者和空間裝置之間的無縫交流。這對於涉及即時語言翻譯的應用尤其關鍵,AR 眼鏡可以將口語即時翻譯成字幕或音頻,讓講不同語言的人可以輕鬆交流。
語言辨識(Speech recognition)
將口語轉換為文字或可操作資料的技術。在空間計算中,這項技術有助於使用者互動。它使用戶能夠發出語音指令並接收來自空間設備的回應,使語音控制介面成為AR 和VR 應用程式不可或缺的一部分。
生成式AI(Generative AI,GenAI)
一項為空間運算帶來一個新的創造力維度的技術。它讓應用程式能夠創建3D 內容和模擬,從而擴展了沉浸式體驗的可能性。例如,在時尚設計和奢侈品領域,生成式AI 可用於處理體積資料、分析供應鏈資訊以及產生產品及設計的虛擬3D 模型。
這些技術共同構成了空間運算的AI 框架,為其註入了在現實世界中互動、適應和創新的能力。
為了進一步擴展AI 在空間計算中的關鍵作用,我們現在需要探索其實際的商業效益。這種融合對企業意味著什麼?企業如何從目前的融合中受益,同時關注AI 與空間運算在融合方面的快速發展?
AI 在空間運算中的一些實際的商業效益包括以下幾類。
第一,改善零售和電子商務中的客戶體驗。除了聊天機器人之外,空間運算中的AI 為零售和電子商務中的客戶支援提供了更強大的體驗。電子商務正在轉變為虛擬店面,商店在網路上創建其零售點的數位孿生。試驗性電子商務平台Obsess 使用生成式AI 來設計效率更高的虛擬店面,並大規模產生動態內容。虛擬聊天機器人升級為虛擬的、栩栩如生的人,其可以根據購物者的喜好即時自訂個人化回應。
在實體零售點,空間計算中的AI 扮演著不同的角色。個人化在網路上更有可能實現,但實體零售店也可以使用空間運算中的AI 為店內顧客帶來個人化體驗,從而彌合他們的數位購物習慣與實體購物習慣之間的差距。店內空間計算中的AI 可以為顧客在實體零售點的旅程添加時間戳,從而創建顧客的完整視圖。儘管並不是每個人都擁有空間運算設備,但智慧型手機正在接近這個目標。隨著支援空間運算技術的穿戴式裝置進入市場,零售商可以使用這些裝置以及AI 和資料集來引導顧客獲得新的店內購物體驗,引導他們嘗試不同的產品,或根據他們的喜好(如對店內服務生、獨自購物、櫥窗購物,以及那些進進出出的人的要求)來優化購物時間。
第二,加強醫療健康和教育領域的訓練和模擬。熟能生巧這句話對任何人都適用,對醫療健康領域的專業人士更是如此。了解人體及各種狀況是練習者提升自己的唯一方法。從依靠遺傳捐贈者進行學習到使用虛擬實境和模擬實驗室進行高級模擬,醫療健康培訓和教育取得了突飛猛進的進步。再加上空間運算中的AI,醫療健康從業人員將得到全新的培訓機會和教育機會。
空間計算中的AI 不僅能用於實踐前的學習和練習,還可以幫助外科醫生評估他們的手術。在醫療健康教育領域,AI 在空間計算中的作用是提高從初學者到經驗豐富從業者的轉變速度和品質。將空間運算中的AI 整合到目前的醫療健康工作流程中,可以透過使用大量數據和學習來即時教育醫療健康從業者,幫助醫生更快地判斷病情。空間運算中的AI 與連接設備相結合,能夠使從業者看到他們以前無法看到的人體部分,例如肺部的新角度,這些可以為手術和診斷提供資訊。
第三,製造效率和物流效率的提升。空間運算中的AI 有可能徹底改變製造業。目前,很多工廠的運作都
採用機器人、感測器和數據採集等技術。與人類同行一樣,空間運算中的AI 可以即時指導操作人員。空間運算中的AI 消除了對過時人機介面的需求,因為它可以向特定位置的操作人員學習,並透過工廠中的攝影機和其他感測器,用電腦視覺來識別生產線上的問題、產品缺陷和其他品質關注點。空間計算中的AI 可以將相關資訊回饋給操作員,以便即時進行調整。空間運算中的AI 在製造領域和物流領域的應用如果實施得當,可以減少浪費,縮短產品上市所需的時間,並大幅提高操作人員的安全性。
第四,遊戲和娛樂中的創意應用。遊戲和娛樂產業已經為空間運算中的AI 做好了準備。從使用者到新技術的採用,空間運算中的AI 為我們觀看、玩耍和遊戲的方式提供了創造性的應用。空間運算中AI 為開發人員提供創意應用的一種方式是從使用操縱桿和鍵盤切換到用眼睛和手勢控制。空間運算中的AI 能在現實世界事件的遊戲化中變得有趣,例如在現場比賽中創建籃球運動員的數位孿生,球迷可以透過他們的空間電腦在籃球比賽中與籃球運動員進行互動。
空間運算中的AI 使得開發人員可以創建基於三維空間的遊戲,而不是讓基於二維空間的遊戲來適應空間計算。空間運算中的AI 具備利用現實世界環境的能力,能加速物件和場景的開發。另外,利用空間電腦進行空間創作的能力將為遊戲開發、電影製作、音樂表演和其他娛樂活動領域創造全新的產業。
第五,農業產業的進步。科技在農業方面的利用並不少見。拖拉機和農機設備裝有感測器,可以追蹤種子的播撒情況,並根據土壤和其他相關指標來評估植物的品質。約翰迪爾(John Deere)公司在2022 年的CES(國際消費性電子產品展覽會)上展示了一款全自動駕駛拖拉機。空間運算中的AI 是這些連網車輛、感測器和設備的關鍵進步,可用於增強精準農業,如害蟲檢測、植物健康、資源分配優化等。空間計算中的AI 先進的空間視覺化技術使農民能夠從複雜的農業數據中獲得新的見解並識別新的模式。
在房地產領域,空間計算中的AI 提供了各種各樣的用例,從建築物和住宅的數位孿生到家具擺放或施工前的數位化翻新房屋。
第六,汽車和交通運輸產業的創新。空間計算中的AI 為使用者和交通規劃者提供了靜態的二維地圖的視角轉換。透過平視顯示器將空間運算中的AI 整合到車輛中,例如BMW7 系列或捷豹XF 採用的全像顯示器,它們可以告訴駕駛交通狀況、協助換檔的換檔點、橫向轉彎時的加速度大小,以及越野時的轉向角和俯仰角等各種資訊。在我們大多數人每天都在進行的活動中,空間計算中的AI 提供了我們以前無法獲得的資訊和幫助。
針對交通規劃者的空間運算AI 可從道路上的感測器、連網汽車和基礎設施中的其他連網數據點獲取數據,並利用這些數據來規劃路線、預測交通流量並考慮道路狀況。空間運算中的AI 在公共運輸上,可以利用空間分析來預測各種公車路線的需求。對飛機來說,太空運算中的AI 在飛行前檢查時可以比人工更快、更有效地檢查飛機是否被鳥類、閃電或其他事件損壞。空間計算中的AI 能夠縮短檢查時間,並提供即時報告。在一個案例中,使用空間計算中的AI 解決方案,針對損壞的檢查時間從30 分鐘縮短到3 分鐘。(碳鏈價值)