蘋果野心勃勃!Vision Pro新專利曝光：要打造全身3D數字人,AI重建你的全身Avatar

革命性突破!蘋果新專利曝光Vision Pro全身Avatar技術

蘋果展示了Vision Pro「Persona」功能的未來更新，可能產生使用者的全身虛擬形象

Vision Pro的一項有趣功能被稱為“Persona”，即使用者的個人數字形象，正如蘋果的行銷宣傳圖所示。近日，美國專利商標局正式公佈了一項來自蘋果的專利申請，揭示了該功能的潛在進步：未來可能不僅限於使用者的臉部，而是能夠產生使用者的全身「Persona」。這項更新可以捕捉使用者的衣著風格、紋理、髮型、髮色、臉部毛髮特徵、眼睛顏色、配飾等。

蘋果在其專利背景中指出，在使用者使用裝置時（如頭戴裝置），產生或修改使用者的三維模型可能是可取的。然而，現有系統可能無法充分利用外部裝置的資料來產生或修改此類使用者形象。

多裝置模型增強

總體而言，蘋果的發明涵蓋了透過外部裝置（如相機、頭戴式揚聲器裝置、頭戴裝置或其他穿戴式裝置）收集資料，以改進穿戴裝置上產生的使用者三維模型的系統、方法和裝置。

外部裝置提供的資料可能包括與使用者身體部位（如軀幹、背部、腿部、腳部等）相關的視覺資料，或使用者特徵（如身體尺寸、形狀、皮膚紋理、衣物材質、使用者姿勢等）的資訊，這些資訊可能無法透過使用者穿戴裝置上的感測器（如攝影機）捕捉。

例如，頭戴裝置的感測器可能只能提供Vision Pro佩戴者的部分視角資料，而外部裝置可能會提供不同角度的使用者檢視，覆蓋使用者的其他部分。透過外部裝置收集的資料集可以傳輸到頭戴裝置中，使使用者的三維模型更加精確、完整、有效或更符合需求。

在某些實作中，外部裝置的資料與目前配戴裝置的資料同步，例如，目前的外部裝置資料用於補充目前配戴裝置的資料。在其他實現中，外部裝置的資料來自不同的時間點，例如，先前捕獲的外部裝置資料用於補充當前的資料。

例如，儲存的感測器資料（如從安全攝影機等裝置中先前獲取的使用者圖像）也可以用於更新使用者的身體模型。

在某些實作中，來自不同裝置的資料會被匹配，用於產生或更新模型（例如，透過匹配過程或準則確認為相同使用者）。

在某些實現中，外部裝置所獲得的資料可以用於更新使用者的三維模型（如點雲模型、參數化表示模型、骨骼模型等）。在其他實現中，外部裝置資料可用於更新頭戴裝置使用的預測模型（如神經網路）。例如，外部裝置資料可以作為額外的訓練資料或輸入資料來更新預測模型。

下圖1展示了一個透過外部攝影機接收Persona資料來產生或更新使用者模型的範例操作環境；圖2展示了包含部分被遮擋的使用者身體部分的使用者模型產生或更新的操作環境；圖3展示了一個用於識別使用者以確定使用者感測器資料的範例過程。

圖4展示了一個範例環境的系統流程圖，其中系統可以透過多裝置提供感測器資料以更新穿戴裝置上產生的使用者模型；圖5是一個範例方法的流程圖，展示了多裝置如何提供感測器資料以更新穿戴裝置上產生的使用者模型。

使用者的三維模型可用於建模骨骼長度、體型、皮膚/身體紋理（如紋身、疤痕等）、衣物類型、衣物形狀、顏色、材質、紋理、髮型、髮色、臉部毛髮特徵、眼睛顏色、配件（如耳環、鼻釘、項目鏈、眼鏡、耳機、包包等）。單一使用者可能會使用多個三維模型來建模不同的屬性（如第一個模型用於體型，第二個模型用於皮膚紋理）。

模型表示可以包括參數化人體模型、體素表示、隱式表面表示、神經輻射場（NeRF）表示、骨骼表示、點雲、三角網格、點陣圖（用於紋理）、隱式紋理、材質目錄引用、紋理圖集引用、資產目錄引用（如髮型、衣物、配飾等）。

全球遊戲娛樂巨頭EA正大力佈局AIGC+遊戲

在該公司最近的投資者日活動中，EA執行長安德魯·威爾遜（Andrew Wilson）詳細談到AI 技術如何推動EA 工作室的創新，並表示它已經成為「我們業務的核心」。威爾遜先前曾表示，EA 60% 的開發流程可能會受到生成式AI 的「影響」，並稱EA 正在「深度擁抱」這項技術。

威爾遜進一步強調，AI 對EA 而言並不是一個“流行詞彙”，並指出公司目前正在開發超過100 個AI 創新項目，分為三個類別：效率、擴展和變革。

談到效率，威爾遜表示，效率不僅僅是“節省成本”，更是“以更快的速度、更低的成本和更高的品質完成我們目前的工作。”

「這意味著為我們的社區提供更多的迭代、更頻繁的測試和高品質的內容。它還意味著為遊戲開發者消除障礙，」他補充道。 “這意味著在全球範圍內實現內容本地化，以便開發者專注於為全球更多玩家找到樂趣。降低這些摩擦點將帶來更深層次的遊戲體驗。”

威爾遜進一步指出，如果沒有依靠AI 工具，EA 無法完成College Football 25 的開發，這些工具幫助公司建立了150 個獨特的體育場館和超過11,000 名球員的形象。他表示，這正是EA 所推動的擴張。

「擴展是為我們的創意團隊提供更廣闊的創作畫布，以及更豐富的色彩，讓他們能夠繪製出更輝煌的世界。這意味著我們的團隊可以創造更具深度和智慧的角色，講述更具個性化和細膩的故事，並為我們無與倫比的體育體驗帶來更多的真實性和更深的沉浸感，」他繼續說道。

「多年來，我們一直在談論如何讓我們的遊戲帶來永遠新鮮和不同的體驗。我們預測，借助生成式AI，我們將真正能夠為數十億人提供這一承諾，創造數十億小時的遊戲體驗。

至於變革？威爾遜認為，這個概念是展望未來，思考AI 如何提供今天無法想像的體驗。

「我們相信，AI 將大大擴展和變革使用者生成內容的娛樂體驗，」他補充道。 “它將加速創新者和創作者如何建構和提供以自我表達、內容創作、策展和即時滿足為基礎的體驗，這正是當今玩家和粉絲深深渴望的娛樂形式。”

他還表示，當EA 的最大IP 被AI 「賦能」後，EA 將能夠培育龐大的線上社區，講述引人入勝的故事，並利用玩家的力量超越傳統視訊遊戲的界限。當然，這聽起來和許多工作室目前正在做的事情沒有太大不同。

EA 還設想了一個生成式AI 未來，其中玩家和開發者形成「共生關係」。

EA 娛樂與技術總裁勞拉·米埃爾（Laura Miele）也表達了相同的觀點。接過威爾遜的話題，她解釋說，EA 正在進行一項為期數年的努力，旨在將幾十年的3D 資料和資產進行集中，以支援其開發團隊和Frostbite 遊戲引擎。

她表示，這個類似「史密森學會」的龐大資源庫使EA 能夠使用自己的專有資料訓練其機器學習和大型語言模型。這些模型可以被EA 內部團隊使用，例如SEED（Extraordinary Experiences Division），這是一個創新實驗室，專注於“AI 驅動的遊戲開發、生成藝術和程序化內容”，包括一個名為“Script to Scene”的工具，可以整合多個工作流程，幫助開發者透過文字或語音輸入建構角色、指導表演和創作世界。

她解釋說，EA 團隊可以使用該工具即時生成一個“4 層的巴黎公寓樓”，然後通過額外的提示（例如“增加樓層”）進行調整。她還表示，該技術可以用來建立整個社區、城市，最終甚至是整個世界。

在演講的後半部分，EA 首席策略長Mihir Vaidya 接過話題，表示EA 設想將工具如「Script to Scene」交到玩家手中，使他們無需程式設計知識就能「將想像力轉化為創作」。

他進一步澄清道，「從想像到創作」不會讓玩家立即建立、發佈和支援整個遊戲，而是讓他們建立強大的使用者生成體驗（UGX）。

在展示EA 一些「令人興奮的實驗」的簡短概念影片時，Vaidya 展示了EA 的AI 工具如何創造不可能的、以前難以理解的現實，例如一個「由紙箱組成的遊戲」。

影片中，一位玩家語音提示：「做一個紙箱迷宮。」隨即出現了一個由紙箱構成的簡單關卡。

在對最初的紙箱迷宮感到不滿後，玩家要求AI 讓關卡「更複雜」並且「多層次」。 EA 所設想的「從想像到創作」工具箱則產生了一個更複雜的迷宮。

影片以兩位玩家進行自訂1v1死鬥結束，只有手榴彈是致命的。兩位玩家分別從現有EA 系列作品如Battlefield 和Apex Legends 中選擇武器和角色，這表明EA 將其「從想像到創作」工具箱視為一個開放的沙盒，充滿可混合的遊戲系統、資產和邏輯。

Vaidya 表示，EA 希望玩家能夠將這些AAA 級內容作為UGX 體驗的“基礎”，並可能最終將這些創作轉化為“排行榜前列的IP”。

“這將創造一種新的共生關係，不僅是我們開發者與UGX 創作者之間的關係，也是我們IP 作為新體驗和新業務的發射台。” （三次方AIRX）