•
Meta揭秘首款AR眼鏡Orion背後的計算單元，秒變6Dof控製器，還能秒變全息投影盤
從頸掛到口袋，Meta AR眼鏡計算單元進化史揭秘！
Meta去年亮相了“真AR眼鏡”Orion~~~
剛剛，Meta進一步透露了原型設計過程，特別是關於"計算終端"（compute puck）的研發細節——該裝置可將大量複雜運算任務轉移至使用者口袋中的外接裝置。
當前XR頭顯體積龐大的主要原因之一，是需要容納高性能處理器、大容量電池和散熱系統。然而隨著Meta及整個行業致力於打造可全天佩戴的AR眼鏡，裝置尺寸成為嚴峻挑戰。
所謂"計算終端"，是作為AR眼鏡的配套裝置，將部分運算任務和電池模組從頭顯轉移至可隨身攜帶的裝置中。
Meta在Orion AR眼鏡原型中採用了這種計算終端方案。雖然Magic Leap等公司曾使用類似方案，但Orion的創新之處在於實現了完全無線連接。不過該設計並非最初構想。
Meta今日披露了更多Orion原型開發細節。公司表示，計算終端最初被設計為有線連接的頸戴裝置，代號Omega。
但研發團隊很快決定放棄有線連接，轉而開發完全無線、可放入口袋的計算終端方案。
實現無線化後，Orion團隊發現這為裝置功能拓展帶來了新可能。
其中一個巧妙構思是將計算終端作為內容錨點，例如在其上方投射視訊通話介面。這不僅為使用者提供了實體化的內容轉移空間，還能促使使用者將終端從口袋取出，通過改善散熱來提升裝置性能。
"這種互動方式前所未見——裝置具備創造趣味獨特體驗的潛力，"Meta工業設計師Emron Henry表示，"使用者體驗如同從魔瓶中釋放精靈，全息影像從裝置中無縫浮現又悄然隱去。"
團隊還考慮將計算終端作為控製器，借助內建攝影機實現由內而外的空間追蹤。
不過最終公開的Orion版本弱化了控製器在輸入方式中的核心地位，轉而採用眼動追蹤與神經輸入結合的方案，這得益於Meta正在開發的肌電腕帶原型。
但Orion的最終形態仍存變數。對研發團隊而言，當前正是進行設計探索的寶貴時期。
"我們正在定義一個尚未完全成型的產品類別，"Henry指出，"正如所有研發過程都會經歷的，我們不斷試錯調整：使用者期待怎樣的全息互動方式？他們更傾向使用AR遙控器，還是手勢追蹤、視線互動與肌電輸入已足夠？怎樣的設計才能實現直覺化、低延遲、符合使用習慣且實用的互動？"
儘管Meta表示Orion最終將引領其首款消費級AR眼鏡的誕生，但關於產品具體上市時間與定價，公司目前仍未有明確規劃。
Orion的計算單元“小裝置”：促成我們AR眼鏡成真的幕後故事
去年的Connect大會上,我們發佈了Orion - 我們首款真正的AR眼鏡。作為Reality Labs過去十年工作的集大成之作,Orion將大型全息螢幕和個性化AI助手的優勢,整合在一個舒適的全天候可穿戴形態中。它憑藉業界領先的視場角、碳化矽波導管、微型LED投影儀等特性引起關注。但今天,我們要聚焦Orion的一個幕後英雄:計算小裝置。
這個小裝置設計巧妙,可輕鬆放入口袋或包中,讓你外出時隨身攜帶。它承擔了Orion的處理能力來運行應用邏輯,使眼鏡能夠實現更具吸引力的小巧外形。它通過無線方式連接眼鏡和EMG腕帶,提供無縫體驗。
聽起來很簡單,對吧？
但即使作為原型,這個小裝置的背後故事也相當複雜,有著從其外表完全看不出的戲劇性發展。
"當你在打造這樣的產品時,你會開始觸及物理極限,"產品管理總監Rahul Prasad解釋道。"在過去50年裡,摩爾定律使一切變得更小、更快、更省電。問題是,現在我們開始觸及散熱量、電池壓縮以及特定尺寸物體中天線性能的極限。"
雖然事後諸葛亮很容易,但小裝置的潛力並非一開始就顯而易見。當你是第一個打造某樣東西的人時,你需要探索每一種可能性 - 不放過任何細節。如何打造一個可能被某些人視為不必要配件而非關鍵元件的東西？
"我們知道這個小裝置是我們要求人們額外攜帶的裝置,"產品設計工程經理Jared Van Cleave說,"所以我們探索如何將這個缺點轉化為特色。"
最終,這種理念大獲成功 - 小裝置將大量計算能力(以及更多Meta自主設計的AI和機器感知定製晶片)濃縮在小巧的尺寸中。這對幫助Orion從科幻變為現實起到了關鍵作用。
"如果沒有這個小裝置,你就無法在Orion這樣的形態下獲得它提供的體驗 - 這是毋庸置疑的,"Prasad說。"優質的AR體驗需要極高的性能:高影格率、極低延遲、精細的無線和電源管理等。小裝置和眼鏡需要協同設計才能緊密配合,不僅是在應用層面,還包括作業系統、韌體和硬體層面。即使為AR眼鏡專門設計一款智慧型手機,其苛刻的性能要求也會耗盡手機電池並佔用手機的計算能力。相比之下,這個小裝置擁有自己的大容量電池、高性能SoC,以及為Orion最佳化的Meta定製AI協處理器。"
當然,這個小裝置不是一蹴而就的。它經過多年的迭代開發。
"從輸入角度來看,我們不知道人們會如何想要與Orion互動 - 市面上沒有任何可以借鑑的產品,"產品經理Matt Resman說。"如果你看我們早期的眼鏡原型,它們是重達三四磅的龐大頭顯。當你在開發產品時,如果沒有合適的形態,就很難理解使用者體驗。有了這個小裝置,我們能夠快速製作原型,開始理解人們會如何使用它。"
在早期代號為Omega時,當時的Oculus Research最初將這個小裝置設想為一個Ω形狀的頸帶,通過有線方式連接到眼鏡...
...直到Reality Labs無線團隊等的一些新創新讓他們能夠切斷線纜。這使得裝置可以更便於手持或放入口袋/包中,開啟了許多可能性。
"那時候,增強現實通話仍然是主要用例,"Van Cleave解釋說。"這個小裝置是全息視訊的錨點。你把它放在桌上,感測器對著你,掃描你的影像,然後從裝置表面投射出你通話對象的影像。"
"Orion的目標是連接人與人,讓我們走到一起,"Resman說。"小裝置最初的概念之一是幫助創造與他人同在的感覺,實現更豐富的交流方式。"
"這與你見過的任何裝置都不同 - 它有潛力創造真正有趣和獨特的互動,"工業設計師Emron Henry補充道。"使用者體驗有點像釋放瓶中精靈,全息影像無縫地從裝置中浮現又消失。"
現在你可能已經發現,這個小裝置內部的潛力遠超最終實現的功能。除了用於AR通話的感測器和攝影機外,它還具有觸覺反饋和六自由度感測器,可以用作追蹤控製器來選擇和操作虛擬物體並玩AR遊戲。團隊還探索了電容和壓力觸控輸入,使其可以在橫向和縱向模式下作為遊戲手把使用。
"我們會討論攜帶這個額外裝置的必要性,"Van Cleave說。"如何讓它更有用?我們圍繞這個問題開展了大量工作。在某個時候,我們假設AR遊戲將成為殺手級應用。"
早期我們就知道需要探索這個小裝置做手機無法做到的事情。最終,我們選擇使用眼動追蹤、EMG和手勢追蹤來實現AR遊戲,比如Stargazer和Pong,但在Orion早期我們也製作了各種使用小裝置作為控製器的演示和遊戲。
"因為它不是手機,這給了我們很大的設計自由度,"Prasad補充道。"它可以做得更厚,我可以讓它更圓潤以便作為控製器舒適地握在手中。令人難以置信的是,這個小裝置實際上比普通手機還小,但因為有Meta設計的AI和機器感知協處理器,它比手機更強大。"
團隊深入研究了優質AR遊戲與MR或主機遊戲的區別。這意味著要探索AR遊戲控製器的各種可能性,包括搖桿、物理按鍵佈局、扳機按鈕等。
"我們最終沒有真正製作這些東西,"Van Cleave指出。"我們做了原型,但從未進行完整開發。我們想保持簡單。我們想要這些軟介面,而不是物理機械按鈕。"
雖然在最終產品原型中沒有啟用感測器和觸覺反饋,但它們在開發過程中發揮了重要作用,讓團隊只需點選裝置頂部幾下就能觸發錯誤報告。
隨著AI開始成為關鍵用例,計算能力變得越來越重要。最終,這個小裝置整合了Orion的無線連接、計算能力和電池容量 - 這本身就是一個巨大的技術成就 - 所有這些都有助於減輕眼鏡的重量和尺寸,同時通過其表面積散發更多熱量。
在整個演變過程中,有一點始終保持不變:這個小裝置遠不止表面看到的那麼簡單。接納非常規想法讓我們的團隊得以探索、突破界限、建構未來。
"我們正在定義一個尚不存在的類別,"Henry指出。"正如你對研發工作的預期,這個過程中有起有落。使用者會如何期望與全息影像互動?他們是更喜歡使用AR遙控器,還是手勢追蹤、眼動追蹤和EMG就足夠了?什麼是直觀的、低摩擦的、熟悉的、有用的?"
"與其把這個小裝置僅僅看作一塊石頭,我們問自己還能提供什麼來進一步區別於手機,證明值得隨身攜帶,"Resman承認。"它的原始計算能力和實用設計 - 幫助實現了一個你可以真實地全天佩戴的眼鏡形態 - 最終是否提供了足夠的價值?回答這些問題是我們的工作。"
"早期我們轉變方向,專注於手機做不到的事情,"Van Cleave補充道。"手機需要螢幕,需要使用者期望的特定物理按鍵佈局。而我們沒有這些限制。我們的計算小裝置可以成為我們想要的任何形態。" (三次方AIRX)