•
10年砸下650億美元，矽谷最瘋狂的元宇宙投資故事揭秘
萬字訪談！ Meta CTO揭密650億元宇宙投資內幕。
7月9日，外媒Matthew Ball刊登了Meta CTO安德魯·博斯沃思（Andrew Bosworth）最新的萬字訪談。
這是Meta在6月重組元宇宙團隊後博斯沃思首次對外。當時博斯沃斯宣佈了Reality Labs自2020年以來最大規模的重組，所有團隊合併為中央「元宇宙」部門和「穿戴式裝置」部門。
本次訪談中，博斯沃斯揭秘了Meta元宇宙戰略演進「三個時代」、VR/MR頭顯裝置銷量如何突破1億台、理想的頭顯規格、Meta在Reality Labs上的支出、Quest是否開放原始相機資料、AR眼鏡所需技術、AI的作用等相關問題。
博斯沃斯自2014年Meta收購Oculus談起，坦言當年公司對VR產業樂觀過頭，對能力、成本、上市時間和使用者接受度的預估都偏離實際至少一個量級。而到了2020年Quest 2的推出，預期逐漸回歸現實，從PC連接時代向獨立平台時代跨越，下一步則是MR（混合現實）時代。
MR/VR頭顯什麼時候可以像PC、手機一樣放量，銷量超1億台需要跨越什麼樣的阻礙？博斯沃思認為，內容、價格和可用性是關鍵。
暢想7~10年後的MR頭顯，博斯沃思首先談及了超高解析度，同時視野角度、算力及舒適性也十分關鍵，但對於大家都在「卷」的影格率，博斯沃思認為240Hz和120Hz似乎沒有太大的差別。
談及現象級產品蘋果Vision Pro，博斯沃思稱暫時不會效仿其開放攝影機材料，主要是考慮隱私安全問題；同時對蘋果推出的EyeSight外接螢幕技術，Meta也早已佈局，但其認為落地不太划算。
自2019年以來，Reality Labs已花費約650億美元。一方面是其大力投資新技術，另一方面內容相關的無形投資也很大，背後是Meta建構雙向的生態系統的戰略。
而在AI方面，博斯沃斯認為AI會為AR眼鏡帶來質的飛躍，讓互動更有效率、更自然，也改變軟體設計思路和硬體產品形態。
本文對訪談原文做瞭如下不改變原意的編輯：
01 . 收購Oculus早期過於樂觀 偏離實際至少一個量級
記者：我想先從Meta對Reality Labs的願景開始。 Meta於2014年以20億美元收購Oculus VR，到2019年該部門每年的支出達到50億美元，2020年第一款Quest VR頭顯裝置面世，Reality Labs正式成立，當年支出超過100億美元。然後在2021年，當時的Facebook公司更名為現在Meta。
從您的角度來看，尤其是您在2006年加入Facebook，2017年開始領導Reality Labs，到2022年擔任Meta的首席技術官，哪些重大事件改變了您或公司對元宇宙的看法，從而使公司對元宇宙進行大規模押注？
博斯沃思：在我加入之前，有幾件事挺引人注目的。
最轟動的是馬克（Meta創始人馬克·祖克柏）搞了個演示，展示了Oculus Toybox的早期版本。在那個VR體驗裡，他玩了個迷你拳擊遊戲。當時示範裝置還是靠綁帶綁著的Oculus早期「手工」階段。示範快結束時，馬克想把控製器放回桌上，但因為是虛擬的桌子，結果他直接把控製器給扔地上了。那一刻，我預感到這會是個了不起的平台，前所未有。
不過那時我還沒真正參與進來，還在Facebook的其他部門。收購嘛，大家都知道，每次都會和被收購的團隊一起設定目標、時間表和願景。但現在回想起來，那時候的設想可以說是相當樂觀了。他們對能力、成本、上市時間和使用者接受度的預估，都樂觀得有點過頭，幾乎每個方面都偏離了實際至少一個量級，有的甚至更多。
至於那份具體的檔案（稱Facebook差點錯過元宇宙），我不太清楚有沒有被翻出來過，我反正是沒見過，但我可以肯定的是，那些預測都太理想化了。
我介入時，我堅信馬克·祖克柏仍對這項技術充滿信心，但我感覺他需要外部視角的評估。我之所以能發揮作用，是能為他提供一個不同的視角。
加入後，我發現團隊內部有分歧。當時，約翰·卡馬克和其他一些人正全力投入移動獨立頭顯的研發，目標是降低成本，讓頭顯徹底擺脫PC連接。而另一邊，最初的Oculus領導團隊，他們專注需要與PC連接的高端外設，我們通常稱之為PC VR或有線VR。
坦白說，馬克佈局Oculus或Reality Labs，並不是單純為了外設業務。
這種業務規模還不足以吸引像Facebook這樣的大公司，因為它需要長期且大量的投入。你會意識到，在PC生態系統的競爭中，你正逐漸落敗。你的對手不僅是像Steam這樣的巨頭，還有眾多獨立開發者。如果你僅僅依賴那台機器，那它就成了你所有體驗的唯一入口。
其實，從產品策略層面，我並未太多參與，但從產品本身出發，我認為我們必須開發獨立裝置。我們要做到的是：擺脫線纜的束縛，擺脫高昂生態系統的依賴以及複雜相容問題。因此，我們在兩方面都進行了努力。
基本上，我們讓Oculus Rift再進化一代，也就是與聯想合作的Rift S；同時也嘗試了Gear VR，探索一條更經濟的普及之路，儘管事實並非如此，用戶反饋體驗良好，特別是在媒體娛樂等方面。在我看來，這一切都為後來的Quest打下了堅實的基礎。
在推出Quest 1之前，我們已經在籌備Quest 2（2020年10月推出），創始團隊從無到有創造了Quest 1足夠好的體驗，並帶領頭顯走向獨立之路。後來我們盡最大的努力打入PC 時代，然後在獨立時代實現標準化。我會非常懷念Quest 2的發布，這是一年後以更低的價格推出的更好的產品。
現在我們有了一個穩定的平台，從某種意義上說，我們已經向Quest 1開發人員承諾實現跨代連接，答案就是Quest 3，從PC連接時代到獨立平台時代。使用者可以在這個平台上自選眼動追蹤、AI助理等多種功能。
但真正優秀的色彩混合現實（MR）功能，是我們想到的最後一塊缺少的拼圖。順便說一句，至少在我看來，它是讓這個東西成為主流並解鎖所有這些額外應用場景的關鍵組成部分。
我無法描述Quest 3發布後公司內部的反響，在勢頭、銷售和應用方面都很積極。架構的更新推動軟件速度大大提高，所以我認為我們現在處於一個有趣的混合現即時代。我們每次都會重新命名團隊。以前的Oculus是VR，現在是MR。
02 . MR/VR頭顯放量三大阻礙：內容、價格與可用性
記者：讓我們來談談這個新時代，PC年銷量高峰為3.5億台，智慧手機的峰值約為15億台。您認為MR/VR頭顯實現年銷量1億台的最大障礙是什麼？
博斯沃斯：這個問題可能有三個答案，但我無法明確三個答案的優先順序。
首先，內容肯定是關鍵。有些人可能誤解我說的內容是遊戲，但我並非如此指。我是指裝置能做什麼。這些裝置本身並無實際功能，除非有內容支撐。這個領域確實有一些超前的硬體，早在90年代就有了雛形。最近的Magic Leap的硬體或許存在些問題，但核心挑戰並非硬體本身，而是缺乏生態系統和應用場景。
其次，價格無疑也是重要因素。這兩個因素之間的影響程度並不相同。價格低，意味著需要增加的價值就相對少，但也可能被使用者輕視；價格高，則要求提供更多的價值。
最後，可用性同樣重要。從舒適度、重量、眩暈狀況，到適配不同人的眼睛，再到佩戴時對頭髮、妝容的影響，以及充電次數、充電頻率、輸入方式等，這些都會影響到裝置的使用場景、頻率和人群。當然，這些因素也會與成本互相權衡。例如，降低光學清晰度可以減輕重量，但會犧牲一些使用體驗。
我們在這些方面都在不斷進步，但真正的創新是關鍵。新技術不是現成的，它需要供應鏈、製造業的支撐，技術本身的不斷研發。
03 . 想把解析度調高到極致 240Hz影格率不太必要
記者：沒有硬體是永遠完美的，您目前領導Reality Labs已有7年。再過7年，甚至10年，當您想到HMD（頭戴式顯示器）時會想到什麼？我說的是電池壽命、解析度、影格率、重量所有這些。
博斯沃斯：我們在Reality Labs裡做的一件挺有趣的事兒，就是打造這些「時光機」。想像一下，如果我們把解析度調到極致，會怎麼樣呢？
單純追求100%的解析度，不顧其他，這些裝置看起來簡直不可思議，你會有身臨其境的體驗，極致的視野、解析度、色彩、深度、色域，還有高動態範圍和亮度。我們在設計這些體驗時，總是想找到那個平衡點，讓體驗從超清到日常都能流暢切換。其實就是在找那個曲線的最佳形態，想知道它什麼時候能穩住。
這並不意味著它就到頭了，只是功能再往上走就沒那麼關鍵了。展望未來七年，我們關注的是每度的像素數，至少得達到45像素，文字顯示才會超清晰。 60像素嘛，差不多是視網膜解析度的一半了，但其實你很難分辨出差別，所以，我們的目標就是每度50~60像素之間。
參考Varjo、Apple Vision Pro這些產品，你就能看到要達到這種解析度得付出多少。當然，亮度和其他方面也會有所犧牲，這都是為了平衡發展。
除瞭解析度，你還想要個好視野。如果你的頭顯比Quest 3還小，那沉浸感可能就會打折了，Quest 2就比較小。眼睛裡有細胞能察覺垂直方向的運動變化，所以寬闊的視野很重要。我覺得更高的視野比更寬的視野更能提升沈浸感，當然，從資訊密度的角度看，更寬的視野對我們人類來說更重要，因為我們的眼睛天生就更擅長捕捉水平方向的資訊。但垂直方向上的視野提升，能以巧妙的方式讓你感覺真的沉浸在那個空間裡。
當然了，要運行這麼多東西，算力得跟上。從散熱的角度考慮，裝置最好是無線的，我可不想被人看到我身後拖著一堆線。我不是說有線裝置沒用，工業場合一定能用得上。說到PC獨立裝置，其實現在最受歡迎的PC頭顯已經是無線的了，或者你可以透過Air Link連接，多方便啊。
對我來說，舒適度絕對是至關重要的環節。我們追求的是減輕裝置的重量，但這不僅僅是數字上的幾克之差那麼簡單。關鍵在於裝置如何在頭上保持平衡，光學模組離眼睛的距離要恰到好處。還有，位於鼻子和裝置邊緣之間的區域，它直接影響著鼻子、臉頰的舒適度，以及額頭受到的壓力，這完全取決於頭帶的設計。
從Quest 3到Quest 2，一個顯著的改進就是將光學元件更貼近臉部，這樣戴起來就更加舒適了。我期望未來裝置能再輕一兩百克，那就更完美了。至於音頻，我認為現在的效果已經相當出色，立體聲音效會越來越棒。
再來說說影格率。 120Hz已經相當流暢了，雖然對於那些追求極致體驗、用慣了PC上240Hz甚至更高影格率的玩家來說，可能還差點意思，但我尊重他們的選擇。七年後，我傾向於認為我們可能會在其他方面做出妥協，而不是一味地追求更高的幀速率。例如，視野邊緣的像素密度問題就是一個挑戰，那裡的像素雖然多，但對視覺體驗的提升並不成正比。
在有限的計算資源下，我們很難看到240Hz和120Hz世代間的巨大飛躍。更多時候，我們需要的是更聰明的演算法和技術來優化體驗。注視點渲染就是一個很有潛力的方向，它有望幫助我們解鎖更高的解析度。
04 . 暫時不會傚法蘋果Vision Pro開放式攝影機資料
記者：蘋果最近宣佈了一個舉措，他們打算向開發者開放Vision Pro的原始攝像機資料，但僅限於由企業賬戶管理的裝置，和通過該企業內部系統分發的應用程序。 Meta對此怎麼看？有沒有這方面的計劃？在安全性和功能之間，Meta是如何進行權衡的？
博斯沃斯：我當然希望人們能夠尊重隱私保護，這一立場甚至比蘋果還要堅定。我們已經在這一領域樹立了標竿，而蘋果從市場策略似乎正在削弱這一標竿。不過，這是句玩笑。認真來說，如果開發者能直接存取相機，將催生無數實用的應用場景。
但Meta不會這麼做。如果開發者無法做到這一點，即無法預先上傳所有可能的圖像組態供我們建構分類器，那麼這樣的應用場景就無法充分利用。
同時，鑑於這項技術尚屬新興，我們也希望確保公眾能感到安心。我們正不斷探索新技術來解決這個問題，例如透過多種方式向周圍人發出信號（他們會被拍攝）。我相信，隨著消費市場對這項技術日益熟悉，人們的接受度也會提高。
之前關於蘋果的玩笑，其實是想說明Apple Vision Pro對整個產業都是好事。現在，公眾對這些裝置的理解越來越多，我認為這種理解會減輕旁觀者的恐懼感，減少他們擔心被誤解或受到驚嚇的擔憂。
因此，我認為我們總是以特定的視角來看待行業中的技術，這有時可能不夠公平。技術存在於社會背景之中，社會對技術的接受度越高，我們推廣技術的自由度就越大；反之，則需要更加謹慎。因為稍有不慎，就可能阻礙技術的長期普及。
所以，我們在這個問題上持相對保守的態度，我相信大家都能理解我們的立場。當然，我們對混合現實的潛在應用充滿期待，只要開發者獲得消費者的充分同意，並且理解使用者的背景，我們就願意解鎖這些功能。
05 . EyeSight外接螢幕是Meta發明的 落地不划算
記者：蘋果在Vision Pro上的一大亮點是EyeSight外接螢幕，能即時顯示使用者的眼睛，方便使用者用眼神交流。不過，這個功能對裝置的成本、重量、電池續航力等各方面都帶來了不小的挑戰。那麼，您認為這些權衡是值得的嗎？您個人對這個功能有什麼看法呢？
博斯沃斯：我一定要提這件事，這個技術是我們發明的。我的團隊，位於華盛頓州雷德蒙德的Reality Labs Research，已經在公開場合展示了相關的演示。這是我們研究了很長時間的東西，他們真的把它做出來了。
對我而言，關於成本、重量和價值的權衡其實並不明顯。我個人甚至覺得，它並沒有給使用者帶來極佳的視覺體驗。相較於今年在AWE上看到的一些更出色的產品，我認為我們的產品雖然也有優勢，例如更高的面板解析度，但價格也更高。
我認為，從消費者的角度來看，這並不是一筆划算的交易，即使對於那些希望透過這個裝置來提升交流舒適度的使用者，也是如此。我並不覺得使用這個裝置的人會因為視力問題而在交談中感覺更好。所以，我並不是不喜歡它，只是認為市場上有各種裝置，它們做出了不同的選擇和權衡，看看使用者會如何反應，這其實還挺好的。
對我們來說，我們投入了大量的金錢和時間，努力讓這款產品既實惠又易於獲取，不僅要在成本上做到，還要在重量和舒適度上滿足使用者，這確實是一項艱鉅的任務。
06 . AR眼鏡新技術計劃 突破多種光學難題
記者：我想談談更難的技術。你和Meta的AR眼鏡硬體主管說過，真正的光學AR眼鏡要成為主流，需要四種、六種，甚至七種不同的NTI（新技術研究計畫）。你能解釋一下什麼是NTI以及您認為實現這一願景需要哪些NTI嗎？
博斯沃思：「NTI」是個產業術語，指的是新技術計畫。
如果你是產品團隊，特別是硬體產品團隊的一員，那麼你們可能會遇到一些已經成功整合過的技術。這些技術你們可以從供應鏈中直接獲取，或者之前已經有過使用經驗，這樣會帶來很多便利和已知的參數，方便你們進行現場測試和產品構建。但是，如果引入新技術，那就會給項目增加不確定性，因為你不知道它是否能按預期工作，功率和性能是否達標，這些都增加了項目風險。
深入研究後，你會發現NTI其實包含了許多不同類型的技術。有些NTI就像是現有的技術，但從未在這個特定領域應用過；有些則是第一代技術，正在逐步發展。 NTI的深入程度可以一直延伸到高級開發階段，此時已經超越了純粹的研究範疇。
在這個階段，我們會有概念驗證，知道某項技術是可以實現的，但它還沒有被產品化、小型化，也沒有實現低成本和高效能。有時候在實驗室裡取得了突破，你會覺得“太棒了，我們做到了”，但緊接著就會意識到，那隻是在高能耗和高成本的條件下實現的，而產品化需要的是低能耗和低成本的解決方案。
以AR顯示器為例，我們需要在非常有限的空間內有效率地產生光子。如果是消費級的眼鏡，那麼空間就更有限了。我們必須有效率地產光，因為電池容量有限；我們必須讓光線夠亮，以在戶外環境中對抗強烈的日光；同時，我們還需要解決散熱問題，因為裝置就在使用者的臉上，不能產生過多的熱量。
在MicroLED領域，我們已經投入了很多年。但在這個領域裡，紅色波長的光尤其是難題。因為紅色光的波長較長，而產生它的空間卻非常小，所以我們需要建立亞微米級的鏡面結構，讓光在發射前能夠形成並保持足夠長的時間。同時，我們還需要以非常集中的方式發射準直光，以提高效率。一旦解決了光源問題，接下來就是製造各種顏色的LED了，而每種顏色的LED在效率上都會有所不同。
最後，我想提一下我們在製造過程中的一個工具——電子掃描顯微鏡。這個顯微鏡可以用原子來拖動材料的表面，並且透過測量原子的位移來建構出材料的3D地圖。這對我們來說是非常有用的技術。
07 . 虧損超500億美元，內容投資大 建構雙向生態系統
記者：自2019年以來，Reality Labs已花費約650億美元，累計會計虧損約550億美元。您能否介紹一下我們已經看到的情況和尚未看到的情況？有多少是我們還沒有機會接觸的產品，其中有多少實際上是分配給五年或十年後的項目的？
博斯沃思：我可能沒法給你太多細節的資訊，但我可以分享一個我長期遵循的普遍原則：以投資組合的方式來進行投資。
當你手上有一筆資金，你可能會拿大約一半投到那些現在就能實實在在創造價值、給你帶來有形回報的地方。
很多人可能忘了，我們在這段時間的投資裡，還包括了內容這樣的無形資產。例如收購像Beat Games這樣製作出Beat Saber熱門遊戲的團隊，或是扶持你的生態系統，給第三方開發者資金支援，讓他們帶著作品加入，並確保他們對未來的回報充滿信心。
這不僅僅是關於你對某款遊戲的信心，更是你對平台內容長遠價值的認可。你其實是在建構一個雙向的生態系統，這是我們公司最終的產品。最終的產品，並非單一的硬體或技術，而是一個生態系統。
如果你把大部分資金都投在未來產品上，那你可能會偏離消費者的真實需求，忽略他們真正重視的東西。你可能會沉浸在自己編織的故事裡，但最終可能會發現，這樣做風險不小。所以，至少保持一半的精力在相對更實際、更有形的投資上。這些項目不一定馬上上市，可能還需要幾年時間，但它們都是基於對價值的深刻理解。
當然，如果你的產品已經很成熟，那麼你的投資組合可能會更偏向當前的工作，甚至達到80%或更高。但對我們來說，顯然我們非常重視長期未來。說到投資金額，這些數字聽起來可能很大，尤其是對外行人來說。
不過，你看看那些公司在AI上的投入，還有人們為了達到iPhone或Android那樣的地位願意付出的資金，你就會明白。特別是Android，它其實被低估了，因為它不是Google直接收費的產品。但實際上Android對Google來說價值連城，它不僅鞏固了Google在行業中的領先地位，還讓Google能夠充分利用海量資訊，並通過多種途徑為消費者提供豐富的服務。 Google每年對Android的投入高達200億美元。
為了掌握自己的命運，企業究竟願意投入多少？在我看來，我們在這一領域的投入完全在我們的財務承受範圍之內，而且我認為我們的做法非常明智且有效。
08 . AI讓AR裝置互動更自然 變革軟硬體形態
記者：我最後想探討一組關於AI的問題。首先，我特別想知道，過去兩年裡，AI的飛速發展是如何影響並改變你們的發展規劃的？另外，在元宇宙的建構中，AI又扮演著怎樣的關鍵角色呢？ AI最讓您感到興奮的點是什麼？
博斯沃思： AI的發展對我們而言，無疑是喜訊連連。這是我們長期深耕並持續投入的領域，直到最近我還親自與基礎AI研究團隊緊密合作。
在先前的回答中，我提及了我們在開發這項技術時所面臨的挑戰與阻礙。儘管路途艱難，但我們正穩步前進。 AI不僅比預期發展得更快，而且價值超乎想像，為我們提供了一套切實可行的工具，幫助我們解決長期困擾難題。
如何與AR裝置進行高效率、自然的互動？這就需要裝置具備一定的“常識”，裝置需要理解你的意圖和上下文，而這是我無法一一教會的，也是人類經驗無法完全替代的。
我們的頭顯設計中始終秉持著一個理念，那就是「指揮」。這個代理人能夠感知你的注意力和意圖，理解你想要完成的任務，並主動為你提供幫助。例如，當你面前有一段文字，而我走過來與你交談時，它會聰明地調整顯示內容，確保你能夠與我保持眼神交流，這種體驗很好。
在MR領域，Horizon作為使用者生成內容的重要平台，其發展也離不開AI的助力。早期的我們可能犯了一些錯誤，例如降低了創造的門檻但未能提升創造的品質。但現在，我們正在努力糾正這些錯誤，並且取得了顯著的成果。 AI讓我們能夠以更簡單、更直觀的方式描述和編輯場景，從而降低了內容創作的難度和門檻。
展望未來，AI將繼續以超乎想像的速度發展，不僅改變我們的軟體設計思路，也會對硬體產品產生深遠的影響。例如，我們的Ray-Ban Stories眼鏡就在AI的加持下實現了顯著的功能提升。我設想中的個性化AI，能根據我的個人經歷和溝通習慣進行微調，同時確保隱私和資料使用的安全性，這簡直太讓人激動了。這將是質的飛躍。
09 . 結語：MR軟硬結合 爭奪網際網路下一個入口
說到元宇宙投資大戶，一個是蘋果，一個就是Meta。透過博斯沃思的萬字訪談，我們看到了Meta在打造MR裝置產品時對內容、價格和可用性的權衡，以及與蘋果Vision Pro在理念上的差異。
MR頭顯產品的推廣需要裝置、內容和生態的多輪驅動，以Meta為代表的廠家的興趣顯然不在只做一個外設，而在於爭奪使用者入口，通過雙向生態體系搶佔PC、智慧型手機時代之後新的生態體系與流量領地。 （智東西）