萬字訪談:為什麼祖克柏認為AR眼鏡將取代你的手機,幕後揭秘Orion十年研發之路

Meta的首款AR眼鏡Orion終於亮相,關於這款眼鏡的幕後研發細節,小紮在最新的播客中:揭示了這款眼鏡從概唸到即將面市的十年發展歷程;分享了他對 AR 眼鏡取代手機成為未來主要計算平台的看法,以及他對 AI 在 Meta 產品中日益增長的作用的見解;談到了與 Ray-Ban 的合作,以及他們如何共同創造出既時尚又技術先進的智能眼鏡;對於建構更加沉浸和互動的數字未來的願景......

目錄:

1. Orion AR智能眼鏡介紹

2. 從移動裝置到AR的平台轉移

3. Orion和AR眼鏡的願景

4. 人們升級到AR眼鏡的原因

5. 智能眼鏡的多種選擇

6. Orion的消費者目標

7. Reality Labs的開支和AR的成本

8. 與Ray-Ban的合作

9. Ray-Ban Meta的銷售和成功

10. 為Ray-Ban Meta引入AI

11. AR眼鏡取代手機

12. 社交媒體上AI內容的湧入

13. AI充滿的社交媒體願景

14. AI是否會導致人際交往減少

15. Threads的成功

16. 與X競爭和新聞的作用

17. 關於AI訓練資料和版權的爭論

18. AR作為平台的責任



【播客採訪文字稿】



Alex Heath: Mark,我們剛剛一起試用了Orion。

Mark Zuckerberg: 是的。你覺得怎麼樣?

主持人:我們剛剛體驗完。感覺真正的AR眼鏡終於快要來臨了。Orion是你們已經研發了五年多的產品。

小扎:實際上快十年了。

主持人:讓我們回到項目開始的時候。當它還在研究階段時,你在思考什麼?這個項目的目標是什麼?

小扎:很多想法可以追溯到我們與移動平台的關係。我們已經經歷過一次重大的平台轉型,因為我們最初是在網路上起步,而不是移動端。行動電話和智慧型手機大約與Facebook和早期社交媒體同時出現,所以我們並沒有真正參與那次平台轉型。

但經歷了這個過程,我們意識到了一些事情。我們知道網路是一回事,移動又是另一回事。它們各有優缺點。在計算的連續體中,現在你有了可以隨身攜帶的移動裝置,這很棒。但它很小,而且會讓你從其他互動中抽離出來。這些並不是很好的特點。

我們認識到,就像從電腦到移動裝置的轉變一樣,移動裝置不會是終點。一旦我們的公司開始變得穩定,在移動端站穩腳跟,不再明顯有倒閉的風險,我就說:"好,讓我們為我們認為可能是未來的東西埋下一些種子吧。"移動平台已經定型了。到2012年、2014年時,要以有意義的方式塑造那個平台已經太晚了。我是說,我們做了一些實驗,但它們沒有成功或者沒有取得進展。

很快,我就想:"好吧,我們應該專注於未來,因為就像從桌面到移動的轉變一樣,未來會有新的可能性。那會是什麼呢?"我認為最簡單的版本就是你開始在Orion中看到的東西。我們的願景是一副能做兩件根本性事情的普通眼鏡。第一是在世界中放置全息影像,帶來真實的存在感,就像你與另一個人在一起或在另一個地方一樣,或者也許你正和一個人在一起,但就像我們剛才做的那樣,你可以調出一個虛擬的乒乓球遊戲或其他東西。你可以一起工作。你可以坐在咖啡館裡調出整個工作站的不同顯示器。你可以在飛機上或坐在汽車後座上調出一個全螢幕的電影院。這是很棒的計算能力,能帶來完整的存在感,就像無論他們在那裡,你都和人們在一起。

第二件事是,這是AI的理想裝置。原因是眼鏡獨特地能讓人們看到你所看到的、聽到你所聽到的。它們可以給你非常微妙的反饋,可以在你耳邊說話,或者顯示其他人看不到的無聲輸入,而且不會讓你脫離周圍的世界。我認為這一切都會非常深刻。現在,當我們開始時,我原本以為全息影像部分會比AI更早實現。有趣的是,事實證明AI部分實際上比全息影像更早能夠大規模生產並且價格合理。

但這就是我們的願景。我認為這很容易理解,現在已經有10到20億人每天戴眼鏡。就像每個人都升級到智慧型手機一樣,我認為在未來十年內,每個戴眼鏡的人都會很快升級到智能眼鏡。然後我認為它會變得真的很有價值,許多現在不戴眼鏡的人也會開始戴眼鏡。

這是簡單的版本。然後,隨著我們的發展,出現了更多微妙的方向。雖然那是我們想要建構的完整版本,但還有很多事情我們說:"好吧,也許很難以合理的價格製造出能做全息影像的普通眼鏡。那我們能做那些部分呢?"這就是我們與EssilorLuxottica合作的原因。

所以就像是,"好吧,在有螢幕之前,你可以得到看起來普通的眼鏡,它可以串流媒體播放和捕捉內容,有攝影機、麥克風和很棒的音訊。"但此時最重要的功能是能夠訪問Meta AI,只需要一個完整的AI,而且它是多模態的,因為它有攝影機。這個產品的起價是300美元。起初,我認為,"嘿,這是建構全息眼鏡的技術路徑。"但現在,我實際上認為這兩種長期都會存在。我認為會有人想要全息眼鏡,也會有人更喜歡優越的形態因素或更低價格的裝置,他們主要是為了最佳化AI。我還認為中間會有一系列的東西。

所以你剛才看到的是全視野,70度,對於眼鏡來說是非常寬的視野。但我認為中間還有其他產品。有一個平視顯示器版本,對於那個,你可能只需要20或30度。你不能做全世界的全息圖,你不能與物體互動。你不會在30度的視野裡玩乒乓球,但你可以與AI交流。你可以給朋友發簡訊,你可以獲取方向,你可以看到你捕捉的內容。

我認為這裡有很多令人信服的東西。在這個連續體的每一步,從無顯示到小顯示再到全息,你都在裝入更多的技術。每一步都會稍微貴一點,對形態因素的約束也會更多。儘管我認為我們最終會讓它們都變得有吸引力,但你將能夠永久地在更小的形態因素中做更簡單的事情。當然,還有混合現實頭顯,它走向了同一願景的不同方向。但對於那個,我們說:"好吧,我們不會試圖讓它適應眼鏡的形態因素。"對於那個,我們要說:"好的,我們真的要去追求我們想要的所有計算能力,這將更像是一個頭顯或護目鏡的形態因素。"

我猜這也會是一個長期的事情,因為有很多用途人們想要完全沉浸。如果你長時間坐在桌前工作,你可能想要能夠獲得的計算能力的增加。但我認為毫無疑問,你在Orion中看到的是我認為並繼續認為將是下一個主要的數十億人使用的計算平台的典型願景。然後所有這些其他東西都將圍繞它建立起來。

主持人:據我所知,你最初希望Orion會是一個消費者產品,當你首次著手建構它時。

小扎:是的。Orion本應是我們的第一個消費者產品,我們不確定是否能做到。總的來說,它可能比我們50-50的估計要好得多,但我們並沒有在所有我們想要的方面都做到。我們仍然希望它再小一點,再亮一點,解析度再高一點,而且在我們把它作為產品推出之前要便宜得多。看,我們對所有這些都有了明確的認識。我認為可能原本要成為第二版的東西最終會成為消費者產品,我們將使用Orion與開發者一起基本上培養軟體體驗,這樣當我們準備發佈某些東西時,它會更加完善。

主持人:但要明確的是,你根本不出售Orion。我想知道的是,當你在2022年左右做出決定,說Orion將成為一個內部開髮套件時,你的感受如何?你有沒有任何部分希望"我真希望這就是我們多年來一直在建造的消費者產品"?

小扎:我總是想快速發佈東西,但我認為這是正確的做法。對於這個產品,有一套相當明確的約束條件你想要達到,特別是圍繞形態因素。對我們來說很有幫助的是,時尚界正流行更厚重的眼鏡,因為這讓我們能夠製造既時尚又具有前沿技術的眼鏡。即便如此,我要說這些無疑是眼鏡。它們相當舒適。它們不到100克。

主持人:我戴了兩個小時,幾乎感覺不到。

小扎:我認為我們的目標是製造看起來真的很好的東西,我認為這些是好眼鏡,但我希望它再小一點,這樣它就能符合真正時尚的標準。當人們看到Ray-Ban時,在時尚方面沒有任何妥協。人們喜歡它們的部分原因是你得到了所有這些功能,但即使你不使用它,它們也是很棒的眼鏡。對於未來版本的Orion,這也是目標。

大多數時候你在度過一天,你不在計算,或者也許後台正在發生一些事情。它需要足夠好,這樣你才會想要一直戴在臉上。我覺得我們幾乎做到了。我們取得了比世界上任何其他人都多的進展,據我所知,但我們沒有完全達到我的標準。同樣,在價格方面,這些將比Ray-Ban更貴。裡面有更多的技術,但我們確實希望它在消費者價格範圍內,而這超出了那個範圍,所以我想等到我們能達到那個範圍時再發貨。

主持人:你是否設想第一個商業版本——無論何時在未來幾年內準備好——將是一個你公開銷售的面向開發者的產品?還是你希望它準備好面向消費者?

小扎:不,是面向消費者的。

主持人:這就是為什麼我在問策略,因為Apple、Snap和其他公司已經決定做面向開發者的產品,並儘早讓開發者使用硬體。但你是說你要跳過這一步,直接面向消費者嗎?

小扎:我們確實將此作為開髮套件使用,但主要是內部使用,也許還有少數合作夥伴。在這一點上,Meta無疑是世界上增強現實、虛擬和混合現實軟硬體的首要開發者。所以你可以把它看作是一個開髮套件,但我們內部有很多人才,我們也與許多外部人士建立了良好的合作關係,我們可以與他們合作。

我不認為我們需要宣佈一個任意開發者都可以購買的開髮套件來獲得我們需要的人才來建構平台。我們處於一個可以與合作夥伴合作並做到這一點的位置,但這絕對是我們在未來幾年要做的事。我們將完善體驗,弄清楚我們需要做什麼才能在準備發佈時真正做到完美。

主持人:關於你在Reality Labs上花費了多少錢,已經有很多報導。你可能沒有確切的數字,但如果你要猜測過去10年建造Orion的成本,我們是在談論50億美元以上,還是更多?

小扎:是的,可能是。但總的來說,對於Reality Labs,有一段時間很多人認為所有預算都用於虛擬和混合現實。實際上我認為我們已經公開表示,我們的眼鏡項目預算比我們的虛擬和混合現實項目更大,但那涵蓋了所有項目。所以那是完整的AR,那是無顯示的眼鏡,我們在Ray-Ban上要做的所有工作,我們剛剛宣佈了與EssilorLuxottica的擴大合作。他們是一家很棒的公司。我們與他們合作的體驗很好。他們設計了很多很棒的眼鏡,與他們一起做更多的事情將會非常令人興奮。在所有這些方面還有很多工作要做。

主持人:這個合作關係是如何運作的,你們剛剛更新的這個協議,它是如何建構的?這個交易是什麼樣的?

小扎:我認為這是公司之間的一種承諾,我們對目前的進展感覺很好,我們將一起製造更多的眼鏡。與其只做一代然後設計下一代,長期合作允許團隊不僅僅要擔心一次一件事——"好的,這一個會不會好?然後我們如何在下一個基礎上進行改進?"

現在,我們可以開始制定一個跨越多年的多種裝置路線圖,因為我們知道我們將長期合作。我對此持樂觀態度。這有點像我們內部的工作方式。有時候,在早期階段,你肯定想從每次裝置發佈中學習,但對於那些你已經承諾的事情,我認為你不希望團隊感覺像是"好吧,如果我們沒有達到短期里程碑,那麼我們就要取消整個項目。"

主持人:你們要購買EssilorLuxottica的股份嗎?

小扎:是的,我想我們已經討論過對他們進行投資。這不會是一件大事。我說這更多是一種象徵性的舉動。我們希望這成為一個長期的合作夥伴關係,作為其中的一部分,我認為這將是一個很好的姿態。我從根本上非常相信他們。我認為他們將從世界頂級眼鏡公司轉變為世界主要科技公司之一。我對他們的願景和我的看法是,如果你想想三星在韓國是如何使韓國成為世界主要手機製造中心之一,我認為這可能是歐洲,特別是義大利成為製造、建設和設計下一個主要計算平台類別的主要中心的最佳機會之一。

他們現在全身心投入其中,這一直是一個有趣的問題,因為他們在這些領域有如此出色的業務和如此深厚的能力。我越來越欣賞他們作為一家科技公司的實力:設計鏡片,設計製作時尚眼鏡所需的材料,這些眼鏡既輕便又舒適。他們帶來了大量我們科技界的人可能不一定看到的東西,但我認為他們真的為未來做好了準備。所以我相信這個夥伴關係。我對我們正在一起做的工作感到非常興奮,從根本上說,我認為這將是一家在未來非常成功的公司。

主持人:它的設定方式是他們控制設計,而你們提供技術堆疊,還是你們在設計上進行合作?

小扎:我認為我們在所有方面都有合作。合作的一部分是隨著時間的推移建立一種共同的文化,那裡有很多非常精明的人,我認為可能需要幾個版本我們才能欣賞彼此的做事方式。他們真的從"時尚、製造、鏡片、銷售光學裝置"的角度來思考問題。而我們顯然是從消費電子、人工智慧和軟體的角度來看待問題。但我認為,隨著時間的推移,我們越來越欣賞彼此對事物的看法。

我經常與他們交談,聽取他們對不同事物的想法。你知道夥伴關係運作良好的標誌是當你主動聯絡他們,尋求他們對目前不在你們合作範圍內的事情的意見。我經常這樣做,與負責他們可穿戴裝置的Rocco [Basilico]和他們的CEO Francesco [Milleri]交流,我們的團隊也與那裡的大部分工作組這樣做。他們是一個很好的團隊。他們有共同的價值觀。他們非常精明。就像我說的,我相信他們,我認為這將是一個非常成功的合作夥伴關係和公司。

主持人:到目前為止,你們已經賣出了多少Ray-Ban Meta?

小扎:我不知道我們是否公佈過具體數字。

主持人:我知道。這就是為什麼我在問。

小扎:銷售情況非常好。我認為有趣的一點是我們低估了需求。消費電子世界與軟體世界有一個很大的不同,那就是軟體的供應限制較少。也有一些限制。我的意思是,像我們正在推出的一些東西,比如Meta AI的語音功能,我們需要在推出時進行控制,因為我們需要確保有足夠的推理能力來處理它,但從根本上說,我們會在幾周內解決這個問題。

但對於製造來說,你要做出具體的決定,比如"好吧,我們是要設定四條還是六條生產線?"每一條都是一個很大的前期[資本支出]投資,你基本上是在事先決定你能夠產生供應的速度,而此時你還不知道需求是多少。這次,我們認為Ray-Ban Meta的銷量可能會是第一版的三到五倍。我們大大低估了它。

現在,我們處於這樣一個位置,實際上很難判斷真實需求是多少,因為它們已經售罄了。你買不到。所以,如果你買不到,你怎麼知道實際的需求曲線在那裡?我們基本上已經到瞭解決這個問題的階段。現在,我們做出了調整,決定建造更多的生產線。這需要一些時間。現在它們已經上線了。這不僅僅是關於能夠製造它們;你需要把它們送到所有的商店,把分銷做好。我們覺得現在這方面已經做得很好了。

在今年剩下的時間裡,我們將開始真正瞭解需求,但在此期間,由於通過空中人工智慧更新,眼鏡的功能會不斷改進。所以,即使我們不斷推出新的鏡架,他們也在增加更多的變色鏡片,因為人們想在室內戴它們,硬體並不一定會改變。這是一個有趣的事情,因為太陽鏡更具有可選擇性,所以我認為早期有很多人在想,"嘿,我會用太陽鏡來嘗試這個。我不會把它們作為我的主要眼鏡。"現在,我們看到越來越多的人說,"嘿,這實際上真的很有用。我想能夠在室內戴它們。我希望它們成為我的主要眼鏡。"

所以,無論是通過光學管道還是變色鏡片與他們合作,這都是一個重要的部分,但人工智慧部分也在不斷改進。我們在Connect大會上談到了這一點:在未來幾個月內,當我們推出這項功能時,能夠進行即時翻譯。你在國外旅行,有人用西班牙語對你說話,你就能在耳邊得到英語翻譯。隨著時間的推移,它將推廣到越來越多的語言。我想我們一開始會從幾種語言開始,隨著時間的推移會覆蓋更多語言。

主持人:我試過那個。其實,我沒有試過即時翻譯,但我試過看法語菜單,它把菜單翻譯成了英語。然後,在最後,我問:"歐元[價格]換算成美元是多少?"它也做到了。我也開始看到這與Orion的連續性,從實用性方面來說。你可以說,"看看這個,今晚8點提醒我",然後它就會與配套應用同步。

小扎:是的,提醒功能是新增的。

主持人:它並不是要取代手機,而是要增強我用手機可以做的事情。我在想AI應用是否也是進行更多這種互動的地方。這些眼鏡將如何隨著時間的推移與Meta AI更深入地聯絡在一起?看起來它們正在越來越緊密地結合。

小扎:嗯,我認為Meta AI正在成為眼鏡的一個越來越突出的功能,你可以用它做更多的事情。你剛才提到了提醒功能,這是另一個例子。現在,這個功能就可以使用了,現在你的眼鏡可以提醒你各種事情。

主持人:或者你可以看一個電話號碼,說"撥打這個電話號碼",然後它就會在手機上撥打。

小扎:是的,我們會隨著時間的推移新增更多功能,其中一些是模型更新。好的,現在它有了Llama 3.2,但有些是圍繞它的軟體開發。提醒功能不是僅僅因為我們更新了模型就能免費得到的。我們有這個大型軟體開發工作,我們不斷新增功能並開發生態系統,所以你會得到更多的應用,比如Spotify,所有這些不同的東西可以更原生地工作。

所以眼鏡變得越來越有用,我認為這也會隨著時間的推移增加需求。它如何與手機互動?就像你說的,我不認為人們會在短期內放棄手機。我對此的看法是,當手機成為主要的計算平台時,我們並沒有放棄電腦。我們只是有所轉變。我不知道你是否有這種經歷,但在2010年代初的某個時候,我注意到我會坐在桌前,面對著電腦,但還是會拿出手機來做事情。

這並不是說我們要扔掉手機,但我認為會發生的是,慢慢地,我們會開始用眼鏡做更多的事情,而把手機更多地留在口袋裡。這並不是說我們已經完全不用電腦了,我認為我們在一段時間內也不會完全不用手機,但有一條相當清晰的路徑,你就是會用眼鏡做越來越多的事情。隨著時間的推移,我認為眼鏡也能夠由基於手腕的可穿戴裝置或其他可穿戴裝置供電。

所以,10年後的某一天你醒來,你甚至不需要帶上手機。現在,你仍然會有一部手機,但我認為大部分時間,人們會把它留在口袋裡或包裡,或者最終,有時候會把它留在家裡。我認為會有這種逐漸的轉變,眼鏡會成為我們進行計算的主要方式。

主持人:有趣的是我們現在正在討論這個,因為我覺得手機變得有點無聊和陳舊了。我剛剛看了新iPhone,它基本上和去年的一樣。人們在做可摺疊手機,但感覺人們已經在手機上沒有新點子了,它們已經達到了自然的終點狀態。當你看到像Ray-Ban這樣的產品,以及人們對它的反應超出了你的...... (三次方AIRX)