Meta創始人兼CEO馬克·祖克柏（Mark Zuckerberg）與Meta超級智能實驗室首席AI官亞歷山大·王（Alexandr Wang）做客Cheeky Pint節目，與主持人John對飲暢聊，探討“Muse Wonder”模型的發佈以及個人AI智能體的未來。馬克和亞歷山大暢談了Meta超級智能實驗室（MSL）的創立過程、徹底重組人才結構的決定，以及在模型效果尚未驗證時就做出超1000億美元資本支出（CapEx）承諾的真實感受。他們深入剖析了Muse Wonder的技術架構——包括主動記憶、多模態感知和前沿程式設計能力，並描繪了他們對智能體商業、智能眼鏡等超越智慧型手機的硬體形態的願景，同時闡述了超級智能不應被壟斷，而應掌握在全球數十億人手中的堅定信念。
訪談核心要點
一、戰略主線：Meta 押注“個人超級智能”，而不是只做程式設計智能體
Meta 的核心判斷：未來最重要的不是單純的聊天機器人或程式設計助手，而是個人超級智能 / 個人 AI 智能體。它應像第二大腦、專家團隊和生活助手，幫使用者處理“不得不做的事”，讓人把時間花在“想做的事”上。
- Meta 的獨特優勢：Meta 擁有 35 億日活使用者、社交/內容/硬體分發能力、海量多模態資料、全端基礎設施。個人 AI、消費者 AI 是 Meta 天然應該贏的領域。
- Muse 的定位：Muse 不是聊天機器人，而是能替使用者執行任務的智能體。它代表 Meta 從“資訊助手”轉向“行動智能體”。
- “模型即產品”：產品外殼越來越薄，模型本身成為產品核心。UI 仍重要，但最關鍵的產品決策會落到模型訓練、資料、評估和後訓練上。
二、Muse Wonder：技術突破與產品意義
1. Muse Wonder 是新一代前沿模型，規模顯著大於 Muse Spark。另有 Muse Wonder Full，面向更高端/完整版體驗。
2. 關鍵能力：
- 主動記憶 Active Memory：跨天、跨周、跨月記住使用者資訊，並在未來任務中使用。
- 主動專注 Active Focus：在長周期、複雜、模糊任務中保持堅持，遇到挫折仍能尋找對齊的解決方案。
- 多模態感知：圖像、視訊、音訊、視覺理解是個人智能體的關鍵。
- 編碼能力：在 SWE-bench、SWE Marathon、TerminalBench 4 等達到前沿/SOTA 水平。
- 專業領域能力：法律、財務、健康、稅務、購物、個人建議等，像使用者身邊的專家團隊。
3. 產品設計：Muse 沒有模型選擇器、推理強度選擇器，追求極簡，避免把技術團隊的心智模型強加給普通使用者。
4. 發佈策略：Muse Spark 提供大量免費 token；Muse Wonder 因規模大、成本高，初期主要面向付費訂閱，同時通過 API、OpenRouter、Muse Code 提供。
5. 衡量標準：除了外部基準，更重視內部評估。提出“大模型味兒 big model smell”，本質是衡量分佈內性能與分佈外性能的差距。外部基準易飽和、易過擬合，甚至可能只是某個博士生順手做的項目。
三、前沿模型如何訓練：預訓練、後訓練、強化學習與“全面擴展”
- 預訓練：海量多模態資料，包括圖像、音訊、視訊、專業語料。模型更大就需要更多資料，資料與算力必須同步擴展。
- 後訓練：
- SFT 監督微調：初始化模型行為，塑造性格和回應方式。
- RL 強化學習：在各種情境中給予反饋，大幅提升期望行為的激發頻率。
3. RL 的反直覺規律：
- 少即是多：高品質資料比單純堆量更重要。
- 對齊是系統性工程：必須精心設計 RL 環境，避免模型只有在“不對齊/不安全”時才能成功。
- 指令與價值觀對齊：Meta 更強調模型與使用者對齊，按使用者要求執行，而不是動輒說教。
4. 擴展哲學：一句話概括 AI 發展——全面擴展 Scale everything。只擴展單一維度不夠，預訓練、RL、資料、算力、智能體框架都要協同推進。
5. 時間尺度：Muse Wonder 從去年 8 月就開始規劃。研究、算力、資料、後訓練是漫長工作流，最後匯聚成發佈成果。
四、千億美元級押注：算力、資本支出與“牌沒發就全押”
1. 算力規模：
- 俄亥俄州 Prometheus 叢集超過 1 吉瓦。
- 路易斯安那州 Hyperion 叢集將達到 5 吉瓦。
- 1 吉瓦叢集一年營運成本約 150 億美元；含建設資本支出可能接近 500-600 億美元。
- 訓練一個前沿模型的總成本達到數百億美元量級。
2. 決策性質：在模型效果尚未驗證前，就要承諾超 1000 億美元級資本支出。這是“困難模式創業”，與精益創業相反，沒有試錯餘地。
3. 風險與信念：
- CFO Susan Li 曾警告：如果失敗，財務後果會非常嚴重。
- Mark 的邏輯：只要 AI 整體成功，算力就有巨大價值；即使自身模型失敗，算力仍可復用。
- Mark 內化的是：失敗不重要，重要的是贏的時候贏多大。
- “在一個不斷變化的世界裡，最大的風險是什麼都不做。”
4. 產品預期：Muse 發佈後增長極快。Mark 認為即使需要迭代也正常，但這次接近本壘打。
五、智能體商業：從“人類購物”到“智能體購物”
- 瀏覽器操作是過渡方案：Muse 可用電腦使用能力操作網站，但長期看，企業應通過 API 與智能體深度整合。
- 企業智能體：未來每個企業可能都有自己的智能體。Muse 智能體與其他企業智能體互動，會形成新商業管道。
- 智能體商業 Agentic Commerce：
- 消費者把購買委託給智能體，減少摩擦。
- 智能體擁有自己的帳號，商業 TAM 急劇擴大。
- 更深層機會是個性化：Muse 掌握使用者全域上下文，瞭解家人、朋友、同事，能做更精準推薦和禮物選擇。
4. 真實案例：
- Mark 用 Muse + Instacart 為女兒烘焙訂購食材，Muse 自動加西瓜湊單。
- Alexandr 的 Muse 幫他尋找台灣/日本小眾茶葉。
- Mark 用 Muse 當 MMA 教練，自動提取關鍵幀，分析重心、髖部位置，在 60 秒休息內給反饋。
5. 未來含義：未來人人都在寫程式碼，只是渾然不覺；智能體將重塑商業漏斗、購物、企業營運和個性化服務。
六、超越智慧型手機：語音、眼鏡、家庭硬體與新形態
- 語音輸入已爆發：語音是表達思想頻寬最高的方式，但輸出效率低，視覺呈現更高效。理想互動是語音 + 視覺 + 後台執行。
- 智能眼鏡：最終是純多模態產品，能聽、能說、能看，甚至不需要傳統應用程式商店，直接在視野中生成所需內容。
- Muse Gadgets：開放生態，手機廠商可整合。家居裝置如 Home Link 可讓 Muse 連接 Sonos、燈光等。
- 具身化：Muse 有持久記憶、行動能力、個性，像替使用者工作的小助手，這是產品魔力的關鍵。
七、融資與商業模式：訂閱、商業佣金、API、企業平台
1. 收入來源：
- 訂閱：Muse Wonder 初期付費。
- 智能體商業佣金：從幫使用者省錢/賺錢中抽取一小部分。
- API：Meta Model API、OpenRouter。
- 企業平台：Meta Enterprise Platform，服務企業智能體需求。
- 核心業務加速：AI 提升廣告、推薦、社交等核心業務增長率。
2. 會計差異：資料中心資本支出可折舊；研究人員薪酬通常不能資本化，但模型成果有多年壽命。
3. 自建資料中心優勢：GPU 折舊後仍可能因算力短缺而保值，雲服務公司則按年付費。
4. 核心業務：Meta 核心業務被 Alexandr 稱為“世界第八大奇蹟”，為 AI 研發提供巨額資金支援。
八、為什麼 AI 不會贏家通吃
- 執行力波動：所有前沿實驗室都有強弱周期，長期會平均化。
- 模型蒸餾：蒸餾讓開源生態受益，強大智能可壓縮到更小模型，廣泛提供服務。
- 多樣性制衡：少數公司壟斷超級智能風險更高；安全來自多樣模型、開源生態和制衡機制。
- 人才選擇：很多人希望加入致力於把技術帶給數十億人的地方，而非只服務少數人。
- Meta 的使命：個人超級智能 + 商業版本，賦能人類而非壟斷未來。
九、MSL 的組織方法：人才密度、極度扁平、反官僚
- 背景：Llama 4 發展軌跡不令人滿意，Meta 決定徹底重組。2025 年 4 月 4 日發佈 Llama 4，4 月 20/21 日 Mark 開始打電話請教，五六周內敲定合作。
- 交易結構：Meta 投資並持有 Scale 49% 股份，Scale 獨立營運，Alexandr 和幾人加入 Meta。
- 人才密度第一：Alexandr 給 Mark 的長文第一點就是——不需要很多人，人才密度才是關鍵。
- 小團隊：研究團隊不到 200 人，核心約 100 人。刻意保持精簡，避免膨脹。
- 極度扁平：
- 大量研究人員直接向 Alexandr 匯報，曾超過 200 個直接下屬。
- 有 Pod 結構和技術負責人，但反官僚主義。
- 優秀人才不需要管理者，需要的是好環境。
6. 管理角色轉變：
- 在 Scale，Alexandr 是“作者”，要勝任每個崗位，把自己的視角貫徹一切。
- 在 Meta，他更像“教練”和“環境守護者”：確立北極星、發現特殊人才、給予資源和空間。
7. 文化特徵：
- 沒有截止日期，但自驅力極強。
- 團隊成員是“缺乏安全感的過度成就者”，總做最悲觀預測，但交付驚人成果。
- 對細節極致痴迷，電子表格記錄 100 多項能力，每項只佔 2% 體驗，聚沙成塔。
十、Mark Zuckerberg 的領導特質與組織轉型
- 全力押注：一旦認準方向，就清空日程、親自招聘、調動全公司資源，讓行動與信念一致。
- 極高學習率：願意吸收新資訊，全面迭代世界觀，並果斷按新世界觀行動。
- 耐心與克制：七個月打磨 Muse，在 AI 時代相當於傳統行業十年。
- 承擔巨大風險：在模型未驗證時押注千億美元，但認為算力可復用、AI 整體成功機率高。
- 推動公司 AI-pilled：讓管理層真正理解 AI 速度、方向和可能性。Adam Mosseri 等領導者迅速轉變。
- 溝通真實：寧願真實而有瑕疵，也不要過度包裝失去本真。Alexandr 的梗圖風格也體現網際網路獎勵風險、意外和驚喜。
總結：這場訪談的本質
Meta 的戰略不是單純發佈一個模型，而是以 Muse Wonder 為里程碑，把 個人超級智能、全端算力、多模態模型、智能體商業、硬體生態和超高人才密度組織整合成一套完整押注。核心邏輯是：
- 模型即產品；
- 個人智能體是消費者 AI 的終極形態；
- 記憶、主動性、多模態、分寸感是差異化關鍵；
- 算力必須提前多年下注，資本支出是入場券；
- 智能體商業將擴大商業 TAM，改變企業運作；
- AI 不應贏家通吃，安全來自多樣性與制衡；
- 組織上，人才密度、極度扁平、反官僚和創始人全力投入，是 MSL 能快速追趕前沿的關鍵。
訪談全文：
Mark Zuckerberg： 好的。去年底，我們覺得，好吧，我們對目前的進展感到非常興奮。當時我們還沒看到模型，卻準備開出一張大概一千億、兩千億美元的支票。我就問亞歷山大，你確定這能行嗎？
Muse 的突破性應用場景
John： 乾杯！乾杯。讓我們開始吧。跟我講講 Muse 的最新進展。
Mark Zuckerberg： 如果你關注第三方報告，就會發現這可能是我所見過的增長最快的智能體(Agent)或 AI 應用。
John： 你們個人最喜歡的用例(Use Case)是什麼？不管是你們自己的，還是別人的？
Alexandr Wang： 我昨天吃晚飯時正好聊起這個。我最喜歡的用法是，我的 Muse 名字叫歐拉(Euler)，它會不斷從越來越小眾的茶商那裡，為我搜尋越來越冷門的小眾茶葉。到現在，它每周都會從台灣或日本的某個茶園隨機採購一些茶葉並運送回來。你最喜歡用它做什麼？
Mark Zuckerberg： 說不好，我拿它做各種各樣的事。但我最喜歡的用例，可能也是評估(Eval)這個產品的最佳標準，就是讓它當我的綜合格鬥(MMA)教練。我在健身房裝了攝影機，我訓練時它會盯著畫面，並在回合休息時給我反饋。這其實是個非常難的技術問題，因為它不僅得看懂，還必須在極短時間內處理完所有視訊，畢竟回合間只有一分鐘的休息時間。
John： 哦，回合間的指導。
Mark Zuckerberg： 對，我需要反饋，我需要它告訴我怎麼贏。
John： 你需要特意去指導它嗎？我也好奇過這個問題，因為視訊分析是個極好的 AI 用例。但感覺你不能直接扔給它一個好幾 GB 的視訊檔案。所以，你是教它怎麼做視訊切片嗎？
Mark Zuckerberg： 不用，它自己會提取關鍵幀。我覺得它自己摸索出了這套方法。事實證明，Muse 對 MMA 有著相當好的原生理解，這很棒。這得益於多模態預訓練模型(Multimodal pretraining model)。團隊裡有人懂行，現在這些知識都已經存在於語料庫(Corpus)中了。
Mark Zuckerberg： 這是個很好的例子，我認為這也是對它程式碼能力的一次絕佳測試。因為在智能體內部，雖然我看不見任何程式碼，但它實際上在編寫整套視訊和圖像處理流水線(Pipeline)。我還經常催它：“你花了30秒才給我反饋，但我只有60秒的休息時間，你得再快點，最佳化你自己，再最佳化一下。” 所以，我認為這是一個預示未來發展趨勢的絕佳案例：未來人人都將編寫海量程式碼，只是他們渾然不覺。
至於模型會給出什麼樣的 MMA 指導……
John： 模型會給你什麼樣的指導？
Mark Zuckerberg： 你想看看嗎？讓我調出一些內容。它主要會給我很多關於身體平衡和髖部位置(Hip position)的建議。比如它會說，當你在內側控制(Inside control)時，你沒有在這個位置拿到腋下控制(Underhook)，所以很容易被對手翻滾壓制。我調出一些具體內容給你們看。
Alexandr Wang： 這絕對是他最早的使用場景之一，甚至可以說是最初原型(Prototype)階段的測試用例。
Mark Zuckerberg： 對對對。甚至在 Muse 跑通之前，我就用 OpenCL 做過這個測試。正因如此，我才說它在某種程度上也成了評估產品的標準。
Alexandr Wang： 我之前還真不知道它也是產品的評估標準，記下了。
John： 這些細粒度的知識是怎麼進入模型訓練資料的？比如“這是 MMA 選手保持完美平衡時的姿態”，或者“這是他們重心過於靠後時的樣子”。我很好奇，它是如何消化並理解這麼多關於 MMA 正確與錯誤姿勢的圖像？
Mark Zuckerberg： 它就是從中提取視訊幀，然後分析出：“okay，你這會兒重心太靠後腿了。”
John： 對，但這屬於湧現智能(Emergent intelligence)嗎？它是因為看過了海量的 MMA 圖像才“知道”的，還是因為它真正理解了“人體應該在那裡保持平衡”這一物理概念？是因為它讀過 MMA 的理論書籍，然後結合視覺發現你重心靠後了，還是……
Mark Zuckerberg： 我們確實使用了大量的視覺感知(Visual perception)資料來訓練模型。我認為這就是打造優秀多模態模型的關鍵。這其實涉及我們的一個核心理念：我們在端到端(End-to-end)地訓練模型，使其成為出色的個人智能體。那麼問題來了，Meta 為什麼要建構這些模型？首先，超級智能(Superintelligence)整體上能讓我們更好地營運公司，並創造出各種各樣的新事物。但具體到我們正在打造的產品，某些特定能力和技能組合顯然更適用於這些場景。這也是亞歷山大從一開始就重點關注的事情之一：我們必須確保多模態項目足夠出色，因為這對於使用者使用我們服務的各類場景來說，具有不成比例的重要性（即至關重要）。
John： 訓練優秀的多模態模型，這是否是 Meta 的天然優勢？因為你們擁有海量的圖像和視訊資料，這非常有幫助。
Alexandr Wang： 沒錯，我認為這最終取決於你的關注點。因為我們致力於建構個人超級智能(Personal superintelligence)，而從根本上說，世界上大多數人是以高度多模態的方式來體驗世界的。他們喜歡與人交談、聆聽、看視訊、散步，以及拍攝自己的生活。我認為大多數消費者擁有的都是這種高度多模態的體驗。特別是在今年早些時候，行業內其實出現了一種分歧和張力(Tension)，因為當時 AI 業界的主流共識幾乎全倒向了程式碼生成，認為只有程式碼能力才是最重要的。但我認為，像 Muse 這樣的產品要想成功，以及大量消費者用例要想落地，真正取決於的是強大的多模態能力。我們現在只是剛剛觸及皮毛。
Mark Zuckerberg： 我們最初的一個理論是，大多數人其實並不那麼喜歡閱讀。所以，即便是基於文字的互動模式，也只是人們退而求其次的選擇。大家都會發簡訊，但當你考慮到我們正在研發的智能眼鏡，或者其他高度視覺化的產品時，智能眼鏡最終將是一款純粹的多模態產品。你可以讓它聽到你正在聽的聲音，它可以和你對話，如果你允許，它還能看到你眼前的畫面。到最後，我甚至不確定我們是否還需要在眼鏡裡搞一個應用程式商店(App store)。它只會通過多模態生成(Multimodal generation)，直接在你的視野中創造出你需要的任何東西。我設想，這種能力最終可能會驅動我們建構的許多應用。雖然我們還處於早期階段，但目前來看，感知(Perception)方面的工作已經令人驚嘆。
為什麼模型即產品
John： 我想和你們探討一下 AI 領域的產品空間(Product space)。我來做個測試：如果讓我向你們描述 Stripe 的制勝產品長什麼樣，我可能需要寫好幾頁紙，因為我們要談開發者體驗(Developer experience)，要談全球各種異構的支付方式，還要談穩定幣(Stablecoin)。這會花費我大量時間。但我注意到 AI 領域有一個現象：制勝產品往往會迅速收斂至業界公認的統一產品範式。比如 Transformer 架構奏效了，然後聊天智能體(Chat agent) UI 也大獲成功；現在我們又看到了你剛才提到的 Open Claw，那種具備電腦使用(Computer use)能力的持久化智能體(Persistent agent)，能在現實世界中替你操作電腦。我們正在向那個產品空間收斂。但在AI領域存在一種現象：制勝產品往往極其簡單，所有認真對待AI的公司都在趨同追求這類產品。你甚至可以在明信片背面寥寥數語將其描述清楚，儘管其實現過程極其複雜。比如我們接下來要討論的新模型，要打造出一個優秀的版本，需要投入海量的前沿研發工作。至於制勝品牌，比如現在討論的智能眼鏡或未來的迭代版本，AI領域似乎只有極少數方向正確的產品，而非一個極其寬泛且複雜的產品空間(Product space)。
Mark Zuckerberg： 我有些不同意見。首先，我們最初的設想是，這類智能體(Agent)（無論採取何種形式）將與基於文字的助手截然不同，對吧？每家公司都有文字助手，我們的叫Meta AI，觸達了海量使用者。本質上，這和所有公司做的東西大同小異。我們明確認為，文字助手主要用於資訊獲取，使用者並不認為它是能真正幫你把事辦成的工具。
John： 它是用來檢索資訊的，而不是用來委派任務的。
Mark Zuckerberg： 沒錯，即使你說它“擁有一台電腦”，實現方式也有很多種，對吧？我認為直到最近這一波浪潮，才開始為智能體配備專用的虛擬機器(VM)，這其實極其重要，能讓你對資訊的安全和隱私保護充滿信心，因為它不是簡單地連接到大家都在用的某種公共彈性計算(Elastic compute)資源上。
John： 但我的觀點並不是說它容易實現，也不是說答案顯而易見，其中其實大有門道。好吧，你們認為未來會湧現出很多不同的產品形態嗎？因為我的主張是，現在大家看到了Muse，每個人都會說：“哦，沒錯，AI智能體產品顯然就該這麼運作”，未來我們看到的AI智能體產品都會高度趨同於Muse的形態。
Alexandr Wang： 我的看法是，在AI產品形態的探索上，我們仍處於極早期的階段，因此今天我們看待產品時，往往會忽略掉許多有趣的差異化特徵。我認為，傳統撰寫和思考產品規格的方式，已經不再適用於AI原生產品(AI native products)的重要設計決策，那些傳統的維度、槓桿和考量軸心都已不再適用。以Muse為例，我們在為產品設計模型時傾注了大量心血，並在各種場景下做出了許多深思熟慮的決策：模型究竟該如何表現？在特定場景下模型的具體人設(Personality)是什麼？它又該如何處理各類工具呼叫(Tool use)場景？這些都是刻意為之的設計決策。如果要完整描述我們希望模型在所有場景下的行為規範，那將是一份極其冗長的文件。但由於我們今天對產品的認知侷限，往往會簡單地認為“這不過是AI罷了”。這有點像移動網際網路剛起步時，人們覺得“這只是一個App，萬物皆App”。但事實證明，App的具體定義和內涵有著極其豐富的細節與差異。我們現在正處於這樣一個階段：認為“這只是AI”、“這只是智能體”，或者“這只是帶虛擬機器的智能體”等等。但我們必須深入挖掘並理清那些真正有趣的差異化特徵。
John： 好的，所以你們認為我犯了一個典型的錯誤，即認為我所在的領域很複雜，而AI這個領域很簡單。
Mark Zuckerberg： 我覺得支付處理器(Payment processors)產品看起來也都差不多。不不，我非常贊同你的說法。我們從很早就討論過一個趨勢：產品外殼變得越來越薄，而模型正在成為產品的核心。我們在內部常說的一句金句就是：“模型即產品(The model is the product)”。因此，在討論智能體時，Muse所投入的大量複雜產品工作，基本上都圍繞著處理使用者資料及其關聯事物的隱私和安全模型展開。這是我們深感自豪並傾注心血的領域，也是我們需要持續創新的重要產品表層(Product surface)。但能力、人設等許多特性，都是通過訓練融入模型中的。無論是實驗室裡負責研發的研究員，還是Nat團隊中負責產品的人員，當Nat思考“我們需要那些關鍵要素才能讓產品體驗極佳”時，他談論的其實是模型的後訓練(Post-training)，對吧？當然，產品的使用者介面(UI)也很重要，但UI最重要的部分其實是模型本身。
Alexandr Wang： 沒錯，完全正確。我認為從使用者的直觀感受來看，長期使用Muse會產生一種特定的體驗，其中很大一部分可能僅僅源於Muse處理特定任務的可靠性。但另一部分重要體驗則在於它的主動性：它在什麼情境下會主動介入？當它與你交流時，你對它的溝通方式感覺如何？這其中顯然大有文章。我開始在X的資訊流(X feed)上看到越來越多此類討論，人們開始剖析：雖然它們都是主動型智能體(Proactive agents)，但它們之間究竟有那些實質性的差異？我認為這些才是真正有趣的產品決策。有趣的是，如何將這些產品決策具體化呢？最終它們都會歸結為模型設計決策，進而落實到訓練方法、資料、評估(Evals)等具體事務上。
John： 既然談到產品空間，Muse的一個顯著細節是它沒有模型選擇器(Model selector)，也沒有推理強度選擇器(Effort selector)。你們認為這在消費級AI產品中是理所當然的正確設計嗎？
Mark Zuckerberg回應： 為了保持極簡。
Alexandr Wang： 沒錯，有些臭名昭著的是，許多AI產品都是由高度技術化的團隊設計的，他們的心智模型中根本沒有“隨機抽樣的普通美國人”（即普通大眾）的概念。因此，這些產品存在很多問題，比如某些模型的命名簡直糟透了，有時版本號數字甚至是倒序的，有時又完全是另一套詞彙體系。一個沒有仔細研讀過API設計規範的使用者，怎麼可能知道該選那個呢？這實在太讓人困惑了。
認識 Muse Wonder
John： 好的，我們討論了很多關於模型的話題。跟我講講新模型吧，聽起來非常棒。
Mark Zuckerberg： 是的，我們對此感到非常自豪。新模型Muse Wonder屬於前沿等級的全新模型類別。基本上我們從一開始就在研發它。在進行預訓練(Pre-training)時，你不會直接動用最大的計算叢集(Cluster)，而是循序漸進，訓練規模大四五倍的模型，然後不斷重複這一過程。我們推出的第一組模型Muse Spark，就是基於最初的預訓練成果。那是什麼時候？12月？對，去年年底。事實上，團隊能夠在一個規模並不算大的模型中注入如此多的智能和能力，這讓我們所有人都感到驚訝和讚歎，對吧？在那之後，我們開始研發下一代模型。預訓練已經完成了一段時間，隨後我們進行了後訓練，現在它終於問世了。這是下一等級的模型，規模顯著更大。我認為你能在思維的細膩度上感受到這種提升。我們重點關注的許多領域，都是為了使其成為最優秀的個人和專業智能體模型(Agentic model)。你可以針對不同的目標進行最佳化，這就是我們的方向。我們專注於建構許多基礎能力，比如非常出色的記憶能力，以及在複雜任務中保持專注和堅持的極強能力。實驗室和產品團隊等各方為此投入了大量工作。我認為這也證明了團隊能夠系統地摸索出規模化訓練(Scale)這些模型的流程。我認為這也是一個里程碑，標誌著未來每次推出更大規模模型之間的時間間隔將開始壓縮，這對於我們正在推進的工作來說非常令人興奮。
John： 是在Meta內部，還是在整個行業普遍如此？
Mark Zuckerberg： 在Meta，我認為大家在其他地方也能看到類似的情況。
John： 這是RSI效應還是其他原因？
Mark Zuckerberg： 我認為在Meta，部分原因是我們確實需要這麼做。眾所周知，我們對Llama 4的發展軌跡並不滿意，因此基本上重組了整個團隊。過去一年半里發生了很多瘋狂的事情，我們可能得花點時間好好講講那些“攻堅故事”，以後再細說吧。團隊基本上必須建構不同層級的模型，才能達到現在的水平。如今我們已經處於前沿，未來我們所做的一切都將是在推動前沿發展，而不需要像之前那樣做大量基礎性工作。你怎麼看？
Alexandr Wang： 我們對此感到非常興奮。這個系列將推出兩款可用模型，分別是Muse Wonder和Muse Wonder Full（Wonderful的諧音）。[笑聲] 好了，就這樣，挺不錯的。它基本上是一個更高端的……別在攝影棚裡閒扯了。是的，一個更高端的……完整版（Full version）。
Mark Zuckerberg： Muse Wonder的完整版。我懂，明白了。對，不是連在一起的，是兩個詞，Wonder和Full，也就是完整版。
John： 你顯然當爸爸了。
Alexandr Wang： 怎麼了？絕佳的老爹笑話（諧音梗）。就是這樣。至於性能，我們在個人和專業智能體(Agent)任務的一系列評估中看到了令人難以置信的表現。根據我們的測量，這代表了目前的最先進水平(SOTA)。此外，還有許多具體的亮點讓我們感到非常興奮，這些是我們隨著時間推移在模型中專門設計的。比如馬克提到的主動記憶(Active Memory)，我們認為要建構個人和專業智能體，記憶是建構可靠智能體的明確要求之一，也是我們投入極大的領域。實際上，與其他許多工作相比，我們在記憶方面的投入比例要大得多。我們內部也有MemoryBench（記憶基準測試）評估，展示了這方面的諸多能力。
John： 那麼，對於普通人來說，模型中的“記憶”究竟意味著什麼？我認為它是指模型能記住多少東西，比如你在執行任務時的工作記憶，模型能在其內部保留多少資訊？它和上下文(Context)有什麼不同？
Alexandr Wang： 我認為這體現在使用模型的體驗中。它在幾天、幾周或幾個月內能多好地記住你提到的事情，並在執行未來任務時利用這些資訊，這正是OpenAI模型中bug極多的地方。
John： 我想我們都非常喜歡Claude，也是Claude的忠實使用者，但它最終會進行上下文壓縮(Compaction)，也就是區分長期記憶和短期工作記憶之類的。而且我認為，當人們使用Claude一段時間後，會發現它的記憶功能存在不少bug。
Alexandr Wang： 是的，我們基本上為模型及其配套系統設計了一種更強大的記憶形式，我們稱之為主動記憶(Active Memory)。此外，正如馬克提到的持久性(Persistence)，這部分是在模型之外的。模型本身的能力也是存在的。
Mark Zuckerberg： 你提到的一些能力，比如上下文壓縮(Compaction)，其實是模型本身在做的，對吧？所以，基本上要把這兩方面都做好。
John： 這不是外部腳手架(Harness)，而是模型本身的能力。
Alexandr Wang： 沒錯，正是模型本身的能力。它將自身的記憶作為一個核心系統來感知，並能夠利用各種資訊源來執行未來的任務，同時理解自身的壓縮能力，知道如何最有效地進行壓縮等等。
John： 好的，這非常重要，因為很多人早期使用AI智能體(Agent)的體驗就是記憶功能充滿bug，所以這確實是一個巨大的改進。
Alexandr Wang： 需要明確的是，這方面仍有很大的改進空間，我們的評估也證明了這一點。但這是我們非常引以為傲的成果，我們認為這是一個有意義的貢獻。好的，主動記憶(Active Memory)是一方面。主動專注(Active Focus)是另一方面，它實際上是指模型在執行任務時能夠貫徹始終的能力。特別是當我們看到Muse使用者以及Muse Code使用者提出複雜度越來越高、越來越模糊和龐大的任務時，我們希望模型能夠非常有效地執行這些任務。這實際上是早期內部試用(Dogfooding)和測試中，很多人注意到的該模型的一個特別之處，也是它區別於他們嘗試或使用過的其他模型的顯著優勢。
John： 在AI術語中，“專注”(Focus)是什麼意思？是把大量算力集中在任務上嗎？是不被其他事情分心，還是某種持久性？
Alexandr Wang： 是的，類似於持久性。它基本上是指能夠在極長的時間跨度內執行完整任務的能力，並且在沿途遇到各種挫折時，能夠以符合對齊(Alignment)要求的方式尋找其他解決方案。然後是編碼能力的大幅提升，達到了前沿水平。它在SWE-bench和SWE Marathon上實際上代表了最先進水平，在TerminalBench 4和許多其他基準測試中也表現出色。因此，我們認為使用它進行編碼的使用者（雖然這只佔所有使用者的一小部分）將會看到巨大的改進和顯著的提升。
John： 好的，所以我們在Stripe也應該使用Muse Wonder Full來寫程式碼。
Alexandr Wang： 完全有可能。我的意思是，它在SWE-bench上達到了最先進水平，我們可不想錯過。沒錯，這在編碼方面是一個巨大的改進。顯然，我們希望人們嘗試一下，看看實際體驗如何。但在我們自己的內部測試中，結果非常令人滿意。是的，我認為人們會在很多方面喜歡它。
John： 好的，所以這不僅是你們最新的前沿模型，開發者可以直接找你們，或者在OpenRouter上使用它。他們可以直接將其作為一個模型來呼叫；同時，它也是Muse內部的一次重大升級，Muse的活躍使用者會直接感受到這種提升。
Mark Zuckerberg： 是的，由於Muse Wonder模型規模更大，運行成本也更高，我們打算初期主要通過付費訂閱來提供。我們希望Muse這款產品能讓所有人免費使用。因此，我們提供了大量的免費Token，供使用者使用Muse Spark模型。但如果你想使用Wonder來處理大多數複雜任務，那麼至少目前你需要使用付費版本。不過，這個領域發展迅速，我們希望在不遠的將來，能推出一個性能與Wonder相當、但採用Spark規格(Form Factor)的模型，那將是一件極棒的事，能夠為全球數億人提供服務。
John： 好的，所以使用者進入Muse，訂閱所謂的高級版或專業版計畫，掏錢付費，直到刷完信用卡，然後就可以選擇它，或者它會自動……哦，體驗就自動變好了，對你來說一切都變得更順暢了。
Alexandr Wang： 然後它也會通過API提供，包括Meta Model API和OpenRouter，同時也會提供給Muse Code使用者。Muse Wonder Full將開放給Muse Code的訂閱使用者。這非常令人興奮。正如馬克提到的，這是一個規模大得多的模型，所以我們正在研究如何最有效地為儘可能多的人提供服務。我們非常期待能讓儘可能多的使用者用上它。
John： 這是向前邁出的一大步。
Mark Zuckerberg： 對於Muse Spark，我們對在達到目前這個階段所能交付的性能感到非常滿意。但這就像……是的，這是Muse開始躋身前沿的起點。我們認為這些模型與目前市面上最好的模型相比非常有競爭力，我認為……
John： 好的，所以你認為它和Astra、Fable以及Wonder一起處於最前沿。
Alexandr Wang： 是的，你可以通過基準測試來實證瞭解。根據基準測試的客觀結果，人們自然會得出這樣的結論。而且我認為，我們特別引以為傲的一點是，正如前面提到的，我們花了大量時間針對Muse的產品形態(Form Factor)對模型進行了最佳化。所以這是目前最先進的模型，我們認為它確實是個人和專業智能體應用場景下全球最好的模型。
前沿模型究竟如何建構
John： 公司內部的人總喜歡抱怨古德哈特定律(Goodhart's law)——當一個指標成為目標時，它就不再是一個好指標。你們常聽到這樣的抱怨：模型在經過基準測試後，在某種程度上對基準的過擬合反而會讓模型表現略微變差。作為真正訓練AI模型的人，事實果真如此嗎？基準測試在評估模型方面真的靠譜嗎？你們是否開始觀察到一些奇怪的邊緣失敗案例(edge failure cases)？
Mark Zuckerberg： 基準測試必須不斷迭代，對吧？因為模型進步得非常快，基準測試很快就會被“刷爆”而飽和。所以，我確實認同這種說法。
John： 但我認為那些尚未飽和的基準測試還是沒問題的。
Mark Zuckerberg： 隨著工作的推進，我們越來越多地針對所關注的應用場景，將模型引導至我們的內部基準。在早期，當我們還在努力攀登技術階梯、做基礎科學研究時，我們更看重外部基準，以確保方向正確。但隨著每一次版本發佈，我們所關注的內部基準所佔的比重越來越大。
Alexandr Wang： 實際上，我們在關於Muse Wonder的研究部落格文章中量化了一個指標，叫做“大模型味兒(big model smell)”，這在某種程度上是指大模型帶來的直觀感受，以及我們在對模型進行基準測試時的體驗。
John： 也就是說，當你使用一個真正的大模型時，你一下就能感覺到，你能察覺到它具備這種特質。
Alexandr Wang： 沒錯。因此，我們量化這一指標的方式，實際上幾乎完全正如你所提到的，即分佈內性能(in-distribution performance)與分佈外性能(out-of-distribution performance)之間的差距。具體來說，我們會衡量模型在強化學習(RL)和後訓練分佈內的任務上表現如何，再與分佈外任務上的表現進行對比，看看這種差距有多大。那麼，Muse Spark系列和Muse Wonder系列之間的差距又是怎樣的呢？實際上，從Muse Spark到Muse Wonder系列，我們看到了巨大的飛躍。正如馬克所提到的，這是因為驅動這條新產品線的基座模型要出色得多，並且這背後有著一整套生成式的演進體系。我認為我們已經能夠真正量化這種效應。這顯然也是我們期待繼續改進的一個維度。
John： 但如果你們說外部基準已經不再那麼重要，而更看重內部基準，這是否算是一種反對基準測試的論調？你們是否認為，僅僅試圖在大家都在談論的外部基準上刷個最高分，可能並不能引導你們開發出一款真正優秀的模型？
Mark Zuckerberg： 話雖如此，但我們專注於特定的領域。我們整體戰略的一部分是實現個人超級智能(personal superintelligence)，並嘗試建構與其他人不同類型的產品。所以，即使我們使用與所有人完全相同的評估標準(evals)，這也僅僅是……
John： 不過我想說，個人超級智能並不是一個極其小眾的領域。它很可能是其他模型也會關注的方向。
Mark Zuckerberg： 我認為這其中有一些截然不同的方面。比如，個性(personality)可能更為重要。我們討論的一個核心概念是“分寸感(discretion)”，對吧？如果你想讓模型幫你辦成某件事，它需要瞭解你的大量資訊，並在現實世界中為你行事，同時儘可能少地洩露你的隱私。舉個例子，假如你有過敏史或者懷孕了，你想在餐廳訂個座位，你不想向餐廳透露你的健康狀況，但又想確保那家餐廳適合你。那麼，模型該如何處理這種情況呢？人類擁有常識，而目前的模型，如果你建構的是一個在所有人共享相同上下文的環境中運行的程式設計智能體(coding agent)，分寸感就顯得不那麼重要了。因此，我認為這些細節對我們來說更為關鍵。
Mark Zuckerberg： 在程式設計的某些方面，程式碼必須能運行，但使用它的消費者可能永遠都看不到程式碼。這在個人超級智能的場景下，可能比單純服務於軟體開發者更為重要。所以我認為這些方面確實有些不同。
Alexandr Wang： 歸根結底，我們關心的是打造有用的模型。我們希望當模型交到使用者手中時，他們能獲得極佳的使用體驗。我認為，無論是我們還是其他人開發的模型，這都是最重要的指標。我認為，如果真的過度關注外部基準，稍微深入探究一下它的“供應鏈”，你會發現那可能只是某個博士生在讀博期間順手做的一個基準測試。這無異於將所有的產品思考，外包給了一位碰巧做出爆款基準測試的博士生。這顯然是不對的。這就是為什麼我們非常看重內部評估。Meta和MSL的許多人投入大量精力的一個重要部分，就是打造極其出色的評估標準(evals)。
Mark Zuckerberg： 現在既然我們有了自己的標準，就可以獨立開展工作了。但如果你正在組建並擴建你的實驗室，從那些公開的基準開始並不是一個糟糕的起點。
Alexandr Wang： 但那絕不是你最終想要達到的狀態。剛起步時，你只是在尋找模型“活過來”的初步跡象。但當你真正進入我們現在所處的階段時，我們會非常有意識地思考如何隨著時間的推移不斷改進模型，從而建構越來越好的產品。就像馬克剛才提到的許多案例，這些實際上都在一個電子表格中進行了非常嚴謹的詳細記錄，涵蓋了我們認為對終端使用者真正重要的所有微小能力和產品細節。也許每一項細節對使用者而言只佔2%的體驗權重，但聚沙成塔，正是這種對細節的極致痴迷，最終造就出令人感到不可思議的模型。
John： 你們能給我描述一下訓練一個強化學習(RL)模型，或者說最前沿的前沿模型，究竟需要做什麼嗎？我很好奇，因為我認為很多聽眾對預訓練(pre-training)和後訓練(post-training)步驟只有一個大致的概念。預訓練階段，你們會攝入海量資料。比如，讓模型查看大量圖片，告訴它那些是貓，那些是狗。過了一段時間，模型就開始對“貓的特徵”、“狗的特徵”、“毛髮”等建立起概念。這就是預訓練步驟，你們像吸塵器一樣吸收資料，也許你們可以談談資料獲取以及其中涉及的具體工作。然後是強化學習階段，這是過去幾年AI領域相對較新的進展。聽起來，模型許多特定的細微差別正是在這一階段形成的，你們為模型選擇了更好的領域和更具挑戰性的攀登目標。但在宏觀層面上，請描述一下這需要多少人、花費多長時間、具體步驟是什麼，以及你們是如何思考這些環節的？
Alexandr Wang： 你有多少時間聽？宏觀來說，這恰好是我們傾注全部時間在做的事情。
John： 沒錯，所以請簡要總結一下。
Alexandr Wang： 我可以推薦一些YouTube課程。在非常宏觀的層面上，這就是各個階段：預訓練和後訓練。有趣的是，“訓練”本身反而是包含這一切的超集。
John： 那麼整個項目投入了多少人呢？在你們開發的時候。
Mark Zuckerberg： 我想你正觸及MSL以及我們改採取方法的有趣之處。從一開始，當我第一次聯絡你時，我們審視這一切只是因為感嘆：“哇，我們已經走了這麼遠。”我調出了第一次聯絡亞歷山大時的截圖。我最初的消息是：“嘿，你有時間聚聚聊聊嗎？”然後我們就聊了起來，這就是他們套路你的方式，一聊就是44分鐘。那次通話兩天后，亞歷山大發給我一篇長文，內容大致是：“如果我處在你的位置，我會這麼做。”其中第一點就是：你不需要很多人，人才密度(talent density)才是關鍵。所以我想說，從計畫之初，這就是你戰略的核心，對吧？基本上意味著你實際上不需要龐大的人數，但你確實需要讓每個人都儘可能優秀。這在某種程度上推動了我們瘋狂的招聘行動和極其嚴格的篩選過程，我們不得不從Meta內部選拔最優秀的人才，並經過極其嚴格的流程從Meta外部引進人才。但我實際上認為，讓MSL如此特別、吸引眾多人加入的原因在於，在人才密度極高的小團隊裡工作更具樂趣，它兼具初創公司的敏捷優勢與大廠的穩定資源。而這正是我認為的理想環境，也是亞歷克斯計畫中的第一點，即這就是我們需要去做的。至於預訓練團隊規模究竟該有多大，我不知道確切答案。團隊不需要非常龐大，但如果你看看其他一些實驗室，他們的規模可能相當大。所以我認為，這些模型表現出色的部分原因在於，我們押注了一些人才，並為他們提供了大量資源。
John： Muse Wonder就是這樣一次大型訓練任務的成果嗎？核心就在於此。
Mark Zuckerberg： 這是下一次預訓練，對吧？我們在不斷攀登階梯。我們有一套分級系統，然後是Spark系列。在內部，Avocado（酪梨）是新Spark系列的代號，而Watermelon（西瓜）是這一版的代號。結果我們的水果代號用光了，所以得換一套新的命名規則。
Alexandr Wang： 我覺得嚴格來說唯一比它大的水果是榴蓮，但你可不想用那個。
John： 不不不！你想偏了。榴蓮可比西瓜大多了。
Alexandr Wang： 肯定更重，那太可怕了。絕對更重，刺也更多。不過，正如馬克提到的，在我描述的每個階段，Meta投入的人力只有幾十人，而其他公司可能是幾百人。
John： 好的，Meta是一家龐大的公司，但這個項目的團隊卻非常精簡。
Mark Zuckerberg： 研究團隊不到兩百人。
Alexandr Wang： 規模非常小，我們刻意保持團隊精簡，核心人數接近一百人左右。此外還有一批基礎設施(infra)工程師，基礎設施方面的工作量很大。所以從宏觀層面回到最初的問題：模型究竟是如何誕生的？這就是我想問的。模型從何而來？你需要使用海量資料進行預訓練。
John： 粗略來說，就是公開網際網路上的所有資料，以及你能獲取的所有書籍，儘可能多地收集各種類型的資料，再加上Meta的專有資料。
Mark Zuckerberg： 還包括不同的模態(modalities)。如果你希望模型擅長感知，就必須確保它包含大量圖像、音訊、視訊等內容。如果你希望它在某些特定領域表現出色，不能僅僅在最後階段通過強化學習(RL)來彌補，而是要從一開始就讓它接觸這些領域的資料。
Alexandr Wang： 在這個階段，你對資料的具體外觀或格式等細節的關注要少得多。關鍵就是要有海量資料。
John： 當你提到這是最優秀的個人智能體(personal agent)模型時，在預訓練階段，你們是否獲取了諸如海量餐廳預訂、電話預訂等特定資料？
Mark Zuckerberg： 具體是什麼我不清楚，但我們就是想大量灌入人們關注的各種模態的資料。涉及的內容有很多。其實我不認為我們之前討論過Muse Wonder具體擅長什麼。人們關心什麼，對吧？人們關心的領域有很多，比如購物、個人建議，還有個人法律、健康、稅務等方面的問題。Muse Wonder在這些方面表現得相當出色。如果非要量化一下的話，它在這些領域確實非常優秀，尤其是在提供個人建議等方面。你可以通過強化學習(RL)在一定程度上提升這些能力，但更直接的做法是投入大量相關資料。比如健康領域，網上有海量的健康資料，在預訓練階段，你只需要讓它接觸所有這些不同的語料庫(corpus)即可。
Alexandr Wang： 正如馬克所說，Muse Wonder的一大亮點就是它在各個專業領域的能力。我們的理念是，最優秀的個人智能體應該讓你感覺身邊有一支專家團隊。它應該像是你的法律團隊、財務團隊、醫療團隊等等，涵蓋眾多專業領域。Muse Wonder在諸多財務和法務評估(eval)中實際上都達到了最先進水平(state of the art)，它是目前最先進的模型。而這些專業領域的優勢正是從預訓練階段開始的。我們在預訓練中投入了大量專業領域的資料。預訓練的藝術在於，推特使用者roon發過一條推文說，預訓練研究員猶如咀嚼玻璃、凝視深淵。但這確實有一定道理，因為這是風險最高的研究領域。我們將絕大部分算力投入到Muse Wonder的預訓練中，風險極高。在這個過程中，我們倆都曾經歷過低谷，經歷過悲傷和迷茫的起伏，體驗了“悲傷的七個階段”。在預訓練模型時，樣本量非常有限。因此，你推斷科學結果的能力，完全取決於你對整個過程中發生的一切進行深度推理的能力。
John： 好的，所以在預訓練階段，所有訓練前沿模型的人都在儘可能多地獲取資料。如果希望Muse Wonder在法律、財務和稅務等領域表現出色，就會在預訓練中儘可能多地納入這些特定語料。
Alexandr Wang： 你仍然需要對模型的最終目標有明確的規劃，但同樣，更多的資料會帶來優勢。這就是海量資料、海量算力的階段。
John： 你們在預訓練資料上是否達到了某種飽和點，還是說資料越多越好？
Mark Zuckerberg： 這麼說吧，如果你希望模型更大，就需要更多資料。
John： 否則會過擬合(overfit)。但我的意思是，是否存在某些資料會干擾模型，不能讓它的大腦閣樓塞滿這些無用資訊，還是說單純的資料越多越好？
Alexandr Wang： 確實存在這類效應。但這正是科學探索的一部分，對吧？我們有自己的獨門秘方(secret sauce)。
Mark Zuckerberg： 不，沒什麼秘方。我的意思是，關於投入大量token的問題，很多地方是否存在零和博弈？其實並不存在，甚至往往是正遷移(positive transfer)。但根據具體設定，也可能出現一些負遷移(negative transfer)。所以有很多有趣的問題。但總體而言，擴展更大模型的一個重大挑戰在於，這不僅僅是浮點運算次數(FLOPs)和計算量的問題，還需要讓資料規模與之同步擴展。這也是最初預訓練規模法則(Scaling Laws)提出的核心觀點之一。如果網際網路資料增長不夠快，而你想訓練更大、更智能的模型，那麼一個有趣的問題就是：資料從那裡來？我想關於這個話題的討論差不多到此為止了。我們可以轉向其他方面，比如能源問題。
Alexandr Wang： 至於後訓練(post-training)，我認為這是一個目前非常令人興奮的領域，而且整個領域幾乎在不斷學習和最佳化後訓練模型的最佳配方(recipe)。
John： 再重申一下，對於不瞭解的人來說，後訓練就是你給模型分配它需要執行的任務，並根據其表現進行評分。比如對於下棋的模型，就讓它下棋並從中學習。
Mark Zuckerberg： 實際上分為兩個階段。是的，監督微調(SFT)屬於監督學習。當你處理這種原始模型時，你會同時提供問題和期望的答案。例如在聊天對話中，你希望它如何回應。因此，在訓練性格特徵等方面時，SFT實際上是塑造模型的一個非常重要的環節。但我認為近年來大部分進展集中在……
Alexandr Wang： 我認為一個有用的心智模型(mental model)是，SFT是初始化模型行為的地方。在這裡，你會初始化模型後續需要展現的許多行為。在SFT結束時，這些行為已經被內化，但模型可能只有10%的時間會表現出這些行為。然後在強化學習(Reinforcement Learning, RL)中，你會在各種情境下給予模型強化反饋，從而大幅提升這些行為的激發(elicitation)頻率。我認為在RL和後訓練(post-training)領域正在發生許多有趣的事情。其中之一是，RL和後訓練的擴展(Scaling)一直是一個明確的發展方向，即投入更多算力並收集更多資料。
John： 也就是說，在發佈模型之前進行更多的此類工作。
Alexandr Wang： 是的，進行更多此類工作，尤其是隨著預訓練規模的擴大，需要做得更多。
John： 這就像規模法則(Scaling Laws)中的任何事物一樣，必須與其他因素協同推進，否則就無法奏效。
Alexandr Wang： 總的來說，如果讓我用一句話概括AI的發展，那就是：全面擴展(Scale everything)。
John： 所以必須擴展所有方面，孤立地擴展單一維度是行不通的。
Alexandr Wang： 從技術上講，你確實可以只擴展單一維度，但如果同時擴展多個方面，就能獲得更優的性能。
Mark Zuckerberg： 以Muse Wonder為例，這是一種思考方式。我們完成了預訓練，也進行了一些RL。看看Muse Spark，從1.0版本到1.1、1.2、1.3版本，我們沒有改變預訓練的任何內容，只是在其基礎上繼續做更多的RL。因此，當你思考一個新類別模型的早期版本時，它們實際上包含的RL相對較少，即RL與預訓練的比例低於後期版本。
John： 這基本上就是模型中小版本發佈(point releases)的內容。
Mark Zuckerberg： 我認為每家公司都有自己的慣例。對我們來說，正是如此。
John： 但對於許多公司來說，大版本號代表預訓練，隨後的小版本號……我認為這在某種程度上失去了其語義價值(semantic value)。
Alexandr Wang： 是的，失去了語義價值，我認為現在實際上……
John： 好吧，但至少對Meta來說確實如此。
Mark Zuckerberg： 但我們甚至還沒有這樣做。我們決定暫不賦予它版本號。對於Muse Spark確實如此，對於Muse Wonder也是如此，它們都經歷了預訓練。我們決定將Muse Wonder的這個問題推遲，暫時不給它分配版本號。但當我們發佈第一個小版本時，就必須做出決定了。
Alexandr Wang： 我認為在RL階段，非常有趣的一點首先是建構環境和設計任務，這是訓練這些模型時具有高度目的性(intentionality)的領域之一。同時，你也會注意到一些非常有趣的現象，比如在RL中，資料往往是少即是多(Less is more)。因此，總體而言，RL的直覺與科學原理和預訓練幾乎是完全相反的。另一點是，它可以向模型提供極強的指令。我認為我們非常關注的許多安全或對齊(alignment)案例，就是當你在前沿模型上進行大規模、高算力的RL執行階段，你會看到我們在模型唯一成功途徑是不對齊或不安全的情境中，施加了大量的RL或最佳化壓力。因此，在訓練這些模型時，我們必須非常謹慎和深思熟慮，確保精心策劃RL環境，以保證所有環境都能激發並引導模型表現出更對齊的行為。
Mark Zuckerberg： 你提到的關於質量的問題非常重要，因為之前的許多問答都在討論數量，給人一種必須擴展數量的感覺。確實如此。但我認為，這其中很大一部分正是你剛才提到的要點，即即使是數量較少的高品質資料也至關重要。
Alexandr Wang： 是的，我認為在RL中，隨著我們的Muse Spark系列取得了顯著飛躍，這些飛躍伴隨著底層配方(recipe)的真正實質性改進。配方中的每一次改進都意義重大，我認為從Muse Spark 1.0到1.3版本的提升，簡直是天壤之別。我認為對大多數人來說，如果問他們這些模型是否感覺來自不同的預訓練，他們可能會回答“是”。因為我認為，值得一提的是，這在行業內正在普遍發生。我們正學習如何從現有的基礎模型中搾取如此多的能力，並激發出如此多的智能體能力(agentic capability)。但這並不意味著我們不認為擴展非常重要，這正是我們最初推出Muse Wonder系列的原因。但這兩件事正在同時發生，順便說一句，這也是我們看到如此多進展的原因。我認為，這是因為我們在預訓練和RL配方方面都在以極快的速度同步進行擴展。
Mark Zuckerberg： 是的，還有其他擴展維度。例如，確保智能體框架(agent harness)良好，並能夠協同最佳化這些要素，可能只是擴展的另一個方面或維度。
John： 如果我的理解正確，你們的意思是，對齊不在於提出某些專門針對對齊的RL步驟，而是要確保整個RL過程在引導……
Alexandr Wang： 在整個過程中都必須對此深思熟慮。因此，我認為這是一項系統性工程(holistic effort)。
Mark Zuckerberg： 此外，我認為不同的實驗室有非常不同的理論。對齊是一個非常哲學化的概念，對吧？比如，你希望它與什麼對齊？我們的許多理論是，我們更關心它與使用者對齊。我們試圖為人們提供智能體，對吧？因此，當你要求它做某事時，你需要有充分的信心相信它會按照你的要求去做。你絕不希望它在執行任務前，先給你上一堂道德說教課，指責你的請求有何不妥。當然，若你試圖讓它執行災難性的操作，它應當優雅地拒絕，而非生硬地激怒你。但總體而言，我們將對齊更多地視為指令與價值觀對齊(instruction and values alignment)，即與它所服務的人對齊。我認為這是一種不同的思考模式，這非常不同。
押注 1000 億美元
Alexandr Wang： 其他人可能做法不同，但我認為一個更有趣的問題，也許與你最初的問題相關，是訓練這樣一個模型究竟需要多長時間。以Muse Wonder為例，總的來說，我們從去年8月就開始規劃它了。
Mark Zuckerberg： 是的，我記得我們舉行閉門會議(offsite)時的情景，那正是他們首次展示該計畫的時候。
Alexandr Wang： 是的。我認為我們剛才討論的所有階段，都需要投入相當長的時間來推進。並不是說我們在完成Muse Spark後才開始著手Muse Wonder。事實上，我們規劃和推進這項工作已經很長時間了。我們確實將Muse Spark視為通向Muse Wonder的墊腳石，正如我們在第一篇相關部落格文章中提到的那樣，這也是我們當時的真實想法。
Mark Zuckerberg： 是的，至於這需要多長時間，我們現在甚至還只是在討論研究階段。此外還有算力部分。首先，我們一直在投資建構龐大的整體算力。我們的核心理念之一是，可以通過一個實驗室最大的單台電腦（即超級電腦）的規模，來衡量其執行大規模訓練任務的算力實力。我們在俄亥俄州建造了名為“普羅米修斯”(Prometheus)的叢集，其規模已超過1吉瓦(gigawatt)。現在，我們正在路易斯安那州建造“海伯利安”(Hyperion)叢集，其規模將達到5吉瓦。這些項目實際上早於MSL，因為從零開始建設整個資料中心園區需要時間。這些計畫現在才剛剛落地，但那已經是之前的事了。
John： 你們當時以為這可能是為了資訊流(Feed)準備的，對吧？畢竟你們通常會將大量算力用於此。
Mark Zuckerberg： 不，不，不。這甚至可以追溯到Llama項目之前。大概是在2023年，或者是2023到2024年間，我們基本上開始制定建設這些叢集的計畫。現在它們已經全面上線。我想路易斯安那州的那個叢集將在未來幾年內陸續上線。但如果想在這個領域實現真正的端到端(end-to-end)，顯然需要全端(full stack)能力。Meta是一家全端科技公司。我們自己建設資料中心，研發自己的晶片，建構自己的底層基礎設施。現在這是下一個組成部分，可以說也是下一波技術浪潮中最重要的部分，即建構非常優秀的模型並將其交付給使用者。如果想實現完全的端到端，這確實是必經之路。
Alexandr Wang： 我確實認為這一點在科技行業可能已經得到了充分認可，但事實確實如此。感覺模型在不斷地發佈，所以人們可能會有一種思維定勢，認為一家公司發佈了一個模型，然後才開始研究如何開發下一個模型。但實際上，這背後是非常漫長的規劃流程和極長的工作流，它們在最後階段匯聚在一起，才最終產出這些驚豔的模型。
John： 當反饋周期如此之長時，你們如何打造優秀的產品？你們在8月份開始規劃模型，但要等一年多以後才知道它好不好。眾所周知，矽谷喜歡依靠資料指標來運作，但最終，你們是不是只需要一位極具審美品味的人？
Mark Zuckerberg： 有資料指標固然很好，但我認為企業家的本質就在於：在資訊匱乏的環境中，你能做出多麼明智的決策，對吧？
Alexandr Wang： 但這就像是……使用了類固醇(steroids)，對吧？超級類固醇。我認為確實如此，馬克在這方面功不可沒。因為所有事情都需要耗費很長時間。自從我來到這裡，過去一年中有許多這樣的時刻，正如你提到的，甚至更早之前，你們必須做出巨額投資或重大決策，決定如何投資或開發技術。而在證明這些舉措是否真正奏效之前很久，就必須做出這些決定。因此，我認為這在某種意義上是“困難模式”(hard mode)下的創業，完全與精益創業(lean startup)背道而馳。精益創業的理念是，先測試某個想法是否行得通，如果行得通就加倍投入，然後再驗證、再加倍投入。但在AI領域你不能這麼做。我們必須……多年來我們一直在投資這些資料中心，我們不得不這樣做。
John： 如果浪費了時間，你們就會徹底落後。
Mark Zuckerberg： 是的，所以我們會進行這樣的對話。去年底我們有這樣的交流，當時我們說：“好吧，我們對進展感到非常興奮。”但我們還沒看到模型。就像我要開出一張1000億或2000億美元的支票。我當時對亞歷克斯說：
John： 你確定這會成功嗎？
Alexandr Wang： 是的，情況非常極端，整個高管團隊都參與了。我覺得蘇珊(Susan)有點害怕。每次我們談到這件事時，都會開玩笑說：“是啊，希望這一切都能順利進行並取得好結果。”但說實話，去年底，除了我做個“氛圍報告”(vibe report)，或者匯報一下研究進展，展示一些圖表之類的，雖然我對它感覺不錯，但當時絕對無法確定它是否能成功。
John： 你們的意思是，訓練前沿模型(frontier model)的本質在於：牌還沒發，就必須把籌碼全押上(all in)。你只能決定去開發前沿模型，卻沒有試錯的餘地。
Mark Zuckerberg： 在目前的規模下，如果是幾年前，叢集不需要這麼大，但現在必須這麼大。所以我認為，這也是如今創辦前沿實驗室令人興奮的地方，對吧？基本上就是底注(ante)極高。
Alexandr Wang： 我對此有刻骨銘心的記憶。去年底我們在夏威夷，整個高管團隊聚在一起。蘇珊多次把我拉到一邊說：“我只想告訴你，如果這行不通，情況會非常非常糟，在財務上會極其糟糕。”
John： 我真的需要讓你明白，這個模型，它必須出色。
Alexandr Wang： 如果成功了，一切都好，我們就很棒。但如果失敗了，就會非常非常非常糟。
John： 那是一種很好的激勵。
Alexandr Wang： 確實如此。那是一個很有趣的時刻，我當時想，顯然涉及的金額大得驚人。
John： 訓練需要多少資金？能透露個大概數量級嗎？具體是多少？
Mark Zuckerberg： 一個1吉瓦的叢集。我認為外界能看到的，營運一個1吉瓦的叢集一年，成本大約在150億美元左右。
John： 好的，所以大約是150億美元。
Mark Zuckerberg： 最初，營運一個1吉瓦的叢集一年。如果算上建設的資本支出(capex)，因為需要預先支付，可能接近500億或600億美元。但這只是一個叢集用於一部分訓練的成本，然後還有其他所有部分。研究不僅僅是跑一次訓練，對吧？可能有一半的成本在於，每次做出更改，你都要在達到最大規模之前測試所有階梯，然後還要提供服務。
John： 所以現在訓練一個前沿模型需要數百億美元。
Alexandr Wang： 是的，絕對是。我看過財務彙總，數百億美元是一個很好的估算。
Mark Zuckerberg： 是的，然後你還想用它做點什麼，對吧？所以我認為我們遇到的一些更複雜的問題是：我們在訓練這個模型，我們知道必須訓練它，因為這是關鍵，但我們預計會有多少產品需求？因為現在產品還不存在。
John： 也就是說，你們試圖建設資料中心，為一個尚不存在的產品提供Muse服務。
Mark Zuckerberg： 是的，我們必須提前幾年做出決定，對吧？所以，這可能是去年我們討論這件事時的一個疑惑時刻。當時有一群人覺得：“也許我們應該稍微保守一點。”但我們的態度是：“不，我們要這麼做。”我們要放手一搏。
Alexandr Wang： 是的，這會成功的。但說實話，即使我作為一名企業家和創始人，在人生的各個階段都承擔過風險，我依然記得當時那種發自內心的感覺：這風險簡直大得離譜。但我確實認為，馬克，你有一點非常令人欽佩，那就是你真正內化了一個理念：關鍵在於獲勝時的收益有多大，而不是僅僅覺得失敗也無所謂。
Alexandr Wang： 關鍵在於，當你真正獲勝時，回報究竟有多大？而我認為這是一個……
John： 馬克已經像許多人一樣，將冪律法則(Power Laws)完全內化於心了。
Alexandr Wang： 我認為他領悟得非常深刻。
Mark Zuckerberg： 我其實不認為這有那麼大的風險。我的意思是，數字確實很大，但我認為從算帳的角度來看，我們的勝算更大。所以我認為有兩點。第一，如果 AI 整體行得通，會有很多人想要我們的算力，對吧？所以他們願意付費。比如說，如果成本是150億美元一吉瓦(Gigawatt)，我們也能從中獲得豐厚回報。因此，要讓這筆投資打水漂，不能僅僅是我們失敗，而是整個 AI 領域都必須失敗。而且，即便真的發生那種情況，我們仍然有其他途徑來高效利用算力。所以從全域來看，我們確實是在產品尚未準備就緒之前，就提前為推理(Inference)儲備算力了。
John： 但你對 AI 已經“深信不疑”(AI-pilled)，以至於你說過，只要 GPU 上線通電就會大有用處。
Mark Zuckerberg： 沒錯，但我們也堅信自己正在建構的東西。你可以看看技術的發展軌跡：首先出現了 ChatGPT，這是一個基於文字的系統；然後 Anthropic 讓程式設計智能體(Coding Agents)跑通了，但還沒有人建構過面向個人消費者的版本。這顯然就是 Meta 應該去建構的東西。我認為這對你我來說從一開始就非常清晰，這就是我們的使命所在。對我來說，關於 Muse 發佈的一個真正問題是，你永遠不知道產品發佈後會獲得怎樣的反響，對吧？有時你會打出一記本壘打，這次就是如此，它一推出就備受好評。但通常的情況是，產品表現平平，你需要迭代幾次才能實現產品市場契合(Product-Market Fit)，然後才能真正迎來增長。在某種程度上，我其實認為我們的產品本來可以增長得更快，但在發佈時我們並沒有把所有增長相關的準備工作都做足，因為我們的中位數預期是：我們可能需要對其進行一些迭代，這也沒關係。如果需要幾次迭代，也不是世界末日，這很正常。有時候產品發佈可能會遭遇災難性的失敗，然後需要很長時間才能恢復，那就不妙了。但我的意思是，即使需要幾次迭代，也沒問題。所以，我想對我來說，雖然投入的數字很大，但這筆投資看起來很可能是值得的。
John： 高管團隊攜手共擔風險，這是否增強了團隊的凝聚力？那算是一個增強凝聚力的時刻嗎？我的意思是，那確實很有壓力。我認為兩者兼而有之。共同處於高壓環境通常能增強團隊的凝聚力。
Alexandr Wang： 我認為 Meta 非常值得注意的一點是，首先，大多數高管團隊成員在這裡待了很長時間。Nat 和我算是真正的新人，而大多數人過去也經歷過許多瘋狂的局面。我認為 Meta 作為一家公司極具韌性，經歷過許多在當時看來極其艱巨的局面。所以每個人可以說都“輕車熟路”了。顯然，從紙面資料來看，尤其是當我們的首席財務官蘇珊·李(Susan Li)在會議上把我拉到一邊時，這確實看起來像是一個非常可怕的局面。但我認為大多數人的反應是：沒錯，但我們是 Meta，我們會挺過去的。我認為團隊中有一種真正的戰友情誼，也有一種非常積極的氛圍，我對此非常感激。因為對於公司裡負責營運和管理的其他高管來說，這很容易讓人感到……
John： 畢竟是她來管錢付帳。
Alexandr Wang： 這可是史上最偉大的企業之一，他們很容易對這整個燒錢計畫感到惱火，但我認為每個人也對 AI 為公司帶來的機遇感到非常興奮。退一步說，我認為馬克作為公司創始人兼 CEO 的職責之一，就是確保公司始終朝著最具雄心和最宏大的願景邁進。我認為這次機器學習(ML)與 AI 推進的一大亮點，就是最純粹地體現了這一點。我們知道 AI 無疑是一項非常重要的技術，也是目前最具影響力的技術之一。如果我們能有效地建構它，將其完美整合到我們所做的一切中，並且作為一家全端技術公司，將其融入到我們深知未來必將出現的那些不可思議的產品中，這對 Meta 來說將帶來極大的擴張，我認為這是毋庸置疑的。我認為 Muse 是一款極其令人興奮的產品。它可以向一千個不同的方向發展。這可能是最讓人激動的產品之一，尤其是在深夜，當你暢想它所有可能的發展方向時。我認為 Nat、馬克和我經常在深夜互發消息，討論我們可以做這個、做那個，可以採取這個行動，可以建構這個產品。我認為這是一個非常令人興奮的時代……
John： 在科技領域，對吧。
Alexandr Wang： 沒錯，在這方面它是一片非常廣闊的藍海(Blue Ocean)。
John： 當我們談論 Muse 時，我深有感觸，它顯然讓人感覺像是下一個平台，一個代表你行事的智能體(Agent)。你長期以來一直表示不想依賴其他平台，而且在 Android 和 iOS 上建構應用的經驗讓你對依賴他人感到厭倦。當你談論 Reality Labs 時，經常會提到擁有未來平台的重要性，並且多年來一直致力於 Reality Labs，意圖掌控未來的平台。而現在，這種新的互動模式(Modality)出現了，它顯然將成為你完成大量生產性工作的方式，也是未來的平台。現在 Meta 已經做好了充分的準備。
Mark Zuckerberg： 我的意思是，這並非單純為了擁有一個平台而擁有平台，而是為了能夠建構出最好的產品。在某種程度上，如果你看看其他社交應用，我認為 Meta 之所以做得好得多，部分原因是我們不僅僅是在建構應用，對吧？很多人認為我們是一家應用公司。但我們不是應用公司，對吧？我們是一家深度技術公司。我們這樣做是因為我們在機器學習方面是世界一流的，而且所有推薦系統的運行規模，世界上基本沒幾家公司能做到。我認為在這方面，基本上只有我們和字節跳動(ByteDance)。而且，我們會一路深入到硬體底層(Bare Metal)。對我來說，能夠通過裝置完成“最後一公里”的交付，這確實源於我們過去在手機上無法建構出理想體驗的經歷。但我認為，在未來，模型(Model)將成為提供技術體驗中最重要的部分。我認為這是我們很早就達成共識的一點。我們的共識是：在每一代科技公司中，通常不會有一家公司能贏者通吃。我認為這次也不會如此。在網際網路時代，有五六家巨頭公司，以及一個由其他優秀公司組成的龐大生態系統。但那些做得最好的公司，往往掌握了能夠為使用者提供最佳服務的核心技術。我認為在下一個時代，可能只有少數幾家公司有能力建構前沿超級智能(Frontier Super Intelligence)。唯有少數幾家公司能建構前沿超級智能，它們將主導行業議程，打造最極致的體驗。這些公司將有效引領行業發展，並為消費者、企業、硬體等各個領域創造最引人入勝的體驗。所以，當我審視這個問題時，這真的算是一個選擇題嗎？無論我們是否這麼做，Meta在未來大機率都會繼續存在。但如果我們想成為一家充滿趣味的公司，在未來不斷髮明對人們真正有意義的新事物，我認為我們別無選擇。
智能體商業
John： 由Muse作為媒介的未來將如何發展？各類企業都需要建構相應的支援。對於Muse而言，它可能會嘗試通過電腦操作(Computer Use)的方式強行接入，但這在某些方面可能不夠順暢。因此，你希望大家都能為智能體與各種事物的互動提供一流的支援。那麼更大的問題是，有些企業可能會主動試圖阻止智能體與它們互動。這可能是因為他們存在一種認知誤區，認為支援智能體其實符合自身利益，但他們就是不想這麼做；又或者支援智能體確實不符合他們的利益。你可以想像，也許他們的護城河非常淺，其業務完全依賴於消費者在網站上耗費時間，或者僅僅靠向消費者收取過高費用來盈利。那麼從理性角度來看，他們自然不想允許智能體介入，因為智能體會……
Mark Zuckerberg： 那些業務長久不了，它們註定會被顛覆。
John： 那麼，請跟我談談這將如何對經濟運作產生二階效應(Second-order Effects)。
Mark Zuckerberg： 我認為這首先要從……我們在模型中訓練了非常出色的瀏覽器使用能力，對吧？這樣一來，我們希望確保任何人都無需做任何額外工作就能與Muse整合。當然，我們會按照名單逐一聯絡最重要的合作夥伴。對於那些願意與我們合作的企業，我們會直接提供API存取權。這樣一來，人們使用Muse的效率和速度都會大幅提升。之所以更高效，是因為現在你不需要讓智能體去爬取你的網站，而是直接進行資料互動。所以，對於任何希望實現這一點的企業，我們最終都會幫助他們達成目標。我認為，隨著時間的推移，就像今天每個企業都有網站、社交媒體帳號、電子郵件地址等一樣，未來每個企業也都將擁有自己的智能體。我們也在另一端進行這方面的建設。因此，Muse智能體自然會與其他類型的智能體交流，但它們與我們的智能體協同工作會尤為順暢，對吧？因為我們可以實現深度整合。
John： 所以，通過瀏覽器使用網站只是一個過渡階段的產物。
Mark Zuckerberg： 我們要讓所有人都能輕鬆使用。你們希望將瀏覽器操作作為一種後備方案(Backstop)，這樣對使用者來說更可靠，對企業來說也更容易冷啟動。但實際上，主動打電話要求與我們進行深度整合的企業要多得多，而真正試圖阻止我們的企業寥寥無幾。我猜測，那些試圖阻止智能體的企業，最終會發現這在戰略上並非明智之舉。不過我們拭目以待吧，這一切會隨著時間推移逐漸明朗。
Alexandr Wang： 這能為消費者節省大量時間和金錢。我認為這對消費者來說顯然是件大好事。因此，從長遠來看，需求顯然會從現有管道更多地轉向智能體需求(Agentic Demand)。當然，其他管道的需求也永遠會存在。就像零售業中依然有實體店需求，但也有龐大的電商需求一樣。同理，我認為智能體商業(Agentic Commerce)需求在整體市場中所佔的份額將會不斷增長。其他需求依然存在，但智能體商業的蛋糕會越做越大。我認為從長遠來看，企業將面臨這樣的抉擇：他們是否願意隨著時間的推移，參與到這部分經濟形態中？我認為這是一個令人無比興奮的領域。想像智能體商業的未來會發生什麼，真的非常激動人心。實際上，我認為Patrick寫了一篇很棒的……對，那篇“推文文章(Tweeticle)”寫得非常好。
John： 我們現在是這麼叫的嗎？我也不清楚。Patrick在發推特方面有自己的一套風格，就像把東西埋在泥裡一樣。
Alexandr Wang： 我注意到“卡拉馬佐夫兄弟(Brother Karamazov)”是一篇相當不錯的文學分析。但言歸正傳，我認為這顯然是一個非連續性事件(Discontinuous Event)，它將廣泛改變商業的運作方式，或者更宏觀地說，改變整個商業管道的運轉模式。但歸根結底，這對消費者和客戶來說顯然要好得多。因此，現實自然會向這個方向發展。令人興奮的一點是——你們也看到了——我認為Muse是首批讓人們真正將購買行為完全委託給智能體的產品之一，這可以說是一個階躍式變化(Step Change)，對吧？我們一直在探討智能體購物及其可能性，而現在它正在真實發生。很多人開始信任智能體代為購物，而智能體也能為他們找到心儀的商品。比如在我的例子中，它們能幫我找到很棒的茶葉；在別人的例子中，也能找到適合他們的優質產品。這非常令人興奮，顯然這裡正在發生一些激動人心的事情。我認為對使用者的部分價值主張(Value Prop)就在於減少了摩擦。比如，“我不想挨個點選這些網站、做大量功課去尋找確切的產品。”這一步智能體已經代勞了，而且各種篩選條件也能自動應用。比如，“我需要在周三前拿到某樣東西”，智能體就只會尋找能在周三前送達的商品。
John： 但想想關鍵詞搜尋，我們過去竟然如此依賴它，這簡直不可思議，因為按條件篩選購物明明是一個非常合理的需求。
Alexandr Wang： 完全正確。所以我認為，過去那種搜尋商品的方式現在顯得極其原始。既然現在能實現智能體購物，這就相當於打通了漏斗的後半部分。僅僅是減少摩擦、直接完成下單的便利性，就已經非常棒了。而從長遠來看，更讓我們感到興奮的是更深層次的個性化(Personalization)。歸根結底，Muse令人興奮的一點在於，它掌握了關於你個人以及你生活方方面面的全域上下文(Holistic Context)。因此，它能全面瞭解你的家人、同事或朋友的情況，然後幫助你在所有這些關係中進行協同最佳化，基於它對你朋友圈的瞭解，為你最好的朋友挑選出最完美的禮物。我認為在個性化和推薦方面，存在著大量新穎且獨特的機遇。因為從歷史上看，許多推薦系統都是相互孤立和割裂的(Siloed and Isolated)，它們無法看到你作為一個完整的人的全域視角。而Muse則有機會提供更高水平的個性化服務。
John： 是的，我認為人們已經體會到了這一點。比如，當你讓Muse幫你買東西時，它經常會融入一些從其他對話中提取的上下文資訊。你就有一個很好的例子。
Mark Zuckerberg： 對。我三歲的女兒非常喜歡烘焙，她熱愛烹飪。所以我就想，好吧，我也開始學烘焙吧。我平時更喜歡熏烤肉類，但為了讓Aurelia開心，我會陪她做些烘焙。於是我們養成了一個非常可愛的日常習慣。我一直在試用Muse的語音模式(Voice Mode)，雖然還沒完全推出，但我們正在體驗，它有一個很棒的功能：它能進行聲紋分離(Voice Segmentation)，所以它知道那個聲音是我，那個不是我。在這一周裡，我們會討論周末想烘焙什麼。她會提出一些想法，或者想出一些並非真實食譜的瘋狂點子，然後和Muse碰撞靈感。接著，Muse會確保在每個周六的烘焙時間，從Instacart訂購好食材，並且準時送達。最大的好處是，如果我在周六才臨時起意要烘焙，就得去買齊所有東西，這會耗費不少時間；但現在，無論我們什麼時候準備坐下來開始，一切食材都已準備就緒。這個周末，它知道西瓜正當季，就順手往購物袋裡加了個西瓜。西瓜非常甜，讓人覺得特別暖心。它推斷出我買食譜食材的錢沒湊夠免配送費的起送價，所以需要再加點東西，於是就用一個西瓜湊了單。它彷彿在問：“你要加個西瓜嗎？”我說：“要。”這真的太貼心了。
Alexandr Wang： 我覺得你確實吃了。那就是那個西瓜吧？
John： 對，我在直播時把它吃了。
Alexandr Wang： 那完全是Muse幫我買的。我覺得那是一個非常適合做成表情包的瞬間，情境也特別有梗。所以這都得感謝Muse。
Mark Zuckerberg： 整件事還有另一個有趣的地方：在此之前，我其實並不怎麼使用Instacart。大概偶爾才會用一次，也許一年用兩次，通常是借用普莉希拉(Priscilla)的帳號之類的。後來我專門註冊了一個Instacart帳號給Muse用，現在我每周大概會用一兩次。因為我會和奧蕾莉亞(Aurelia)以及Muse交流，我們一起研究食譜，然後由它下單配送，這現在已經成了我日常流程的核心部分。所以我確實認為，這裡的機會不僅僅是讓轉化率提高20%那麼簡單。我成了Instacart的新訂閱使用者，而在此之前我根本不會這麼做。所以我確實認為，這引出了幾個非常有意思的問題。
Mark Zuckerberg： 這可能是一個更有趣的經濟學問題：那個Instacart帳號到底是為我註冊的，還是為Muse註冊的？因為我認為，隨著時間的推移，真正的問題在於：整個商業的潛在市場總額(Total Addressable Market)是否正在急劇擴大？答案是肯定的。因為現在消費的不僅僅是人類，智能體(Agents)實際上也將擁有自己的帳號。我認為，這正是它開始成為一個真正令人興奮的機遇所在。任何袖手旁觀的人，最終都只會扼腕嘆息。
John： 那你為什麼非要註冊一個Instacart帳號呢？就像我們正在為開發者解決Stripe項目的問題，順便說一句，你們的編碼代理在整合Stripe方面做得非常棒。
Mark Zuckerberg： 你們，哦，你們在Emu上做得非常棒。
John： 長期以來，我們一直對增強型商業(Augmented Commerce)充滿期待。顯然，這讓我們清晰地看到了人們未來購物的方式。這體現在兩個方面：一方面，在實際購買階段，沒有人希望生活中充滿各種摩擦和阻力；另一方面，早期利用AI進行產品研究已經驗證了產品市場契合度(Product-Market Fit)。即使從最早的AI開始，我們就覺得“電腦使用”(Computer Use)是我們需要實現的最後一個重大突破，因為現在你可以讓你的Muse去買幾乎任何想要的東西，它們會通過電腦使用功能自己搞定，對吧？所以這就像是終極的向後相容(Backwards Compatibility)。
Mark Zuckerberg： 是的，這正是Nat一直痴迷的一系列問題。
Alexandr Wang： 是的。我認為Muse的很多魔力就在於，許多功能就是能直接跑通。顯然，如果可靠性稍微差一點，用起來就會極其麻煩，根本沒人會用，大家會直接把應用解除安裝。所以我認為，這麼多功能能夠達到“開箱即用”的可靠程度，這正是其魔力所在的一大關鍵。這也是Nat所痴迷的地方。
Mark Zuckerberg： 嗯，他對待幾乎所有事情都是這樣。是的，他通常就是這樣追求極致。這真的很棒。要把這種體驗打磨得這麼好，我認為正是他和團隊中的一群核心成員真正專注去做的事情。
Alexandr Wang： 這挺有趣的。我想應該是在2023年，我和帕特里克(Patrick)吃過一次飯。他當時問我：“你覺得我們應該做什麼？”我說：“在智能體商業(Agentic Commerce)這塊，你們已經嚴重落後了。你們得趕緊把這事搞定。智能體馬上就要開始買東西了，而你們還沒準備好。”
John： 抱歉，是你跟帕特里克說這些，還是帕特里克跟你說這些？
Alexandr Wang： 是我跟帕特里克說的，因為他當時非常客氣地問：“你覺得我們應該做什麼？”然後我就做了一番非常急切的遊說。我覺得這挺有趣的。雖然大方向是正確的，但大概早了三年，我想那是在2023年。
John： 所以，看看Stripe的智能體商業資料非常有趣。我們開始開發這些功能，並在5月份的Sessions大會上做了一系列發佈。但直到9月份，資料才真正開始直線飆升。
超越智慧型手機
Mark Zuckerberg： 嘿，你能給Stripe位於南舊金山的辦公室點個西瓜嗎？我在這裡錄播客。這會很有趣。
Muse： 有趣的播客想法。我現在就查一下西瓜配送。
John： 太棒了。我們看看進展如何。好吧。這其實引出了一個有趣的問題。人們一直試圖造出HAL 9000。現在它真的實現了。我非常喜歡這個。我覺得這是一個很棒的細節，它就像在筆記型電腦上敲敲打打。我真的很喜歡應用裡的這個設計。
John： 好了。長期以來，人們一直試圖實現“對著電腦說話的AI願景”。蘋果在2014或2015年左右推出了Siri。顯然，各種AI產品中的語音模式也已經出現好幾年了。為什麼這這麼難？就像現在依然不夠完美那樣。如果你在開車，想檢查一下烘焙情況，或者調整會議時間之類的，你實際上可能不會用語音來操作。我的意思是，也許現在差不多可以了。
Mark Zuckerberg： 是的。嗯，原因有很多。我們現在的對話其實就是一個很好的例子，我們在互相插話，而且我不知道當你使用不同的……
John： 所以僅僅是技術限制嗎？這就是我們還沒做到的原因？
Mark Zuckerberg： 嗯，我認為有幾個原因。首先，你實際上希望它去執行任務。所以當你和它說話時，即使它理解了，它具體要怎麼去執行？其次，我認為人們交談的方式也有很多講究。通常不是我說一句提示詞，然後等待，你再說，這樣來回進行。所以當你在語音模式下和智能體交談時，有多少次你的體驗是這樣的：它開始說話了，但然後……就好像我覺得如果我停頓三秒，它就會認為我說完了並想要發言；然後如果它開始說話，但我又插話打斷，它會不會認為這是一個全新的問題？我的意思是，有很多關於對話互動機制的細節需要處理好。但還有另一個問題：總體而言，用語音溝通對你來說輸出頻寬很高，但在接收資訊方面，聽別人說話與看視覺呈現相比，效率是非常低的。
Mark Zuckerberg： 所以我認為，這部分解釋了為什麼我們在設計這些介面時，會讓它在後台處理任務並執行。因此，我認為理想的介面可能不僅僅是純粹的語音，儘管我認為你的語音輸入是非常有用的。
Alexandr Wang： 是的，我認為語音輸入顯然已經迎來了爆發。就像在程式設計中你也能看到這一點，人們直接對著電腦說話。大多數研究人員只是對著鍵盤輕聲口述，因為正如馬克提到的，這是表達思想頻寬最高的方式，通常也是阻力最小的方式。順便說一下，我認為最極端的例子，可能是現在大學生使用AI的方式，這也許是最有趣的。我認為一種非常常見的AI使用模式是，他們會完全不顧語法地滔滔不絕說上十到十五分鐘，就像完全的意識流思維鏈，把所有的……
John： 然後讓人工智慧來整理和推斷。
Alexandr Wang： 讓人工智慧高效地完成所有這些資訊的組織、彙總和結構化工作。這非常有趣，我認為這是一種極具趣味的技術使用模式。語音輸入確實已經迎來了爆發。我認為智能體(Agents)的出現是一個巨大的階躍式變化，因為其心智模型(Mental Model)截然不同。如果你只是在和一個僅提供資訊查詢的工具對話，你顯然會遇到覺得它毫無用處的情況。而現在它可以替你執行任務，這就更接近於與真人交談的體驗了。因此，我認為在與人工智慧互動的過程中存在許多有趣的“恐怖谷”(Uncanny Valley)效應，在它們能夠採取實際行動之前，這種互動總會讓人感覺有些怪異。如今我們有了智能體，我認為Muse最酷的地方之一就是多種特性的融合。Muse具有具身化(Embodied)特徵，它就像一個為你代勞的小助手，你能真切地感覺到它在替你工作。這種連貫的產品呈現和具身化之所以成為可能，是因為它擁有持久記憶(Persistent Memory)，具備替你做事和採取行動的能力，並且帶有一點個性。正是所有這些特性的匯聚，才使得具身化概唸得以真正落地。
Mark Zuckerberg： 事實證明，這才是真正的眼鏡，對吧？很多人想要它，即使它沒有螢幕或者只有一個小螢幕。
John： 僅憑攝影機和音訊，它就已經是一個非常有用的產品了。
Mark Zuckerberg： 隨後我們開始出貨帶螢幕的眼鏡，雖然不是那種寬視場角(Wide Field of View)的完全增強現實(Augmented Reality)眼鏡——那種眼鏡當然也會非常棒——但即使是小螢幕也非常強大。所以我認為，你將開始體驗到一些有趣的、完全多模態(Multimodal)的互動，對吧？它支援語音輸入和輸出，能夠看到你看到的東西，並且能夠渲染像素畫面。
Alexandr Wang： 我們在這裡做的另一件令人興奮的事情是推出了Muse Gadgets，我認為這真正釋放了生態系統的潛力，去嘗試各種酷炫的裝置格式和產品形態(Form Factors)，這非常令人激動。自從發佈以來，我們甚至接到了許多手機製造商的電話，他們非常興奮地告訴我們，打算將Muse Gadgets整合到他們的手機中看看效果如何，對此我們感到非常激動。我認為，當前技術時代最酷的一點在於，智能體的巨大潛力已經非常明顯，它必將解鎖無數可能性。
John： 你們又回到了家用裝置領域。這顯然是一款個人裝置，但在新冠疫情期間，我們實際上推出了Portal。就是這樣。
Mark Zuckerberg： 我們剛剛出貨的其中一個小工具是Home Link。它只有一枚5美分硬幣那麼大，帶有一個USB介面，對吧？基本上你把它連接上，你的Muse就能連接到家中的所有裝置。這其實也是最有趣的功能之一，你可以讓它連接你的Sonos音響和所有的燈光。比如，到了晚上我要放鬆休息的時候，我只需讓它把全屋的燈光調暗，體驗非常棒。
融資
John： 我們將如何為人工智慧的基礎設施建設提供資金？每個人都在擔心，比如Google的自由現金流(Free Cash Flow)變成了負數。你之前談到一吉瓦(Gigawatt)，然後五吉瓦之類的。Meta目前的自由現金流還沒有轉負，但總是有更多的資本支出(Capex)需要資金。那麼，答案是什麼？
Mark Zuckerberg： 我認為從中創造價值的方式會有很多。具體到Muse，我們試圖做的是讓它能夠被廣泛使用，因為我認為當人們開始能夠與彼此的智能體互動時，在規模化階段會產生極具價值的網路效應(Network Effects)，那將會非常棒。因此，我們有充分的理由希望它能達到大規模應用。此外，我們還在談論合作夥伴。使用它的人越多，合作夥伴就越想進行更多的整合，因此如果我們能實現規模化，它將變得更有價值。實現這一點的最佳方法基本上是採用一種讓大眾負擔得起且免費使用的模式。但我認為我們有很多方法可以擴大收入規模。訂閱將是一個重要來源。僅僅因為基礎版本是免費的，並且我們希望免費版本足夠出色，並不意味著把所有功能都包含在內是符合經濟效益的。所以，正如我們之前討論過的，如果你明天就想開始使用Muse中的Muse Wonder，你需要支付訂閱費用。我認為這將是一項龐大的業務。在商業(Commerce)方面，我們還對許多其他事情感到非常興奮。我們堅信，Muse實際上將幫助人們賺錢和省錢。隨著時間的推移，有很多不同的方法可以從為使用者節省或賺取的收益中有效地抽取一小部分佣金，這最終將形成一個非常龐大的收入來源。此外還有其他各種各樣的變現途徑，對吧？
John： 你認為Muse總體上實際上能為人們省錢嗎？
Mark Zuckerberg： 它確實能幫上忙。已經有很多我覺得很有趣的例子，比如人們會說：“去查看我的郵件，找出我實際上沒有使用的一堆訂閱服務，把它們取消掉等等。”我不知道這是否會成為我們變現的方式，但你能明白我的意思，以及它如何幫助你省錢或賺錢。我們討論過的其中一個想法，也是我認為你一直非常痴迷的一點，就是讓它成為小型企業的“開箱即用”商業解決方案(Business in a Box)。它可以幫助企業管理日常營運的各個方面，你可以想像這對企業主和Meta來說都將是非常有價值且利潤豐厚的。但我認為有趣的一點是，如果我們在建構用於打造個人智能體和企業智能體的模型，就會產生巨大的剩餘價值，因為現在的模型非常通用，對吧？它不僅僅能做那些特定的事情。因此，我們通過提供API服務也能獲得利潤。我們想要啟動Meta企業平台(Meta Enterprise Platform)，並讓CJ加入我們共同建構這個平台，很大一部分原因是我們有這樣的考量：傳統上Meta不是一家企業級服務公司，但我們認為巨大的挑戰在於首先建構出領先的模型。這些模型非常通用，一旦我們做到了這一點，如果我們進行重大投資來建立一個企業團隊，以企業所需的方式提供這些服務，那麼我認為很多企業都會想要使用Muse Wonder。它將是一個出色且價格合理的模型。所以我認為這最終也會成為一項非常龐大的業務。將所有這些因素結合起來，再加上我們一開始就是一家利潤豐厚的企業，擁有良好的信用，能夠支援這些大規模投資，我認為這使我們作為一個實驗室處於非常有利的地位，能夠建構所需的算力來打造領先產品，建立我們周圍的生態網路，並確保公司在未來幾十年內真正引領該領域的發展。
John： 好的，所以你認為最終這些產品會帶來大量收入，從而在相當短的時間內實現自我造血。
Mark Zuckerberg： 這比我的回答簡短多了。人們問的問題是，我們能否從中賺錢？答案必須是肯定的。
John： 我認為從歷史來看，歷史表明前期的資本支出非常龐大，對吧？
Alexandr Wang： 人工智慧作為一個產業，其發展歷史在一定程度上表明，人們總是對“這些企業將如何賺錢”感到憂心忡忡。但我認為，每年人們都會對其實際的增長潛力感到驚訝。
John： 事實證明，超級智能(Superintelligence)大有用處，而且人們願意為之買單。
Mark Zuckerberg： 這基本上就是Meta的整體戰略手冊(Playbook)，對吧？當我們建構出某項產品並讓它觸達十億使用者後，我們就會擴大收入規模，同時主要通過繼續做大那些已經具備規模且正在增長的業務來增加收入。
Alexandr Wang： 我認為這也是其中的內在邏輯之一。Darius也談到過這一點。總體而言，由於建構這些模型需要大量的前期規劃，如果你觀察任意給定時間的研發支出，那實際上是多個代際模型重疊的研發支出。這些模型需要耗費大量時間進行研發，而最終交付時，你會看到巨大的回報。這正是我們在Muse Spark系列模型上所見證的。我們很早就開始研發這些模型，如今通過Muse產品看到了極高的使用者採納率。
Mark Zuckerberg： 另一方面，我們利用這些模型來加速核心業務的發展，對吧？Simon，你們的核心業務規模高達數千億美元，並且仍在極速增長。現在，如果利用這些模型來加速業務發展，能讓增長率再提高幾個百分點，那麼隨著業務規模的擴大，這也將為AI研發提供巨額的資金支援。
Alexandr Wang： Meta的核心業務堪稱世界第八大奇蹟。這是一項極其出色的業務，確實令人歎為觀止，並且正以驚人的速度增長。
John： 你們這招確實高明。Alex，我想你還觸及了一個有趣的會計處理差異：如果建設資料中心，會產生資本支出(CapEx)，並且可以在多年的使用壽命內進行折舊。人們可能會爭論這個使用壽命具體是多久，但關鍵在於這些支出確實可以折舊。然而，AI的很多成本其實是研究人員的薪酬，這些薪酬被用於模型訓練。模型訓練的成果同樣具有多年的使用壽命，但通常無法將其資本化。
為什麼 AI 不會贏家通吃
Mark Zuckerberg： 這也是我們自建資料中心相較於其他許多依賴雲服務的公司的財務優勢。他們按年支付雲服務費，而GPU在某個時間點會完全折舊完畢。但我們可能還會繼續使用它們一段時間，因為即使是像H100這樣的晶片，只要算力持續供不應求，其現在的價值甚至比去年還要高。所以，我認為這是我們的優勢所在。
John： 對於OpenRouter，你們有什麼建議嗎？我們已經同意收購他們，雖然交易尚未最終完成。
Alexandr Wang： 我認為，在模型研發方面，尤其是前沿模型的開發，比如Muse Wonder與Fable或Astra的對比，令人振奮的一點在於，我們實際上開始朝著與其他模型截然不同的方向發展。正如我們在本次對話中所討論的，模型開發過程中傾注了大量明確的設計意圖，這確實與其他模型的側重點有著本質的不同。因此，當這些模型被歸結為同一套基準測試時，各個模型之間那些有趣的差異化細節就被掩蓋了。所以我認為，對OpenRouter而言，一個令人振奮的機遇在於幫助開發者理解這些微妙的差異，從而讓他們在最終選擇模型時做出最明智的決策。同時，你也可以想像這背後的另一面：眾多開發者在使用這些模型，他們正是探討模型間有趣細節差異的最佳人選。這種差異不僅是像推文長度那樣的表面特徵，也不僅僅是“這個模型好、那個模型差”這種粗淺的見解，而是更深層次的洞察。我認為，這就像是培養“AI品酒師(Sommelier)”，以一種更專業的方式去理解模型及其相對的優勢與劣勢，這將是一件非常令人興奮的事情。
John： 那麼，基於你們的經驗，OpenRouter認為未來會出現多樣化的模型，並且它們會針對不同的任務進行最佳化。我同意這一點。這確實是你們基於自身經驗得出的結論。
Alexandr Wang： 是的，我們的關注點有所不同。據我觀察，相比於其他主要實驗室，我們更加關注個人與專業智能體(Agents)，這是件好事。經濟中理應存在差異化，這在某種程度上正是資本主義的意義所在。
John： 看來你要補充點什麼。
Mark Zuckerberg： 不，我只是非常贊同這個觀點。我認為，你們致力於OpenRouter並推動其規模化發展，這正是我所欣賞的地方之一。能夠開發出更多基礎設施來支援生態系統中多樣化的參與者，總體上是一件好事。出於同樣的原因，我也非常支援輝達(Nvidia)近期為支援開源生態系統改採取的一些舉措。這其實與我們關於美好未來的整體理論和理念相契合。我們認為，美好的未來是通過賦能人類來實現繁榮。這就是我們正在推進的個人超級智能(Personal Superintelligence)願景，同時也有其完整的商業版本。但在許多重要的安全議題上，我們的觀點是，實現安全的方式是保持多樣性並建立制衡機制，讓各種各樣的模型面向公眾開放，而不是僅僅將少數幾個優秀的模型掌握在少數幾家公司手中。從我的角度來看，我認為少數公司壟斷對未來而言是風險更高的格局，遠勝於讓大眾都能獲取不同的技術。
John： 你們對此有什麼理論解釋嗎？我感覺人們曾預測AI領域會出現贏家通吃(Winner-takes-all)的局面，或者某一家會取得絕對優勢。比如2023年人們常講的一個故事是：某家AI實驗室會開始建立優勢，從而實現遞迴式自我改進(Recursive Self-improvement)，進而將其他所有人遠遠甩在身後。然而，實際情況是競爭依然極其激烈，前沿領域有多家機構並駕齊驅。比如你們今天推出了Wonder這款前沿級模型。總體而言，開源模型也表現出了令人矚目的追趕勢頭。幾年前我們還流傳著這樣一個故事，說某家公司會一騎絕塵、獨佔鰲頭。為什麼這種情況沒有發生呢？
Alexandr Wang： 我認為這背後有許多潛在的原因和機制在起作用。首先肯定是執行力。對於任何一家前沿實驗室(Frontier Lab)來說，都有執行力強和執行力弱的時期，我認為所有實驗室都是如此，所以隨著時間的推移，這種差異會逐漸被平均化。另一個原因說起來比較委婉……
John： 比如一些領先的機構搞砸了。
Alexandr Wang： 我認為，如果所有處於領先地位的機構都能完美執行，他們可能就能一直保持領先。所以這是一個因素。我認為模型蒸餾(Distillation)的力量和優勢絕對是另一個因素，它確實讓開源生態系統受益匪淺。
John： 模型蒸餾現象中蘊含著一種反霸權的力量。
Alexandr Wang： 是的，這僅僅是技術本身的一種特質。並不是有人刻意規劃讓蒸餾技術發揮如此巨大的作用，但事實證明，通過某種形式的蒸餾，自然就能獲得大量能力。廣義上講，蒸餾對整個生態系統是一股非常積極的力量，因為它意味著我們可以將非常強大的智能能力壓縮到越來越小的模型中，從而使我們能夠在更廣泛的規模上提供服務。這無疑是令人振奮的進展之一。如今非常小的模型，其能力遠比一年或兩年前最大的模型強大得多。最後一點是，我認為生態系統中其實有很多人期盼著這樣的未來：它不會演變成整個資本主義體系中只剩下一家最終贏家的結局。
John： 這也是原因之一——不僅是個人，還有企業將真金白銀投入其中。我認為，這其實是許多人最初對加入Meta和Meta超級智能實驗室(Meta Superintelligence Labs)感到興奮的原因之一。他們希望在一個致力於將這項技術帶給數十億人的地方工作，而這未必是所有其他前沿實驗室的既定目標。因此，我認為存在許多自然力量，促使行業內許多人都在思考：我究竟想要生活在怎樣的未來世界？人們在各個層面做出的抉擇——無論擇業、擇伴還是開展何種商業合作，都在推動著更加均衡的格局。
Meta超級智能實驗室(MSL)
John： 我們來聊聊MSL初創階段的一些情況，這也是我想問的。我們討論過開發前沿模型所需的要素，但從零開始依然極其困難。MSL的起步階段是什麼時候？
Mark Zuckerberg： 我們在2025年4月4日發佈了Llama 4。然後大概是4月20日或21日，我開始打電話向人們請教接下來該怎麼做。
Alexandr Wang： 我記得當時我正在開員工會議，突然收到WhatsApp通知，提示有個電話接入。我當時心想，有點意思。
John： 那麼MSL成立才一年多。你剛才說是2025年，對，現在是2026年。哇，抱歉，我活在未來了。沒錯，你已經身處未來了。MSL成立剛滿一年多。回顧這一年多的歷程，正如Alex常說的，你認為在組建團隊的過程中，起到關鍵支撐作用（load-bearing）的因素是什麼？
Mark Zuckerberg： 早期有一件重要的事，就是我們首先必須組建核心團隊。Nat、Alex和我事先進行了一些交流，起初我們只是在頭腦風暴。我當時在和Nat討論，有沒有辦法設計一種方案，讓這對Alex的股東來說也是個雙贏，從而把他們吸引過來。接著我們討論具體計畫。基本上，我當時處於一種不斷向各方人士請教的狀態，每次交流後都會多出三個新想法，這些建議訊號強烈，帶來了極大的戰略清晰度（strategic clarity）。我們進行了一段時間的頭腦風暴和籌備，隨後Nat和Daniel加入，我們聚集了最初的一批研究人員。起初，情況有點像超新星爆發，我們把一群人直接湊在了一起。頭幾個月我們倆幾乎都沒怎麼睡覺。我甚至清空了一兩個月的日程，專門用來會見研究人員並與他們交流。我記得在宣佈你即將加入的交易之前，你基本就在招募人員，大家都在問這是怎麼回事。但隨之而來的是一個完整的問題，也就是……
Alexandr Wang： 這真的是非常親力親為的資料標註工作。
Mark Zuckerberg： 但這同時也引出了一個核心問題：如果我們對當前項目的發展軌跡不滿意，那麼究竟誰才是帶領項目繼續前行的合適人選？這些年來，我和Alex花了不少時間交流，大概每隔幾個月就會聊一次。我一直對他戰略思考的深度印象深刻。在我眼裡，雖然他當時在從事資料業務這種非常注重營運的工作，但這依然是一項出色的業務。而且我一直覺得，在我接觸過的同代企業家中，他是最敏銳的。他雖然在營運這種需要苦幹實幹的業務，但順便說一句，這依然是一項非常優秀的業務。我們是重要投資者，所以這更多是對營運業務難度的一種調侃。Alex，你營運著世界上排名第八的業務。很多業務看起來都像苦活累活。這只是我的看法。
Mark Zuckerberg： 起初，我想很多人都在質疑這會如何運作。大家可能會想，一個做社交媒體的人和一個做資料的人合作，我們到底是要建一個前沿實驗室（frontier lab）還是怎樣？但我有非常堅定的信念。我和所有實驗室的負責人、所有研究主管都交流過，我的結論是：Alex就是那個人，他就是我們要找的人。我們完全能夠組建團隊，招募到所需的人才。我們需要他所具備的戰略清晰度：對推進路徑的深刻理解、對人才密度（talent density）的極致追求，以及清晰傳達願景的能力，這些都是我們在此期間共同淬煉而成的。還有一些我認為非常極致但最終證明行之有效的事情，比如你非常執著於打造極其扁平的文化，對吧？你當時是不是有將近200個直接下屬（direct reports）？
Alexandr Wang： 實際上沒那麼極端，我想還是有團隊負責人（team leads）之類的層級的。我的團隊幫我管理他們。
Mark Zuckerberg： 但早期你明確提出了這一系列舉措，我當時覺得這有些極致，但方向是正確的，我們應該去做。我去找了其他一些傳統意義上更熟悉大公司運作模式的人交流，結果發現完全不符合預期。我意識到，我們必須這麼做，我們要做一些與眾不同的事情。
John： 聽你描述這些，我注意到有四件事，我認為即使是其他有主見、高效的創始人CEO也不會去做。第一，你直接指出公司裡許多人之前的努力是失敗的、不夠好的。雖然你的措辭更委婉一些，但實質就是如此。
Alexandr Wang： 也就是偏離了既定軌跡。
John： 沒錯。你公開站出來說這些，大家都能聽出弦外之音。
Mark Zuckerberg： 有時候，確實需要重啟一個團隊。
John： 這是第一件事。第二，你願意為人才支付極其高昂的薪酬。你花了大價錢把Alex和其他一些人挖過來，尤其是給Alex開出了天價。第三件事。
Mark Zuckerberg： 並且收購了這項極其優秀的實幹型業務49%的股份。
John： 咱們把故事線理清。
John： 第三件事，我注意到Alex之前從未訓練過前沿模型。所以你在Alex身上押了一定賭注，儘管他在AI領域做過很多事，但恕我直言，他畢竟沒有做過被聘用來做的這件具體工作。第四，你說你清空了日程，整整兩個月只專注於這件事。我認為很多CEO會去開業務復盤會、開董事會，還要處理客戶事務等等。這四件事在我看來非常了不起，因為很多CEO是不會這麼做的。
Mark Zuckerberg： 是的，這很有意思。
Alexandr Wang： 有一件事你或許未曾察覺，但我認為馬克非常特別的一點在於，一旦認準方向，他便會傾注全力，讓一切行動與信念同頻共振。這正印證了您剛才的觀點。我認為大多數創始人，即使是那些非常有主見、極其成功且特立獨行的人，往往會受限於慣性，覺得“我的日程還是排得滿滿的，那我就口頭說說這件事，指望別人去做吧”，往往就止步於此了。但馬克不同，當他認定某件事是他必須做的或極具意義時，他展現出了極高的“學習率”(learning rate)。他非常願意為了保持一致性而全面調整各項事務。此外，還有一個極易被忽視的細節，那就是公司有多少部門需要調整方向以支援MSL。雖然這更像是一家大公司內部的創業型項目，但MSL的需求依然非常龐大。我們需要大量的基礎設施支援，需要建設大規模資料中心，還需要公司其他許多部門的鼎力相助。特別是隨著News項目取得成功，我們還需要與公司其他部門進行大量深入的合作。而我認為，這一切之所以能夠實現，正是因為馬克是創始人兼CEO。他能夠確保公司朝著“AI最大化”的全域最優目標邁進，而非在組織的自然慣性中陷入無休止的局部最佳化。
Mark Zuckerberg： 這也與我們之間的協作方式息息相關。對我而言，深入把控工作細節至關重要，這樣我才能推動公司各部門落實我們需要做的事情。所以，我確實會對這些事情發表意見，但我畢竟不是首席研究員。我認為我們之所以能高效合作，很大程度上是因為我們都深入參與了各項細節工作。營運實驗室是一項重任，而統籌公司其他部門來支援這項工作同樣是一項浩大的工程。我認為，缺少其中任何一環，都無法真正達成目標。
Alexandr Wang： 我認為在籌建整個體系時，至關重要的一點是，Meta公司投入了巨資來建立MSL，隨後我們非常明確地告訴大家：沒有截止日期，我們要以合理的節奏推進。一方面，這可能會讓人感到極其忐忑，因為你剛剛建立了一個極其昂貴的部門，卻告訴大家不用著急。
John： 沒錯，而且你們是在一家大型公司內部運作。這就像在說：“好吧，也許七年後我們才能推出成果。”對吧？
Alexandr Wang： 完全正確。但我認為，首先，專注於人才密度(talent density)並招募這些才華橫溢的頂尖人才，這本身就是一件極具意義的事，更何況他們已經碩果纍纍。令人印象深刻的是，每個人都充滿交付成果的動力，大家都渴望在這個領域留下自己的印記。因此，每個人都具備極強的自驅力，力求以最快速度推進工作。有件趣事值得一提，我不得不反覆提醒團隊：我們這支隊伍里聚集了許多缺乏安全感的“過度成就者”(insecure overachievers)。在任何時候，如果我問他們：“嘿，你們覺得三個月後我們的模型能達到什麼水平？”我得到的總是最悲觀的回答。大家總是說：“太糟了，這是有史以來最差的模型。”然後我會把這些話錄下來。三個月後，當我們發佈新模型時，我會對他們說：“嘿，我們剛發佈了這個模型。讓我給你們看看三個月前你們是怎麼預測的。”
John： 這有沒有讓他們變得稍微樂觀一點呢？
Mark Zuckerberg： 沒有，他們依然嚴於律己。我認為這並不是因為他們悲觀。我覺得外界對MSL整體似乎相當樂觀，但對自己的項目卻非常苛刻。是的，我認為這其實是一種非常健康的動態。
Alexandr Wang： 但這種趨勢還在繼續。我認為，在很多方面，Muse Wonder對所有人來說都是一個令人難以置信的里程碑，因為團隊在這個過程中一直保持著極高的批判性標準。
Mark Zuckerberg： 是的，他們在推進過程中一直如此。
John： 你們是什麼時候意識到Muse Wonder很出色的？
Alexandr Wang： 好問題。我認為我們在這個過程中會觀察到許多中間……
John： 就像偷看烤箱裡的蛋糕，然後說：“不知道烤好沒，看起來裡面還是黏糊糊的。”
Alexandr Wang： 是的，回到剛才的話題，在這個過程中，你會收到各種表明進展好壞的中間訊號。那麼這些中間訊號是什麼呢？在預訓練(pretraining)階段，我們會進行大量基於困惑度(Perplexity)的評估。這屬於一種不同的評估體系，有助於預訓練工作；隨後，我們會採用更傳統的基準測試來輔助強化學習(RL)。不過，正如你剛才提到的，這個模型確實已經“烘焙”了相當長一段時間。我認為AI研究中最有趣的一點是，很多時候大家只是眯著眼睛盯著一堆資料點，然後說：“嗯，看起來不錯”或者“好像有點偏差”。最搞笑的是，有人甚至拿著量角器，那種傳統的模擬量角器，直接貼在顯示器上的一排線條上測量角度，然後……
John： 看來我還沒體驗過這種工作日常。
Alexandr Wang： 所以我認為，這在很大程度上是由直覺和氛圍(vibes)驅動的，這也是為什麼我們會進行這樣的探討……
John： 你們是怎麼知道它很出色的？
Mark Zuckerberg： 預訓練完成後，我們曾有過一場討論：在強化學習(RL)階段，需要多長時間才能讓它超越Muse Spark？我記得預訓練團隊的人為了管理預期，特意提醒大家：“聽著，有時候這需要花費不少時間。”但結果進展神速。於是我們意識到，我們正走在正確的軌道上。對我來說，那一刻大家確實都感覺到了。
Alexandr Wang： 我認為過去幾個月我們一直對此感到非常興奮。是的，但那裡還有很多工作要做。
Mark Zuckerberg： 回到最初，我認為在籌建這個體系時，非常有趣且充滿挑戰的一點是，我們確實追求極高的人才密度(talent density)。我們將Meta內部最優秀的人才抽調過來，並招募了大量頂尖人才。你之前提到過，如果放在以前，大家可能會想：“Alex未必訓練過這樣的模型。”但對我來說，最關鍵的一點是，所有最優秀的人才都非常渴望與他合作。我相信你在許多工作中也能體會到這一點：大多數人並非單一維度的。也許你專注於某個特定領域，但你成長和拓展的能力，很大程度上取決於你能否吸引不同領域的優秀人才來與你合作。這就是卓越的“追隨力”(followership)。對於那些還不瞭解你的人來說，他們會考量：你是否是一個令人欽佩、極具號召力的人？人們是否願意與你共事？他們是否相信你能營造出這樣的環境？我認為你在這件事上早期就經過了深思熟慮。對於其中一些事情，你早已形成了成熟的信念，明確了我們應該如何推進。但我還記得，在最初的招聘溝通中，我們是在即時塑造這一願景。比如，我們和某位候選人討論的架構可能行不通，但他本人很優秀且有獨到的見解，我們就這樣在即時交流中逐漸凝聚出關於未來形態的共識。我相信你也記得，當時我們確實碰撞出了許多初步的概念……我認為最極端的例子可能是，你提出了人才密度(talent density)的概念及相關理念，但我們一開始並不確定是否需要進行一次徹底的重啟(reboot)。這基本上始於我們外出與許多頂尖人才交流的時候。我們意識到，為了讓這個項目儘可能具有吸引力，必須讓大家覺得：“好吧，我們是從零開始重啟這件事的。”當然，我們也會從Llama和FAIR等團隊中抽調大量優秀人才。但我認為這是一個深思熟慮的決定。在與首批候選人交流時，我們和你共同摸索出了什麼才能讓這個項目極具吸引力。最終證明這是一個非常明智的決策，對實驗室的文化及其起步方式產生了深遠影響。不過，能夠如此靈活地探索並確定這個項目究竟該是何種形態，這種能力並不常見。我認為這是一種極為罕見的特質，一種深具企業家精神的特質。所以當我思考時，既然這個領域會不斷演進，那麼對於負責營運實驗室的人來說，什麼才是最重要的？並不是看他們是否精通最新的模態(modality)或某種實驗室訓練技術，而是看這個人是否思路清晰、具備建構能力，並且能夠像企業家一樣動態更新認知並迅速行動。我認為這個領域本質上就極具企業家精神。
John： 這段經歷是否改變了你對向外尋求人才價值的看法？在你們的重啟過程中，引入了一批外部人員，比如Alex、Matt、Daniel等人。同時你提到，在決定是否需要重啟時，是基於行業研究人員的普遍共識等外部情報。你覺得未來會繼續推行這種做法嗎？對於未來其他不相關的項目也是如此嗎？因為大公司的風險顯然在於，每個人都會覺得：“哦，我們有了一個很棒的方案。是啊，讓我來。”
Mark Zuckerberg： 或者為此寫一份上百頁的文件。顯然不能這麼做。我們在這裡必須做的很多事情，是調動公司其他部門的大量人員。比如基礎設施團隊，現在需要建構龐大的叢集來提供支援，這顯然是一項巨大的工程。因此，公司的大部分團隊都必須轉向來配合這項工作。顯然，你不能同時進行太多這樣的轉向，對吧？只能有一件事是最高優先順序。不過，我認為亞歷山大·王(Alex Wang)讓我變得稍微更樂觀了一些。我們引入了Al Shah，我認為他是印度頂尖的企業家之一，他曾經創立了一家出色的公司CRED，現在他在負責WhatsApp。我認為WhatsApp應該在商業化方面做更多努力，而我們在那方面做得還不夠。印度是我們最大的市場，但情況有些不同，因為我們並不是要讓整個公司向WhatsApp轉型，我們只是希望在那裡注入更多的企業家精神。這是一項難度高達十級（滿分十級）的任務。我不想用過去時態來談論它，彷彿它已經完成，因為它現在依然是十級難度的任務。但我認為，需要協同運作的環節非常多，幾乎涵蓋了方方面面。這對執行者來說非常困難，同時我也認為這給公司其他部門和財務模型帶來了一定程度的壓力。所以，我不想把這兩者混為一談，對吧？我認為引入新鮮血液是好事，同時擁有瞭解背景的人也很重要。你提到那些在Meta工作了一段時間、瞭解公司起伏的人，如果你在Meta工作了十年，肯定經歷過不少風風雨雨，對吧？我們度過了許多艱難時期，我認為這也是重要的背景經驗。不過，我認為很多時候，組建團隊本質上就是如此。Alex對團隊應有的形態有自己的理念，而我對領導者應具備的特質也有自己的構想。把你加進來，看起來也很合適。首先，嘗試一些不同的做法總是好的，對吧？嘗試與以往不同的方式，是的，這就是關鍵所在。
Alexandr Wang： 我認為這裡還有一些其他值得提及的維度。比如，在決定進行全面重啟時，我們的主要依據之一是外部反饋，但還有其他輸入因素。我不確定是否跟你講過這個故事，但我加入後參加的最初幾次會議中，有一次是和現有項目的一些負責人開會。我說，我們需要做的第一件事，就是在某個時間節點前訓練出一個非常優秀的推理模型(reasoning model)。雖然我不確定具體時間，但這顯然是最重要的里程碑。當時團隊的一位關鍵負責人（他已不在Meta工作）卻說：“哦，我們不需要推理模型。我們的使用者需要推理模型嗎？我覺得我們不需要做推理模型，做一個普通模型就可以了。”那一刻，我的心直往下沉。心想，糟了。
——John回應： 進錯門了。
Alexandr Wang： 我當時想，我必須後退十步重新審視。這是一個有趣的軼事。我記得會後給Nat打電話，說：“Nat，他們剛才在會上是這麼說的。”但這具體反映了某些問題。我認為馬克(Mark)在與外部人士交流時，也開始意識到，我們需要公司管理層更加“AI-pilled”（全面擁抱AI/對AI深信不疑），在技術發展的速度、方向和可能性上更具前瞻性，實質上是對AI有深刻得多的認知。當馬克開始推動整個公司向這個方向轉型時，大家清楚地看到他“AI-pilled”了。當所有人看到他的態度後，我們意識到這就是公司的發展方向。隨後，許多現有領導者迅速領會並做出了改變。比如負責Instagram的亞當·莫塞裡(Adam Mosseri)，他擁有我見過的最具美感且高效的個人Vibe Code和個人小程序設定。我認為他在這方面走得非常遠。我認為在Meta工作多年的領導者都非常適應變化。正如前面提到的，他們經歷過技術高度動盪的時期。現在AI帶來的動盪和發展速度可能是過去浪潮的五到十倍。但他們已經多次適應了新技術趨勢。事實上，看到Meta眾多領導者的轉變速度，我感到非常震撼。如果將我剛加入時與他們的交流，和現在的交流進行對比，就能看出這種變化。說實話，能在Meta這樣全球規模最大的公司之一實現如此大規模的轉變，確實令人印象深刻。是的，我們做到了。
Mark Zuckerberg： 沒錯。正如你所說，如果你開始寫程式碼，那會很有幫助。但我認為，我們試圖創造的文化中，很大一部分也是……當我們談論擁有眾多直接下屬(direct reports)時，重點不在於你有多少下屬，而在於沒有非技術管理人員，對吧？所以，我不會說你在同時為200人提供大量管理支援，那不是這項機制的特點。亞歷克斯(Alex)以其職業發展交流和情感關懷而聞名，比如“你最近怎麼樣？”式的談心。但我認為研究人員中普遍存在一個眾所周知的模式：當你從深耕技術的崗位走向不再拘泥細節的管理角色時，你的技術敏銳度會迅速鈍化，其退化速度往往遠超你的察覺。這其實相當危險。尤其是在這樣一個發展極其迅速的領域。所以，我認為關鍵在於你必須保持技術敏銳度。大家必須使用智能體(Agents)，應該親自編寫程式碼。是的，我認為這正是整個轉型過程中非常重要的一環。
John： 你們倆之間有沒有發生過什麼有趣的分歧？
Mark Zuckerberg： 我們之間確實有很多分歧。
Alexandr Wang： 事實上，直到最近我們還在為命名問題爭論。
John： 就是最近的事。
Mark Zuckerberg： 這是我很欣賞亞歷克斯的一點，也是他的特質之一。這其實要回到你的管理理念。你曾提到過在Scale公司的招聘理念，核心就是招募真正在乎這份工作的人，對吧？雖然原話裡可能夾雜了一些髒話，但理就是這個理。
為馬克·祖克柏工作
Mark Zuckerberg： 亞歷克斯，作為弄潮兒，你最在乎的是什麼？我認為這一點非常重要。當你把一群才華橫溢但個性極強的人聚集在一起，就像超新星爆發一樣，必然會產生一些有趣的爭論，甚至是不那麼愉快的爭執。但在某種程度上，我寧願看到大家為自己堅信的事情去爭取、去辯論，也不願看到大家只是在盲目執行任務。人們需要有主人翁意識。所以，是的。
John： 那麼，馬克這個老闆和你預期的不一樣嗎？
Alexandr Wang： 我並沒有太多其他的參照對象。我現在就可以走人了。開玩笑的，我認為過去一年與馬克共事非常酷的一點，就是見證了他真正的膽識，以及我們之前討論過的一個特質：一旦他內化了某種信念，就會以極快的速度和極大的決心推翻既往，轉向與新信念相契合的世界觀。我認為這些特質非常罕見，即使在創始人這個群體中也是如此。
John： 馬克能夠真正吸收新資訊，全面迭代自己的世界觀，並果斷按照全新的世界觀付諸行動。
Alexandr Wang： 他極具耐心，並且願意保持這種極大的耐心。
John A： 我從未見過如此徹底的認知更新。
John： 你的先驗機率多漂亮啊！還有後驗機率。經歷了那件事之後，你就不准再提後驗機率了。
Alexandr Wang： 是的。不過，我認為這種膽識的程度，起初確實讓我感到有些困惑。你願意進行如此大規模押注的程度，實際上是納特和我經常討論的話題。我當時想，哇，我們這次真的要干票大的。我們倆都在想，你會下這麼大的注嗎？真的會這麼大幹一場嗎？我認為這是一個非常顯著的特質，也是我非常欽佩的一點。回顧Meta的歷史，想像一下在所有這些關鍵時刻的場景，我就能看到這就像是一部電影。很多情況都是如此，我能想像到，顯然會有一些非常重大的事情正在發生，而這些可能還尚未體現在資料指標上，也可能還沒有影響到使用者數量或營收。雖然表面上看還沒有產生實際影響，但如果你堅信某些事情即將發生，那它對公司和產品就會產生巨大的影響。
Alexandr Wang： 事後復盤Meta的歷史，我認為Meta是一家在每次面臨這種關鍵時刻都會極其認真對待的公司，這使得公司能夠不斷創新，並在快速迭代的科技格局中持續演進。
John： 馬克非常務實低調。是的，非常低調。太低調了。
Alexandr Wang： 是的，人生苦短，做正確的事就好。至於AI，我認為其重要性可能要放大一百倍。去年夏天，如果你去問很多CEO，他們都會說AI是公司最重要的事情。也許每位CEO都會這麼說。但看看他們實際在做什麼，他們的行動與這一信念是否知行合一。我認為這正是Meta和馬克極其特別的地方。
John： 最後一個問題，因為已經過了我們的睡覺時間了。你對亞歷克斯在推特上發的那些瘋狂帖子怎麼看？
Mark Zuckerberg： 我覺得大部分內容都很棒，不過……
Alexandr Wang： 我的核心觀點是：失敗多少次並不重要，重要的是贏的時候能贏多大。
Mark Zuckerberg： 我認為在溝通中，最重要的是保持真實。當你努力展現真實自我時，有些表達可能不盡如人意。但我認為，寧願為了真實而犧牲一些完美的表達，也好過過度包裝而失去本真。不過，我覺得他發的大部分內容都極其搞笑。那麼，你覺得我發的那些“瘋狂”內容怎麼樣？我並不是X的重度使用者。
Alexandr Wang： 但你最近又回歸了。
Mark Zuckerberg： 是的，我又開始發帖了。因為很多研究員都在上面，我們也想參與。我在那上面發的所有內容，也會同步發到Threads上，一切都挺好。只是每次我打開X，都能看到四條亞歷克斯的帖子，簡直讓我笑瘋了。有些帖子真的讓人好奇，我們剛才聊到的那些……
John： 我想你現在簡直成了一個資訊集散中心，大家都會把好東西發給你。這些素材都是從那兒來的？
Alexandr Wang： 至於這些素材，其實……昨天我和合夥人還在聊這個。他提到一個觀察，其實直到現在，我的思維模式經常是：“哦，這太搞笑了，不知道Jolly看了會怎麼想”，然後就能從中衍生出很好的梗。話雖如此，我也深刻體會到了網際網路殘酷的“新陳代謝”速度，以及它消化梗的速度有多快。所以你真的必須緊跟造梗的最前沿，稍不留神就會落後。
John： 這或許是對本次對話的一個很好的總結。稍不留神就會落後。你必須保持在最前沿，深入細節。是的，保持技術敏銳，立足最前沿。好的，我們就聊到這裡。太棒了，謝謝你們。
(invest wallstreet)