01.華為AI資料中心參考設計白皮書解讀近期，華為發佈《華為AI 資料中心設計》，系統闡述了在 AI 算力快速提升背景下，資料中心從傳統 IT 基礎設施向高能耗、高密度算力基礎設施演進的整體設計思路，圍繞園區級規劃、模組化建設、暖通與液冷協同、電源架構重構等核心問題，提出以“可擴展性、確定性和長期演進能力”為核心的設計原則，強調通過分期建設、製冷與供配電系統解耦、高功率液冷架構以及更高效率的供電路徑，來應對 AI 伺服器功耗持續上升、電力資源受限和技術快速迭代帶來的不確定性，為新一代 AI 資料中心的規劃、建設和產業鏈協同提供了系統性的工程參考框架。註：《華為AI 資料中心設計白皮書》全文56頁，需要的可上方二維碼加入微信自取在資料中心建設層面，華為首先解決的不是“效率問題”，而是“不確定性問題”。AI 的最大特點不是算力高，而是變化快，晶片功耗在漲，伺服器形態在變，液冷路線在演進，電力資源卻越來越緊張。在這樣的背景下，華為並沒有去強調某一種最優建築形式，而是反覆強調模組化、分期建設和能力解耦。華為非常克制地避免一次性把園區設計到極致，而是更關注未來每一次擴容是不是“順著原來的邏輯繼續往上堆”。這種設計思路背後，其實是一個很工程化的判斷：AI 資料中心不可能一次建完，它一定是在算力需求、資本投入和電力資源之間不斷博弈、不斷調整的結果。暖通和液冷部分：華為對風冷和液冷的態度其實非常務實，並沒有簡單地站隊某一種技術路線，而是把冷卻方案和機櫃功率區間直接掛鉤。很清楚地指出，在中低功率階段，風冷依然有其成熟度和成本優勢；但當 AI 機櫃進入 80kW、100kW 甚至更高功率區間時，液冷不再是“性能更好”，而是“不做不行”。這裡面一個很重要的判斷是：製冷能力正在從“配套條件”變成“算力能否落地的硬約束”。華為在液冷設計上的核心思路，關注系統層面的可複製性和可維運性，強調 CDU 架構、一次側和二次側解耦、冗餘設計、漏液風險控制以及維運友好性，這其實是在明確一個訊號——液冷不能只是少數高端項目的定製方案，而必須成為像風冷一樣可規模複製的基礎設施，真正關心的不是“液冷能不能跑得更猛”，而是“液冷能不能在成百上千個機櫃、幾十兆瓦規模下長期穩定運行”。電源架構這部分，並沒有簡單地否定傳統交流供電，而是直截了當地指出，在 AI 負載快速抬升的情況下，傳統多級 AC 架構正在被系統性拉到極限。問題不在單台 UPS 或單個配電櫃，而在於能量在傳輸和轉換過程中的層級過多，損耗、發熱和空間佔用被同步放大。華為的設計思路，是儘量讓電力“少繞路、更直達”，通過更高電壓等級、更少的轉換級數，把有限的電力資源更多地交付到算力端。這背後的邏輯非常現實：在電力越來越緊張的時代，誰能用同樣的電，跑出更多有效算力，誰就更具競爭力。華為的設計方案亮點有兩個。第一，它始終站在“十年周期”的角度看問題，而不是圍繞當前某一代晶片或伺服器做最佳化；第二，它把電力、製冷、建築這些過去各自為政的專業體系，統一放進了“算力交付能力”這個核心目標下進行協同設計。這種系統級視角，恰恰是當前很多 AI 資料中心項目最容易缺失的部分。對整個資料中心產業鏈來說，這本白皮書的參考意義其實非常直接。伺服器廠商會意識到，單純堆性能已經不夠，裝置形態必須更早地融入基礎設施約束；液冷廠商會發現，未來拼的不只是換熱性能，而是系統可靠性、工程適配能力和規模複製能力；供配電廠商也會更加清楚，裝置放量只是第一步，真正的價值在於參與下一代供電架構的定義；而對營運方和投資方來說，AI 資料中心已經不再是一個“建成即交付”的項目，而是一套需要長期演進、持續投入的能源系統。整體來看，華為這本 AI 資料中心設計白皮書並不是在給行業一個“標準答案”，而是在幫行業把一個越來越清晰的事實講透：當 AI 成為核心生產力時，資料中心的設計目標，已經從“滿足當前需求”，轉向“為未來的不確定性預留足夠的空間”。這一點，可能比任何具體參數，都更值得整個產業反覆琢磨。 (零氪1+1)

9月26日，OpenAI首席科學家Jakub Pachocki與首席研究官Mark Chen接受了a16z的深度訪談，本次對話圍繞GPT-5展開，分享了GPT-5的核心理念（將推理能力主流化），AI的未來在於推理和AI Agent。GPT-5正是朝著默認提供更強推理能力和更具自主性行為邁出的關鍵一步。探討了以“發現新知識”為衡量AI進展的新標尺、強化學習效果好的奧秘。兩位還分享了GPT-5在數學、物理等前沿科學領域帶來的“靈光一現”時刻，並闡述了團隊研究的終極目標——實現“自動化研究員”，即讓發現新思想的過程本身實現自動化。Mark Chen提出了“憑感覺做研究”的未來範式。他觀察到年輕一代程式設計師已將“憑感覺程式設計”視為默認模式，並預見未來AI將強大到讓研究人員也能憑直覺和品味高效探索科學前沿，而無需陷入所有底層細節。Jakub Pachocki指出，隨著AI推理時長的延伸，傳統意義上“定義明確的問題”（如數學競賽）與“開放式問題”（如創意寫作）之間的界限將變得模糊。關於“AI發展將從算力受限轉向資料受限”的觀點，Jakub Pachocki堅信算力在可預見的未來仍將是推動AI能力邊界的核心瓶頸，遠未達到“夠用”的程度。01 GPT-5將推理能力推向主流從你們的視角來看，GPT-5的發佈情況如何？此外，從宏觀層面看，你們是如何打造出一支不僅能做出GPT-5，還能同時推進Codex、ChatGPT以及API業務的研究團隊的？你們又是如何將公司在跨模態、跨產品形態上的各種投入和探索，融入統一的研究文化和發展敘事之中？Mark Chen:我認為，GPT-5 是我們旨在將推理能力推向主流的一次重要嘗試。在 GPT-5 之前，我們有兩個不同的模型系列：一個是 GPT 2、3、4 系列，它們屬於即時響應模型；另一個是 O 系列，它會經過長時間的深度思考，然後給出它所能生成的最佳答案。從策略層面看，我們不希望使用者在“應該使用那種模式”這個問題上感到困惑。這其中涉及大量研究，我們需要確定針對每一個提示，模型進行多少思考才最恰當，從而為使用者省去選擇的麻煩。所以，我們相信未來是關於推理的，更是關於 AI Agent 的。GPT-5 正是我們在默認情況下提供更強推理能力和更具自主性行為方面，邁出的關鍵一步。Jakub Pachocki: 與 O3 及我們之前的模型相比，新模型在各方面都有一系列提升，但我們這次發佈的核心理念，確實是把推理模式帶給更多的人。能否詳細談談你們如何看待評估？當前的一些評估指標分數已接近極限，這是否意味著它們已經飽和？你們用什麼新方法來衡量進展，又是如何思考這個問題的？Jakub Pachocki: 的確，我們過去幾年一直使用的這些評估方法，很多都已經接近飽和。所以對大部分評估而言，將分數從 96% 提升到 98% 並非至關重要。我認為還有另一個更重要但也更微妙的問題。在 GPT-2、GPT-3、GPT-4 的時代，基本只有一種範式：用海量資料預訓練一個模型，然後用這些評估作為標尺，來衡量它對不同任務的泛化能力。現在，我們有了不同的訓練方法，特別是基於序列推理的強化學習，我們可以選擇一個特定領域，把模型訓練成該領域的專家，讓它能進行深度推理。這使我們能針對特定任務進行最佳化，意味著我們可以在某些評估上取得極好的性能，但這並不代表模型在其他方面也具備強大的泛化能力。我們認為，目前我們確實面臨著高品質評估方法不足的問題。我們真正關注的，是模型能夠發現新事物的實際標誌。對我來說，今年最激動人心的趨勢和進展跡象，就是我們的模型在數學和程式設計競賽中的表現。不過，我認為這些競賽在某種意義上也正在飽和。我們正在關注的下一組評估和里程碑，將涉及真正的探索發現，以及在具有經濟價值的領域取得實質性進展。Mark Chen:而且，我認為很重要的一點是，像 IOI、AtCoder、IMO 這類競賽，本身就是衡量未來科研成功的真實指標。世界上許多最優秀的研究人員都曾參加過這些競賽，並取得了非常好的成績。所以，我們正是在為探索下一個前沿領域做準備，即努力讓我們的模型具備發現新事物的能力。02 GPT-5展現的發現新知識的能力是其與前代模型最本質的區別在GPT-5發佈前，當你們進行內部評估或使用時，它的那項能力最讓你們感到驚訝？是否有過某個“靈光一現”的時刻，讓你們覺得這個模型已經足夠強大、可以發佈了？Mark Chen:對我個人而言，最重要的一點是它在物理、數學這類尖端科學領域所實現的前沿突破。我們邀請了一些身為專業物理學家或數學家的朋友來試用模型，大家也可能在 Twitter 上看到過一些案例：你可以給模型一個問題，它就能發現一些雖不頂尖複雜、但意義非凡的新數學知識。我們看到，物理學家和數學家們在試用 GPT-5 Pro 後，都不約而同地感嘆：“哇，這事以前的模型可辦不到。” 這對他們而言，是一個靈光一現的時刻。模型能夠自動完成以往可能需要他們學生花費數月時間才能完成的工作。Jakub Pachocki: GPT-5 相較於 O3 是一個明確的進步。對我而言，O3 的出現則是一個決定性時刻，推理模型從那時起在日常工作中變得非常實用，尤其是在推演數學公式時。它達到了一個相當值得信賴的水平，我完全可以把它作為我工作中的一個工具。能達到那個階段固然令人興奮，但我預計，當我們看到這些模型能夠如我們所說，在更長的時間跨度上自動解決競賽級難題時，就會發現，目前的成就與明年即將到來的進展相比，將相形見絀。未來一、二、五年內，研究將如何發展？在你們方便分享的範圍內，能否談談未來的研究路線圖是怎樣的？Jakub Pachocki: 我們研究的核心目標是實現自動化研究員，也就是讓發現新思想的過程實現自動化。當然，我們經常思考的一個具體問題是如何讓自身的工作自動化，即自動化機器學習的研究，但這可能會讓我們陷入自我循環。因此，我們也在思考如何推動其他科學領域的自動化處理程序。我們認為，衡量這方面進展的一個好方法，就是看模型能夠在多長的時間跨度內進行推理並取得進展。可以說，現在模型已經接近掌握高中水平的競賽，這意味著我們或許達到了一個能進行一到五小時推理的水平。因此，我們正致力於擴展這一時間跨度，這既涉及到模型進行長遠規劃的能力，也涉及到它保持記憶的能力。Mark Chen:再回到評估的問題上，這就是為什麼我們對“模型能自主運行多長時間”這類評估指標尤為感興趣。03 真正的深度推理能力是在長時間規劃中保持一致性的能力當前模型開發領域正掀起一股增強自主性的浪潮，但使用者普遍觀察到一種權衡：過多的規劃步驟或工具呼叫會導致結果質量下降。你們如何看待這種穩定性與深度之間的權衡？此外，我們聊了很多關於數學和科學的話題，你們認為目前取得的這些進展，能否同樣地延伸到那些標準不那麼明確、沒有清晰是非對錯之分的領域？Jakub Pachocki: 我認為，維持深度的能力，很大程度上就是指在長遠規劃中保持一致性的能力。因此，我認為它們是高度相關的問題。事實上，通過推理模型，我們已經看到模型能夠可靠地進行推理和工作的鏈條大大延長了，並且不會偏離正軌。這仍將是我們重點關注的一大領域。Mark Chen:我認為推理是這種長時程運作能力的核心。可以想像一下解數學題的過程：你嘗試一種方法，行不通，就得思考下一步要用什麼方法，第一種方法錯在那裡。然後你再嘗試別的方法，現實會給你直接的反饋。你不斷嘗試各種方法，這種在長時間內持續試錯和調整的能力，就是推理，它賦予了 AI Agent 所需的魯棒性。(關於在非明確領域的延伸)Jakub Pachocki: 這個問題我非常喜歡。我認為，如果你真的想將研究拓展到能用數月乃至數年的時間尺度來推動技術進步、發現新思想的層面，那麼這兩類問題的區別就不那麼明顯了。比如，在一小時內解決一個定義明確的、有約束的題，你需要遍歷的想法是有限的，這和解決一個非常開放的問題感覺完全不同。但即便你想解決一個定義明確、但時間尺度長得多的問題，比如證明一個千禧年大獎難題，你突然就需要思考：那些數學或其他科學領域可能相關？是否需要從物理學中汲取靈感？我需要為此制定怎樣的整體研究綱領？這就成了一系列非常開放的問題。這和我們自己的研究很像，如果我們只關心降低某個資料集上的模型損失，那麼“我們問的研究問題本身是否正確？”這件事，就變成了一個相當開放的議題。Mark Chen:而且我認為思考“開放式”的邊界在那裡也同樣重要。前段時間，Sam 發推文提到了我們在提升模型創意寫作能力方面取得的一些進展，這也說明我們確實在考量這類問題的極限。04 強化學習經久不衰的奧秘自從O1發佈以來，強化學習（RL）似乎成了一個不斷帶來驚喜的寶庫，其潛力似乎遠未耗盡。為什麼RL的效果能這麼好？關於它的出色表現，有什麼是讓你們感到驚訝的嗎？對於那些希望利用這些技術進展，卻不知如何建構正確獎勵模型的企業或研究者（如生物學家、物理學家）來說，你們有什麼最佳實踐或思維模式可以分享嗎？Jakub Pachocki: RL 是一種非常通用的方法。一旦你搭建起一套有效的 RL 系統，就可以探索很多想法。在 OpenAI，我們很早就開始探索 RL，甚至在語言模型出現之前。我們當時認為，RL 是一個極其強大的工具，當然，它建立在深度學習這個強大的通用學習方法之上。但我們長期以來面臨的一個難題是：環境在那裡？我們如何將這些模型錨定到現實世界？難道要模擬一個島嶼，讓它們在上面學習協作和競爭嗎？然後，語言建模的突破出現了。我們看到，如果在自然語言建模上規模化應用深度學習，就能創造出對人類語言具有極其細緻入-微理解的模型。從那時起，我們就一直在探索如何將這兩種範式結合起來，讓 RL 應用於自然語言。一旦你做到這一點，你就能在一個由預訓練提供的、極其魯棒且豐富的環境中，去執行各種不同的想法和目標。所以，這確實是我們過去幾年研究中最激動人心的時期，我們發現了如此多前景廣闊的新方向和新思路，並且它們似乎都行之有效，我們正在努力理解如何對它們進行比較。(關於獎勵模型的建構)Jakub Pachocki: 我預計這項技術會迅速演進，並且會變得越來越簡單。我想，就像兩年前我們還在討論如何建構合適的微調資料集一樣，而這一演進至今仍未結束。我認為我們會越來越接近更像人類的學習方式，而目前的 RL 還並非如此。因此，最重要的心態或許是，不要認為今天的方法會是永遠的標準。05 GPT-5 Codex與“憑感覺程式設計”首先祝賀發佈的GPT-5 Codex，能否介紹一下它有什麼不同、訓練方式有何差異，以及你們對它感到興奮的原因？在你們看來，程式設計任務中簡單問題和難題之間的最佳平衡點是什麼？另外，你們二位過去都是頂尖的競賽程式設計師，而現在程式設計模型已經比你們更強，這反而讓你們感到興奮，能否談談這種類似“李世石時刻”的感受？以及，你們現在還親自編寫多少程式碼？Mark Chen:我認為 Codex 團隊的一大重點，就是將我們推理模型具備的核心智能，轉化為在真實程式設計場景中切實有用的能力。他們做的很多工作都與此相關。他們正努力讓模型能夠處理更複雜的程式設計環境，因為我們知道真實的程式設計工作非常混亂，他們正試圖處理其中所有的複雜細節。編碼中也有很多與程式碼風格相關，以及一些更“軟”的因素，比如模型的積極性、或者程式碼的簡潔度，團隊在為編碼模型的行為定義規範方面做了很多出色的工作。並且，他們也在努力提供更好的預設。程式設計師們對於一個特定的解決方案，願意等待多長的時間，心裡都有一個譜。我們做了大量的最佳化工作來精確調整這一點：對於簡單問題，實現更低的延遲；對於更難的問題，正確的做法反而是提供更高的延遲，以獲得真正最佳的解決方案。能夠找到這種最佳預設至關重要。(關於難易問題的平衡點)Mark Chen:我們發現，上一代 Codex 模型在解決最難問題時，花費的時間太少，而在解決簡單問題時，花費的時間又太多。我認為這基本上就是 O3 模型“開箱即用”時的狀態。Jakub Pachocki: 談到程式設計模型越來越強大，這樣的進展極其令人興奮。程式設計競賽為模型在受限的環境和時間框架內提出新思路的能力，提供了一種很好的封裝式測試。當然，如果去看像國際數學奧林匹克 (IMO) 第 6 題或是一些最難的程式設計競賽題目，模型仍有提升空間，但我預計這種情況不會持續太久。我也會寫程式碼，過去其實非常不願意使用任何工具，幾乎只用 Vim。但最終，特別是隨著 GPT-5 這類最新程式設計工具的出現，我真的覺得是時候改變工作方式了。你可以在大約 15 分鐘內近乎完美地完成對 30 個檔案的重構，你沒法不用它。因此，我一直在學習這種新的程式設計方式，感覺確實有些不同。目前仍有幾分處在“恐怖谷”的感覺：你必須使用它，因為它能極大地提升許多工作的效率，但它又還不如一位人類同事那麼出色。所以，我們的當務之急是走出這個恐怖谷。但這絕對是一個激動人心的時代。Mark Chen:談到“李世石時刻”，AlphaGo 對我們倆而言，是 AI 發展中一個塑造我們認知的里程碑，至少對我來說，這就是我投身這一領域的起點。或許因為我們都有程式設計競賽的背景，我對於建構這類能在競賽中取得優異成績的模型有種特殊的偏好。從解決八年級數學問題，到一年後模型在程式設計競賽中達到我們的水平，這樣的進步速度簡直不可思議。你會感同身受地體會到 Lee Sedol 當時的心情，那種“哇，這太瘋狂了”的感覺，並且不禁會想，未來還有多少可能？這可是我花了數十年時間，通過艱苦卓絕的努力才達到的前沿領域。所以你真的能體會到這意味著什麼：這些模型，究竟有什麼是它們做不到的呢？它已經改變了程式設計的默認模式。上個周末，我和一些高中生聊天，他們說，“憑感覺程式設計”才是現在默認的程式設計方式。他們認為，也許有時為了追求程式碼的完備性，你會去親手實現所有底層細節，但對他們來說，這已經是一個很奇怪的想法了。你為什麼要那樣做？憑感覺程式設計就夠了。所以，我確實認為未來有望實現“憑感覺做研究”。06 什麼造就了一位傑出的研究員什麼造就了一位傑出的研究員？你們提到了“憑感覺做研究”，那麼研究領域的“品味”是什麼？在選題階段，是否存在某些方法，能幫助你們找到一類合適的問題，從而讓後續的“信念”與“求真”之間的張力不那麼像零和博弈？在GPT-5的開發過程中，是否有過因堅持不懈最終攻克難題的難忘案例？Jakub Pachocki: 堅持不懈是非常關鍵的品質。研究的獨特之處在於，你試圖創造或學習一些完全未知的事物，事先不知道它是否行得通，也不知道最終能否成功。所以，你總是在嘗試大機率會失敗的事情。你需要進入一種狀態，既為失敗做好準備，也準備好從失敗中汲取教訓。這就要求你提出清晰的假設，並對自己驗證假設的進展保持絕對的誠實。很多人會掉入一個陷阱，那就是想方設法去“證明”自己的想法有效，這和“堅信”你的想法有本質區別。堅信自己的想法極其重要，你也希望堅持下去，但你必須對自己誠實，坦率面對它何時有效、何時無效，這樣你才能學習和調整。Mark Chen:經驗的積累幾乎沒有捷徑。通過經驗，你才能學會用合適的視野去思考一個問題：你不能選太難的，也不能選太容易而沒有滿足感的。做研究在很大程度上也是一場曠日持久的情緒管理，你嘗試的很多事情都將以失敗告終。有時你需要知道何時該堅持，有時則需要知道何時該切換賽道。而對於問題“有趣性”的判斷力，則是通過閱讀優秀論文、與同事交流來逐步建立的，你會試著將他們的經驗融入到自己的方法論中。Jakub Pachocki: 我要說明一點，信念和求真本質上並非零和博弈。你可以對一個想法充滿信念，並在它暫時受挫時依然非常執著。關鍵在於你要對自己取得的進展保持誠實，並時刻準備從一路上的失敗中學習。很重要的一點是，要找到你真正關心、並且堅信是重要的問題。我從許多激勵過我的研究者身上看到的一點是，他們真正敢於挑戰難題，敢於審視那些公認無解的問題，然後去追問：為什麼它無解？試試這個方法呢？這個方法為什麼又失敗了？你總是在思考，阻礙我們前進的真正壁壘是什麼。當你投身於你真正相信是重要的問題時，你就會更容易找到堅持數年的動力。(關於攻克難題的案例)Jakub Pachocki: 在我們開發一系列模型 (包括預訓練模型和推理模型) 的過程中，一個反覆出現的主題就是“bug”。一種是軟體中那些非常隱蔽的 bug，它們可能在程式碼裡潛伏數月，不知不覺地讓你所有的實驗結果都產生偏差。識別並修復這些 bug，本身就是研究項目的一大突破。但 bug 也指認知上的盲點，即你固有的思維方式存在偏差，導致你做出了錯誤的假設。識別這些錯誤的假設，然後從零開始重新思考——無論是為了讓第一批推理模型跑通，還是為了讓更大規模的預訓練模型順利運行，我們都曾多次面對並解決了這類問題。07 OpenAI的人才文化作為研究團隊的領導者，你們如何留住團隊中最頂尖的人才，並建立一個有韌性的組織？你們是如何招聘研究員的，會看重那些不那麼顯而易見的特質？如何看待“研究員”和“工程師”的界限？在吸引和培養各類研究人才的同時，你們認為制勝文化最關鍵的組成部分是什麼？又是如何在保護基礎研究和推動產品前進之間取得平衡的？Mark Chen:OpenAI 能留住最優秀的人才並激勵他們的最大原因，在於我們投身於基礎研究。我們不是那種時刻關注“X 公司做了什麼模型”或“Y 公司做了什麼模型”的公司。對於我們立志要建構什麼，我們有非常清晰的定義。我們喜歡在前沿進行創新，而非常不喜歡模仿，我相信人們正是被這樣的使命所鼓舞。你在這裡真正從事的，是發現關於深度學習技術堆疊的新事物，我們正在共同建構一項非常激動人心的事業。除此之外，很大程度上是關於營造一種卓越的文化。我們希望建立一個良好的培養體系，幫助人們成長為傑出的研究員。我們向來只聘用最頂尖、最具創新精神的人才，因此我們的人才儲備非常深厚。而且，我們絕大多數的領導者都對公司的使命抱有極大的熱忱，這也是他們留下的原因。就我觀察，我的直屬下屬們並未受到所謂“人才戰”的影響。(關於如何招聘研究員)Jakub Pachocki: 我們尋找的一個特質，就是曾在任何領域解決過難題的經歷。我們許多最成功的研究員，都是在 OpenAI 才開始他們的深度學習之旅的，他們之前可能來自物理學、理論電腦科學或金融等不同領域。我們看重的是強大的技術基礎，以及願意投身於宏偉目標並能堅持到底的決心。我們不會只根據誰的工作最耀眼或誰在社交媒體上最知名來做判斷。(關於研究員與工程師的界限)Mark Chen:研究員並非千人一面。在 OpenAI，我們有些研究員極富創造力，他們非常擅長提出新點子，不一定需要通過親自實現所有想法來展現巨大影響力。他們僅憑提出“我們試試這個吧”或“那個怎麼樣”或“我們該思考一下那個方向”就已經創造了巨大的alpha (超額價值)。而另一類研究員則極其高效，他們能抓住一個想法，並圍繞它嚴謹地探索整個實驗空間。所以我認為研究員有多種不同的形態。也許第一種類型與一位偉大的工程師不屬於同一範疇，但我們確實力求擁有一支研究品味和風格都相當多元化的團隊。Mark Chen:最重要的事情，就是一定要保護好基礎研究。現在有這麼多公司，你很容易陷入一個怪圈，每天想的都是“我如何在聊天機器人或某個產品層面去競爭？”你必須確保為研究留出了空間，尊重研究本身的價值，並給研究人員獨立的空間。你不能讓他們被各種不同的產品需求拉扯得團團轉。所以，這是我們在文化中非常注重的一點。Jakub Pachocki: 尤其是現在，OpenAI 和整個 AI 領域都備受矚目，不同實驗室之間的競爭非常激烈，團隊很容易陷入一種“我們必須趕超對手最新發佈成果”的競賽心態。這其中的風險在於，人們會開始左顧右盼，被外部的事情分心。我們工作的一個重要部分，就是確保大家有足夠的舒適度和空間，去思考一兩年後真正的圖景會是怎樣，去關注我們想要解決的那些真正宏大的研究問題，以及我們如何才能創造出性能遠超當前所見的模型，而不僅僅是在現有範式裡進行迭代最佳化。(關於平衡研究與產品的具體做法)Mark Chen:關鍵在於明確職責劃分。要有一部分研究員，他們真正關心產品，並願意為產品的成功負責。當然，他們需要與整個研究組織密切合作。但最重要的是讓每個人都清楚自己的任務授權以及相應的激勵機制是什麼。Jakub Pachocki: 還有一點也很有幫助，那就是我們的產品團隊和公司管理層，都對我們研究的未來方向有著深刻的認同和共識。所以，沒有人會假設我們現在的產品就是最終形態，然後只是坐等研究部門拿出新東西。我們能夠共同主動地去構想未來。08 在資源有限的現實下，算力是決定性的瓶頸你們如何將內部多元化的研究方向（如擴散模型、程式碼推理）融合成一個統一的路線圖？當外部出現有價值的新方向時（如Nano Banana），你們如何權衡是否投入精力？在具體的資源分配上，是如何操作的？如果資源增加10%，會優先投入到算力、資料還是人才？你們認為算力受限的局面短期內會改變嗎？Jakub Pachocki: 在過去幾年裡，我們研究規劃的公開目標一直是實現“自動化研究員”。我們絕大多數項目都是圍繞這個目標建構的。這為自下而上的想法和各領域的基礎研究留出了大量空間，但我們始終在思考這些想法最終如何殊途同歸。例如，我們相信推理模型還有更廣闊的前景，同時我們也在進行許多不直接相關的探索，但我們會深入思考它們最終如何結合，以及當你擁有一個能花幾個月時間來攻克一個極難問題的智能體時，創新會是什麼樣子。因此，我們長期目標的清晰度非常重要，但這不代表我們對所有具體路徑都進行硬性規定。我們絕對把這看作是一個探索和學習這些技術的過程。Mark Chen:你需要在宏觀層面有主見、定方向，但在微觀層面，要讓大量的想法能夠自由地湧現。(關於權衡外部新方向)Jakub Pachocki: 這確實是我們在 OpenAI 思考了很久的一個問題。以 GPT-3 為例，當我們看清這就是大語言模型的發展方向後，我們內部便展開了大量討論。顯然，AI 能實現的應用前景廣闊。你可以利用那些極其智能的模型推動科學前沿的突破，也可以生成令人驚嘆的媒體內容，開發出顛覆性的娛樂應用。因此，如何在所有這些方向中進行權衡和取捨，一直是我們長期思考的重點。Mark Chen:我們不會阻止任何人對此充滿熱情。只要我們能在優先順序排序和產品戰略上保持一致，這些探索自然會水到渠成。我們鼓勵很多人滿懷激情地去建構這類新應用或 AI Agent 產品，只要他們對此感興趣。但同樣重要的是，我們必須有一個受保護的獨立團隊，其唯一目標就是實現演算法上的突破。(關於資源分配框架)Mark Chen:這正是我們倆工作中的一個核心部分，即如何像管理投資組合一樣，決定給那個項目分配多少算力。從歷史上看，我們傾向於將更多資源投入到核心演算法的突破上，而非產品研究。但這需要根據實際情況隨時感知和調整。這是一個動態的過程，每個月都可能有不同的需求，因此在這方面保持高度的靈活性至關重要。(關於資源增加的優先選擇)Jakub Pachocki: 目前是算力。Mark Chen:算力是完全合理的答案。關於優先順序，理想情況下你當然希望在所有領域都做到卓越並取勝。但風險在於，你最終可能在所有領域都只拿到第二名，而沒有任何一項能做到絕對領先。因此設定優先順序至關重要，必須清楚地認識到那些領域是我們必須取勝的。(關於算力受限的局面)Jakub Pachocki: 我們已經見證了足夠長的時間，算力能帶來多大的可能性。我從未真正認同所謂“我們將受限於資料”的說法，而且我預計我的這個看法不會改變。Mark Chen:誰要是這麼說，就該來我的崗位上幹一個星期。絕對沒有人會說：“我的算力完全夠用了。”09 OpenAI保持發展速度的秘訣當學術界的基礎研究與前沿AI世界交匯時，會碰撞出怎樣的火花？外界對產品發佈的看法在多大程度上會影響你們的優先順序？在AI前沿即將帶來的所有變革中，有那些基本的先驗是應該保持不變的？以及，在達到如此規模後，你們保持驚人發展速度的秘訣是什麼？Mark Chen:我個人是在 OpenAI 從“駐場研究員” (Residency) 項目開始的。這個項目旨在幫助來自不同領域的人快速學習 AI，並成長為能做出實際貢獻的研究員。其核心理念是：我們能否在儘可能短的時間內，加速完成一個類似博士學位的學習過程？其中很大一部分內容就是親手去復現大量核心的研究成果。在實踐中你會犯錯，你會感嘆：“原來這個參數設錯了，我的模型就會這樣崩潰。”通過這種方式，你就能建立起直覺。你需要大量的動手經驗。隨著時間推移，所有這些大型實驗室可能都開發了關於最佳化、架構和 RL 的課程，而最好的學習方法，莫過於親手去實現那些成果，閱讀相關論文，並進行批判性思考。Jakub Pachocki: 在學術界能體驗到的一個好處是那種堅韌不拔的精神。在那裡，你可能會花幾年時間專注於解決一個你從未遇到過的難題。這種經歷很有價值。目前技術進步的速度非常快，也許因為深度學習本身強大的學習能力，很多想法也比過去更容易成功。但是，能親身去解決一個更具挑戰性的問題，作為團隊的一員去攻克一個宏大的目標，去體驗那種被困住的感覺，以及最終取得突破時的成就感——這種經歷本身也是一種非常寶貴的學習。(關於外界反饋的影響)Jakub Pachocki: 我們對未來抱有非常堅定的信念，因此不會將這些信念與產品的短期市場反響過度掛鉤。我們同樣會通過閱讀論文、關注其他實驗室的進展來不斷學習，但我們行動的根本出發點，是對我們所建構事業的堅定信念。這主要針對我們的長期研究計畫。而在產品層面，迭代的周期自然要快得多。Mark Chen:我們每一次產品發佈，都以在商業上取得巨大成功為目標。從基礎研究的角度，我們致力於創造具備各種核心能力的模型，以支援建構一系列豐富的使用者體驗和產品。總會有人對某個具體能實現的產品有獨特的構想，我們就會把它推向市場。我們發佈的每一款產品，都真心希望能大獲成功。我們會收集市場反饋，如果結果未達預期，就會相應地微調產品策略。推出極其有用、廣受歡迎的產品，本身就是我們的核心業務。Jakub Pachocki: 比算力更宏觀的，是來自物理世界的約束，比如能源，以及在不遠的將來會成為主要焦點的機器人技術。因此，對物理約束的考量將一直很重要。但在智能的發展本身這件事上，我不做過多預設。(關於保持發展速度的秘訣)Mark Chen:我們優秀研究文化的一個最清晰標誌，就是從未有過“學習平台期”。在其他公司，你加入後頭一兩年學到很多，然後就發現，自己已經熟悉了現有框架，能高效完成工作，但個人成長也隨之停滯了。我在 OpenAI 從未有過這種感覺。這裡每周都有各種激動人心的成果湧現，你總能學到海量新知，以至於需要全力以赴才能跟上節奏。這讓人非常有成就感。我們就是希望產出大量真正高品質的研究，當成果多到讓你感覺快要跟不上時，這反而是一件好事。Jakub Pachocki: 技術本身的飛速發展是這裡的核心驅動力。也許在某個特定的技術範式下工作幾年後，我們會開始感到安逸，但我們總是處於新舊技術交替的風口浪尖，必鬚根據即將面臨的新約束和新可能性，來不斷重構我們的思維。因此，正是這種永不停歇的變革，營造出一種持續變化的氛圍，並塑造了我們必須不斷學習新知的心態。 (數字開物)