OpenAI這回真的有點尷尬了😅前幾天刷到一則新聞，OpenAI的CEO Sam Altman公開承認，今年8月發表的GPT-5反響不太行，還趕緊承諾GPT-6會有「重大升級」。說實話，看到這個消息我第一反應是：這是在給自己找台階下嗎？回想GPT-5剛發布那會兒，Altman可是信心滿滿地說這是「目前最先進的AI大語言模型」，他自己都只用GPT-5不碰其他模型。結果呢？使用者和專家們並不買帳。紐約大學教授Gary Marcus直接開砲，說GPT-5被「過度炒作」了，什麼通用人工智慧、博士級推理能力，統統沒兌現，就是換湯不換藥的升級💡更有意思的是，Altman在接受採訪時坦言，GPT-5剛上線時體驗確實差，團隊不得不緊急調整AI的「說話方式」，讓它的回覆顯得更溫暖、更友好。這不就等於承認產品沒做好就匆忙上線了嘛？這波操作讓不少鐵粉都開始懷疑：OpenAI是不是有點飄了？不過話說回來，Altman倒是沒徹底認慫。他強調現在的GPT-5已經在科學發現領域做出了「前所未有的貢獻」，暗示前期的負面評價有失公允。同時他還畫了個大餅：GPT-6會比GPT-5強很多，GPT-7又會比GPT-6強很多，反正就是一代更比一代強，OpenAI的成績單擺在那兒，大家等著瞧🚀但問題來了，這種「下一代更強」的承諾，我們聽了多少次了？每次新模型發佈前都是鋪天蓋地的宣傳，結果真用起來卻發現沒那麼神。 GPT-5的翻車就是最好的例子。用戶們期待的是顛覆性突破，而不是「稍微好一點」的漸進式更新。說到底，AI產業現在有點像手機圈，每年發新品都說「史上最強」，但真正讓人眼前一亮的創新卻越來越少。OpenAI作為行業老大，背負的期待自然更高。 GPT-5沒能打出王炸，GPT-6能不能翻身，還得看實際表現☕你覺得OpenAI這次能守住承諾嗎？還是說AI發展進入瓶頸期，再也沒有當年GPT-3到GPT-4那種跨越進步了？評論區說說你的看法，或轉發給關注AI的朋友，一起討論這波科技圈的「信任危機」！ （澤問科技）

OpenAI 投資人突然爆料：GPT-6 要來了！OpenAI 的投資人Brad Gerstner 在一場訪談中爆出了一個重磅消息：GPT-6 將在年底前發佈。這意味著，在接下來的兩個半月內，我們可能會見證AI 能力再一次的巨大飛躍。影片中，Brad Gerstner 不僅確認了GPT-6 的發佈時間，還提到了OpenAI 正在推出的一系列產品，包括 Sora 2。他表示：GPT-6 將在年底前發佈。我認為我們將會看到產品的階躍式改進。身為OpenAI 的投資人，Gerstner 的話顯然不是空穴來風（當然也不排除有Sam Altman 為了融錢而誇大忽悠的成分）。他也提到，只要你在OpenAI 生態系統中，在供應商融資方面就不會有問題。這話的背後，也透露出了投資人對OpenAI 技術發展的強大信心。對此，網友Marius Krasauskas(@kimmonismus) 表示感到意外：有意思，完全沒聽到任何相關傳聞……也許OpenAI 這次要學Anthropic，不提前透露任何消息就直接發佈？Laksh(@laksh_officiall) 亦稱為：如果是真的就太重要了。年底前推出GPT-6 將標誌著能力的另一個飛躍。 AI 曲線不是在放緩，而是在變陡。CryptoAero(@kimmonismus) 給了自己的技術猜測：我更期待他們專注於GPT-5.1 版本，為特定任務做進一步微調，或推出一個新的更快的非思考替代方案。這能減少token 使用量，並透過混合注意力機制讓注意力/推理更快。JC Gilbert 表示這聽起來非常非常樂觀，但他真正好奇的是：模型在聊天用例上到底能改進多少？似乎下一章更多是提升Agent 的速度、可靠性和能力範圍，而不是在聊天用例上做小幅改進。值得注意的是，現在距離年底，也只剩下不到三個月的時間了。如果Brad Gerstner 的爆料屬實，OpenAI 要嘛已經在內部測試GPT-6，要嘛正在進行最後的衝刺。這種「突然襲擊「式的發佈策略，沒準會像Marius 說的那樣，有點開始學習DeepSeek 和Anthropic 的風格了：先做後說，用產品說話。不再事前吹噓嚇到癱軟，而是人狠話不多直接放。這樣或許不會有驚喜，但會少一點失望。雖然考慮到OpenAI 和Sam 大師一貫的高調作風，完全不預熱就發佈新一代模型，似乎又不太符合他們的習慣。除非，他們這次是真想給所有人一個驚喜了。回想一下，從GPT-4 到GPT-4o，再到o1 模型，OpenAI 的每一次發佈都在重新定義AI 的邊界，雖然GPT-5 一開始表現得有些拉（其實後面趕上來了，主要是事前期望拔得得太高了）——但如果GPT-6 真的就要到來，它會帶來什麼樣的突破呢？推理能力？多模態？Coding？Agent？科學研究？沒人知道，就等大師的表演吧。 （AGI Hunt）

只擴充Transformer，已經不夠「過癮」了。智東西8月16日消息，近日，OpenAI聯合創辦人兼總裁Greg Brockman在世界AI工程師大會上，分享了他對AI技術發展瓶頸、科研與工程關係等AI關鍵議題的最新看法。身為2015年便入局AI的業界老兵，在回答主持人關於GPT-6發展挑戰的問題時，Brockman提出了一個十分重要的觀察：隨著算力和資料規模的快速擴展，基礎研究正在回歸，演算法的重要性再次凸顯，成為未來AI技術發展的關鍵瓶頸。對Brockman而言，這並非壞事。他覺得整天圍繞著Attention is All You Need這一經典論文和Transformer做文章已經有些乏味，智力上難免讓人覺得「不過癮」。目前，強化學習已成為演算法研究的新方向之一，但他也意識到，仍有許多明顯的能力缺口。▲Greg Brockman（右）與主持人（左）工程與科研，是驅動AI發展的兩大引擎。工程師出身的Brockman認為，工程師的貢獻與研究人員不相上下，甚至在某些方面更為重要。如果沒有科學研究創新，就無事可做；如果沒有工程能力，那些想法就無法實現。OpenAI從一開始就堅持工程與研究同等看待，而兩者的思考方式又有所不同。對新加入OpenAI的工程師，Brockman的第一堂課便是：保持技術上的謙遜，因為在傳統網際網路大廠行之有效的方法，在OpenAI未必適用。產品與科學研究間的資源協調，也是OpenAI時常面臨的問題。 Brockman在訪談中承認，為了支撐產品上線的海量算力需求，OpenAI不得不以幾乎是「抵押未來」的方式，借調部分本應用於科研的算力。不過，他認為這項取捨是值得的。Brockman也在訪談中回顧了自己童年時期對數學的興趣，再到轉向程式設計，從哈佛轉校至MIT，最終輟學加入金融科技創企Stripe的經歷。由於篇幅所限，實錄並未包含這部分內容。在訪談的尾聲，Brockman回答了來自輝達創始人兼CEO黃仁勳的兩個問題，分別涉及未來AI基礎設施的形態與開發流程的演變。Greg Brockman的這場訪談錄製於今年6月，以下是部分精彩內容的整理（智東西在不改變原意的前提下，進行了一定程度的增刪修改）：01. 工程師與研究人員同等重要，加入OpenAI第一課是技術謙遜主持人：2022年時你說，現在是成為機器學習工程師的時候了，偉大的工程師能夠在與偉大的研究人員相同的水平上為未來的進步做出貢獻。這在今天還成立嗎？Greg Brockman：我認為工程師所做的貢獻和研究人員是相仿的，甚至更大。一開始，OpenAI在早期就是一群博士畢業的研究科學家，提出一些想法並進行測試，工程對這些研究是不可或缺的。 AlexNet本質上是「在GPU上實現快速摺積核心（convolutional kernels）」的工程。有趣的是，當時在Alex Krizhevsky實驗室的人實際上對這項研究不以為然，他們覺得AlexNet只是用於某個影像資料集的快速核心，這並不重要。但Ilya說：「我們可以將其應用於ImageNet。效果肯定會很好。」這個決定將偉大的工程與理論創新結合了起來。我認為，我之前的看法至今依然有效。現在，業界所需的工程不僅是打造特定的核心，而是建構完整的系統，擴展到10萬塊GPU，打造強化學習系統，協調好各個部分之間的關係。如果沒有創新的想法，就無事可做；如果沒有工程能力，那個想法就無法實現。我們要做的是將兩個面向和諧地結合在一起。Ilya和Alex的關係，是研究與工程合作的象徵，這種合作現在是OpenAI的哲學。OpenAI從一開始就認為工程和研究同等重要，兩個團隊需要緊密合作。研究和工程之間的關係也是永遠無法完全解決的問題，解決了當前水準的問題後，會面臨更複雜的問題。我注意到，我們遇到的問題，基本上與其他實驗室面臨的情況相同，只是我們可能會走得更遠，或出現一些不同的變體。我認為，這背後有一些根本原因。在一開始，我明顯感受到工程背景與研究背景的人，對系統限制的理解，差異很大。作為工程師，你會認為：“如果介面已經確定，那就不必關心它背後的實現，我可以以任何我想要的方式來實現它。”但身為研究人員，你會想：「如果系統的任何部分出現錯誤，我看到的只是效能稍有下降，沒有異常提示，也不知道錯誤在那裡。我必須對整段程式碼負責。」除非介面非常穩固、可以完全信賴——這是個很高的標準——否則研究人員就得對這段程式碼負責。這種差異常常帶來摩擦。我曾在一個早期專案中看到，工程師寫好程式碼後，研究人員會對每一行進行大討論，進度極為緩慢。後來，我們改變了做法，我直接參與這個項目，一次提出五個想法，研究人員會說其中四個不行，而我會覺得這正是我想要的回饋。我們意識到的最大價值，也是我常對來自工程界的OpenAI新同事強調的，就是技術上的謙遜。你帶著寶貴技能進入這裡，但這是與傳統網路新創公司截然不同的環境。要學習分辨什麼時候可以依賴原有直覺，什麼時候需要放下它們，這並不容易。最重要的是，保持謙遜，認真傾聽，並假設自己還有未理解的地方，直到真正明白原因。那時再去改變架構、調整抽象層。真正理解並帶著這種謙遜去做事，是決定成敗的關鍵因素。02. 部分科學研究算力調給產品，OpenAI有時不得不“抵押未來”主持人：我們來談談OpenAI最近的一些重大發佈，也分享幾個有趣的故事。其中一個特別值得一提的，是關於擴展性的問題——在不同數量級上，一切都有可能崩潰。ChatGPT發佈時，僅用五天就吸引了100萬使用者；而今年4.0版本的ImageGen發佈後，同樣在五天內，使用者數便突破了1億。這兩個階段相比，有那些不同之處？Greg Brockman：它們在很多方面都很相似。 ChatGPT原本只是低調的研究預覽，我們悄悄發佈，卻很快出現了系統崩潰的情況。我們預料它會受歡迎，但當時認為需要等到GPT-4才能真正達到這種熱度。內部同事早已接觸過它，所以不覺得驚豔。這也是該領域的一個特點——更新節奏很快。你可能剛剛看到“這是我見過的最神奇的東西”，下一刻就會想：“為什麼它不能一次合併10個PR（拉取請求）呢？”ImageGen的情況與之類似，發布後極受歡迎，傳播速度和用戶增長都令人難以置信。為了支撐這兩次發布，我們甚至打破慣例，從研究中抽調部分計算資源用於產品上線。這相當於“抵押未來”，以使系統正常工作，但如果能按時交付並滿足需求，讓更多人體驗到技術的魔力，這種取捨是值得的。我們始終堅持同樣的理念—為使用者提供最佳體驗，推動技術發展，創造前所未有的成果，並盡全力將它們推向世界，取得成功。03. AI程式設計不只“炫技”，正向嚴肅軟體工程轉型主持人：「氛圍程式」（vibe coding）現在這已經成為了一種現象。你對它有什麼看法？Greg Brockman：氛圍節目作為一種賦能機制，非常神奇，也反映了未來的發展趨勢。它的具體形式會隨著時間而不斷變化。即使是像Codex這樣的技術，我們的願景也是：當這些Agent真正投入使用時，不僅僅是一個或十個副本，而是可以同時運行成百上千、甚至十萬的Agent。你會希望像對待同事一樣與它們協作——它們在雲端運行，並連接到各種系統。即使你睡覺、筆記型電腦關機，它們仍能繼續工作。目前，人們普遍將氛圍程式視為一種互動式循環，但這種形態將會改變。未來的互動會越來越多，同時Agentic AI將介入並超越這種模式，從而推動更多系統的建構。一個有趣的現像是，許多氛圍程式設計的簡報都集中在製作有趣的應用或惡搞網站等「酷炫」專案上，但真正新穎且具有變革性的是，AI已經開始能夠改造和深入現有應用。許多公司在處理遺留程式碼庫時，需要遷移、更新庫、將COBOL等舊語言轉換為現代語言，這既困難又乏味，而AI正逐步解決這些問題。氛圍程式設計的起點是“做一些很酷的應用”，而它正在向嚴肅的軟體工程演進——尤其是在深入現有系統並進行改進的能力上。這將讓企業更快發展，而這正是我們的前進方向。主持人：我聽說Codex對你來說有點像是「親手養大的孩子」。你從一開始就強調要讓它模組化、檔案完善。你認為Codex會怎麼改變我們的程式設計方式？Greg Brockman：說它是我的「孩子」有點言過其實。我有一個非常出色的團隊，一直在努力支援他們及其願景。這個方向既令人著迷，又充滿潛力。最有趣的一點是，程式碼庫的結構，決定了能從Codex中獲得多少價值。現有程式碼庫大多是為了發揮人類的優勢而設計的，而模型更擅長處理多樣化的任務，不像人類那樣能深度連結概念。如果係統能更契合模型的特點，效果會更好。理想的做法是：將程式碼拆分成更小的模組，編寫快速可運行的高品質測試，然後由模型來填充細節。模型會自行執行測試並完成實作。組件之間的連接（架構圖）相對容易構建，而細節填充往往最困難。這種方式聽起來像是良好的軟體工程實踐，但現實中，由於人類可以在腦中處理更複雜的概念抽象，往往會省略這一步驟。編寫和完善測試是一項繁重的任務，而模型可以比人類多運行100倍甚至1000倍的測試，從而承擔更多工作。在某種意義上，我們希望建立的程式碼庫更像是為初級開發人員而設計的，以便最大化模型的價值。當然，隨著模型能力的提升，這種結構是否仍然最優，將會是一個有趣的問題。這一思路的好處在於，它與人類為了可維護性本應遵循的實踐一致。軟體工程的未來可能需要重新引入那些我們為了走捷徑而放棄的做法，讓系統發揮最大價值。04. 訓練系統愈加複雜，檢查點設計需同步更新Q：我們現在執行的任務往往耗時更長、佔用更多GPU，而且可靠性不高，經常出現失敗，導致訓練中斷。這一點眾所周知。不過你有提到過，可以重新啟動一次運行，這沒問題。但當你需要訓練具有長期軌跡的Agent時，該如何應對？因為如果軌跡本身俱有非確定性，而且已經進行到一半，就很難真正從頭重新啟動。Greg Brockman：隨著模型能力的提升，你會不斷遇到新問題、解決問題、再遇到新的挑戰。當運行時間很短時，這些問題並不顯著；但如果任務需要運行幾天，就必須認真考慮如何保存狀態等細節。簡言之，隨著訓練系統複雜度增加，這類問題必須受到重視。幾年前，我們主要專注於傳統的無監督訓練，保存檢查點相對簡單，但即便如此，也並非易事。如果要從“偶爾保存檢查點”轉為“每一步都保存”，就必須嚴肅考慮如何避免資料複製、阻塞等問題。在更複雜的強化學習系統中，檢查點仍然重要，例如保存快取以避免重複計算。我們的系統有個優勢：語言模型的狀態相對明確，易於儲存和處理。但如果連線的外部工具本身有狀態，就可能無法在中斷後順利恢復。因此，需要端到端地規劃整個系統的檢查點機制。或許在某些情況下，中斷並重啟系統、讓結果曲線出現一些波動是可以接受的，因為模型夠智能，可以應付這種情況。我們計畫推出的新功能，就是允許使用者接管虛擬機，保存其狀態後再恢復運作。05. 做AGI不只做軟體，還需同步打造超級計算機黃仁勳：真希望我能在現場親自向你提問。在這個新的世界裡，資料中心的工作負載和AI基礎設施將變得極為多元。一方面，有些Agent進行深度研究，負責思考、推理和規劃，並且需要大量記憶體；另一方面，有些Agent需要盡可能快速地做出回應。如何建構一個AI基礎設施，使其既能高效處理大量預填充任務、大量解碼任務以及介於兩者之間的工作負載，同時又能滿足那些需要低延遲、高性能的多模態視覺和語音AI的需求？這些AI就像你的R2-D2（星際大戰中的機器人），或你的隨時可用的伴侶。這兩類工作負載截然不同：一種超級運算密集，可能運行很長時間；另一種要求低延遲。未來理想的AI基礎設施是什麼樣的呢？Greg Brockman：當然，這需要大量的GPU。如果我要總結的話，老黃希望我告訴他應該建造什麼樣的硬體。有兩類需求：一類是長期、大規模運算需求，另一類是即時、即時運算需求。這確實很難，因為這是一個複雜的協同設計問題。我是做軟體出身的，我們最初以為只是在開發AGI（通用人工智慧）軟體，但很快就意識到，要實現這些目標，就必須建造大規模的基礎設施。如果我們想打造真正改變世界的系統，可能需要建造人類歷史上最大的計算機，這在某種程度上是合理的。一種簡單的做法是，確實需要兩類加速器：一種追求運算效能最大化，另一種追求極低延遲。在一類上堆疊大量高頻寬記憶體（HBM），另一類上堆疊大量運算單元，這樣就基本解決問題。真正難的是預測兩類需求的比例。如果平衡失誤，部分機群可能會變得無用，這聽起來很可怕。不過，由於這個領域沒有固定規則和約束，主要是最佳化問題，如果工程師資源配置出現偏差，我們通常也能找到辦法利用這些資源，儘管可能付出較大代價。例如，整個產業都在轉向混合專家模型（Mixture-of-Experts）。某種程度上，這是因為部分DRAM閒置了，我們就利用這些閒置資源增加模型參數，進而提高機器學習運算效率，而不會增加額外運算成本。所以，即使資源平衡出錯，也不至於造成災難。加速器的同質化是一個很好的起點，但我認為，最終為特定用途定製加速器也是合理的。隨著基礎設施資本支出達到驚人的規模，對工作負載進行高度最佳化也變得合理。但業界還沒有定論，因為研究發展速度非常快，而這又在很大程度上主導了整個方向。06. 基礎研究正在回歸，演算法取代資料、算力成為關鍵瓶頸問：我本來沒有打算問這個問題，但你提到了研究。你能對GPT-6擴展過程中面臨的瓶頸進行排名嗎？計算、資料、演算法、電力、資金。那幾個是第一和第二？ OpenAI最受限於那一個？Greg Brockman：我認為，我們現在正處於一個基礎研究回歸的時代，這令人非常興奮。曾經有一段時間，人們的關注點是：我們有了Transformer，那就不斷擴展它。在這些明確的問題中，主要任務只是提高指標，這固然有趣，但在某種程度上也令人感到在智力上不夠具有挑戰性，不讓人滿足。人生不應只有「Attention is All You Need」原始論文的思路。如今，我們看到的情況是，隨著算力和資料規模的快速擴展，演算法的重要性再次凸顯，幾乎成為未來進步的關鍵瓶頸。這些問題都是基礎而關鍵的環節，雖然在日常看起來可能有些不平衡，但從根本上，這些平衡必須維持。看到強化學習等典範的進展非常令人振奮，這也是我們多年來有意識投資的領域。當我們訓練GPT-4時，第一次與它互動時，大家都會想：「這是AGI嗎？」顯然還不是AGI，但又很難明確說明為什麼不是。它表現得非常流暢，但有時會走上錯誤的方向。這說明可靠性仍是一個核心問題：它從未真正體驗過這個世界，更像是一個唯讀過所有書籍或僅透過觀察世界來瞭解的人，與世界隔著一扇玻璃窗。因此，我們意識到需要不同的範式，並持續推動改進，直到系統真正具備實際能力。我認為，這種情況至今仍然存在，還有許多明顯的能力缺口需要彌補。只要持續推進，我們終將達到目標。07. 「多樣化模型庫」逐漸成形，未來經濟將由AI驅動黃仁勳：對於在場的AI原生工程師來說，他們可能在想，未來幾年，OpenAI將擁有AGI（通用人工智慧），他們將在OpenAI的AGI之上建立特定領域的Agent。隨著OpenAI的AGI變得越來越強大，他們的開發流程又將如何改變？Greg Brockman：我認為這是一個非常有趣的問題。可以從非常廣泛的角度去看，觀點堅定但互不相同。我的看法是：首先，一切都有可能。也許未來AI會強大到我們只需讓它們編寫所有程式碼；也許會有在雲端運行的AI；也許會有許多特定領域的Agent，需要大量客制化工作才能實現。我認為趨勢正在朝著這種「多樣化模型庫」的方向發展，這非常令人興奮，因為不同模型有不同的推理成本，從系統角度來看，蒸餾技術發揮得很好。實際上，很多能力來自於一個模型能呼叫其他模型的能力。這將創造大量機會，我們正走向一個由AI驅動的經濟。雖然我們還未完全到達，但跡像已經顯現。目前在場的人正在建造這一切。經濟系統非常龐大、多樣且動態。當人們設想AI的潛力時，很容易只專注於我們現在在做的事情，以及AI與人類的比例。但真正重點是：如何讓經濟產出提升10倍，讓每個人都能獲得更大收益？未來，模型將更加強大，基礎技術更完善，我們將用它做更多事情，進入門檻也將更低。像醫療領域，不能簡單應用，需要負責任地思考正確做法；教育領域涉及家長、教師和學生，每個環節都需要專業知識和大量工作。因此，將會有大量機會去建造這些系統，在場的每位工程師，都擁有實現這一目標的能量。 （智東西）

【導讀】 GPT-5還沒發布，GPT-6已經在路上了？微軟工程師曝出，為GPT-6搭建10萬個H100訓練集群，整個電網卻被搞崩。通往AGI大關，還需要破解電力難題。 GPT-6也被電力卡脖子了－部署十萬個H100時，整個電網發生了崩潰！ 就在剛剛，微軟工程師爆料，10萬個H100基建正在緊鑼密鼓地建設中，目的就是訓練GPT-6。 微軟工程師吐槽說，團隊在部署跨區域GPU間的infiniband等級連結時遇到了困難。