AI coding 這條AI 產業今年的主線,在最近這段時間愈發清晰。
除了上周刷屏的程式設計新王Claude Opus 4 ,新版 DeepSeek R1 也把更新重點也放在了程式碼能力,不久前OpenAI 還以30 億美元收購AI 程式設計助手Windsurf,隨後就發佈了程式設計智能體Codex。
這幾天,原Kimi 產品負責人明超平,在和京東打仗的美團,都官宣了AI 程式設計相關的產品。
Reddit 上一位擁有30 多年經驗的C++ 開發者發文表示,Claude Opus 4 解決了一個困擾他四年的Bug,而且是他用過的第一個能做到這件事的AI。
為什麼Claude 在程式設計上的表現如此突出?現在提到Anthropic,大家幾乎就默認它是一家「做程式設計模型的公司」了。但對他們自己來說,這一代模型的真正突破點在那?未來又會怎麼走?
幾天前,Claude Opus 4 核心研究員Sholto Douglas 參與的一場播客對話,詳細回應了這些問題,資訊量很大,值得一聽。
核心討論點(省流速看版):
首先是能力升級得非常均衡。
一方面,它的程式碼執行力顯著增強,不僅能理解複雜需求,還能獨立尋找資料、運行測試、偵錯錯誤,真正具備了「從頭跑到尾」的能力。另一方面,任務時間跨度也被顯著拉長,支援多步驟推理和操作,這意味著它不僅聰明,而且很能堅持。
而在架構上,Claude Opus 4 加入了工具呼叫與長期記憶模組,使得它能夠處理更具上下文連續性的任務。從程式碼助手,邁向了具備「解決方案設計」能力的智慧代理。
當然,天花板也不是沒有。
團隊坦言,完成任務的智力複雜度沒有明確的上限——難點在於,如何擴大模型能感知和操作的脈絡範圍,使其能夠使用多種工具、記住更多關鍵資訊。
Sholto Douglas 在播客裡提到了幾個明確的方向:
🚀 強化學習(RL)將持續推動模型在連續任務中的表現;
⏳ 程式碼代理將能連續運行數小時,人類只需偶爾干預;
👩💻 模型可能成為知識型崗位的「虛擬遠端員工」;
🤖 若自動實驗室與機器人平台建設跟上,模型可參與真實物理任務,如生物實驗或製造。
但有個前提是:智慧代理的可靠性必須跟得上。
雖然現在還做不到100% 成功,但在限定時間內,成功率正在穩定上升。預計2025 年底,程式設計類智慧代理可望實現「幾個小時穩定跑」,人類只需偶爾檢查。
程式設計只是模型能力的「領先指標」。醫學、法律等專業領域還在等待資料與工具的完善,一旦準備就緒,同樣會迎來快速突破。目前的瓶頸,不在AI 本身,而在現實世界的驗證機制和基礎設施。
到2027–2030 年,模型幾乎可以自動化所有白領工作,但如果沒有匹配的實驗室和現實反饋機制,那就是「能力強、落地難」。
團隊提到,好的評估系統(Evals)特別重要。它不僅測技術指標,更強調評估者的專業知識與品味。這也是為什麼,模型評測這件事,門檻越來越高。同時,也需要使用者不斷使用、互動和回饋,形成真正的「共進化」。
Douglas 認為,實驗室已通過開放API 帶來機會,但核心優勢仍在:
⚡ 算力轉化能力;
🤝 模型的「可僱傭性」和使用者信任;
🎯 更高的個性化理解力。
實驗室像「智慧引擎」製造商,專注能力極限;應用公司更擅長落地和使用者體驗。未來,二者之間會有越來越多的交叉、融合與競合。
那模型公司會不會因為成本和底層優勢,讓其他公司無路可走? Douglas 的看法是:
不會,相反這恰恰帶來了活力。
他認為,所有的護城河終將被打破,真正重要的是:顧客關係、任務編排、整合體驗。
隨著模型能力提升,「對齊」問題愈加重要。 Anthropic 正推進可解釋性研究,試圖「看懂模型在想什麼」。強化學習雖能提升能力,但也可能破壞現有的對齊機制,未來需依靠大學、政府與更多研究者共同推進「對齊科學」。
原始視訊連結:https://www.youtube.com/watch?v=W1aGV4K3A8Y
以下是訪談實錄,APPSO 編譯略作調整
主持人:Sholto Douglas 是Anthropic Claude 4 模型的核心成員之一,這次和他聊得非常盡興。我們聊了很多話題,包括開發者如何看待Anthropic 這一代新模型的發展趨勢。我們討論了這些模型未來6 個月、12 個月,甚至2 到3 年後的發展走向,也談到了建構可靠AI代理所需的關鍵因素,以及這些模型在醫學和法律等專業領域何時能取得像程式設計領域一樣的突破。此外,Douglas 還分享了他對「對齊研究」的看法,以及他對「AI 2027」預言的反應。這是一場精彩的對話,相信大家會喜歡。
主持人:這期播客上線時,Claude 4 肯定已經發佈了,大家應該已經開始體驗它了。我很好奇,你是最早接觸這些模型的人之一,那方面最讓你興奮?
Douglas: 這確實是軟體工程上的另一個飛躍。 Opus 模型真的在這方面表現得非常出色。我常常會遇到這樣的時刻:我向它提出一個非常複雜的任務,涉及我們龐大的程式碼庫,它居然能幾乎完全自主地完成任務。它會自己去尋找資訊、理解需求、運行測試,整個過程非常獨立有效率。每次看到這種表現,我都覺得震撼。
主持人:每次有新一代模型出來,我們都要重新調整自己的認知模型,去判斷什麼方法有效,什麼不行。你在程式設計中對這些模型的使用和理解有發生什麼變化嗎?
Douglas: 最大的變化我覺得是時間跨度(time horizon)方面的提升。我覺得可以從兩個維度來理解模型能力的提升:一個是任務的智力複雜度,另一個是它們能夠有意義地推理和處理的上下文量,或者說連續動作的數量。這些模型在第二個維度上提升特別明顯,它們真的能執行多步驟操作,判斷需要從環境中獲取那些資訊,然後基於這些資訊採取行動。再加上它能呼叫工具,例如Cloud Code,就不只是簡單複製貼上了,執行力更強了。現在我可以看到它連續工作好幾個小時,效率相當於人類連續勞動。
主持人:那你覺得第一次使用Claude 4 的人,應該從什麼開始嘗試?
Douglas: 我覺得最好的方式是直接讓它參與你的工作。例如你今天打算寫什麼代碼,就直接讓它幫你做,觀察它怎麼判斷資訊、怎麼決定下一步。我保證你會被它的表現驚豔到。
主持人:這代模型更強了,也有不少人打算用它來建構產品。你覺得對開發者來說,新的可能性在那裡?
Douglas: 我一直很喜歡「產品指數成長」(product exponential)這個說法。開發者需要不斷超前模型能力去構思產品。像是Cursor、Windsurf、Devon 這些例子很典型。 Cursor 在模型能力還不夠強時,就已經開始建立未來編碼體驗,直到Claude 3.5 和Sonne 出現,他們的願景才真正落地。而Windsurf 更進一步,佔據了部分市場。他們的成功就是抓住了這個指數成長窗口。
現在你可以看到Claude Code、新的GitHub 整合、OpenAI 的Codecs、Google的編碼代理等等,大家都在圍繞「編碼代理」這個概念發力,目標是實現更高的自主性和非同步操作。未來,可能不再是你每分鐘操作一次,而是你像管理一個AI 模型艦隊一樣,多個模型各自承擔任務並協同工作。我覺得這個方向非常值得探索。
主持人:你有看過類似那種「多模型平行協作」的場景嗎?會是什麼樣子?
Douglas: 我認識很多在Anthropic 的朋友,他們會同時在不同環境裡跑多個Claude Code 實例,看起來挺酷的。但說實話,現在還沒人真正搞清楚這種操作該怎麼做。這其實是在探索人類的「管理帶寬」(management bandwidth)能有多大。我覺得這是未來經濟發展的關鍵問題之一:我們該如何衡量模型的生產力回報率?一開始我們還是得人工檢查模型的輸出,這意味著模型的影響力會被人類管理能力所限制。除非有一天我們可以信任模型去管理模型,這種抽象層級的升級會非常關鍵。
主持人:所以說,如果你是每15 分鐘檢查一次模型,跟每小時、每5 小時檢查一次,那你能管理的模型數量會差很多?
Douglas: 對,黃仁勳說過類似的話。他說自己被十萬個超級智慧AGI 包圍著,擁有巨大的槓桿力。他還說自己是Nvidia 管理鏈條上的「控制因子」。我覺得未來可能真會往這個方向發展。
主持人:說不定未來最重要的產業就是「組織設計」本身了。
Douglas: 對,包括如何建立信任、組織結構會有多複雜,這些都值得深入思考。
主持人:你之前在McKinsey 工作過一年,諮詢業是否也可以基於這些模式發展出新產品線?我也蠻認同你剛才說的:應用公司得比模型進步快一步。像Cursor 起初產品落地難,但模型能力一到位就爆發了。那你覺得,「領先一步」具體意味著什麼?
Douglas: 就是不斷重塑你的產品,讓它始終對接幾個月後模型的最新能力。同時你還要保持和使用者的緊密聯絡,確保產品已經在用,但還能吸收更先進的模型功能。
主持人:我覺得這個就是秘訣──如果你還在等模型再提升點再動手,別人可能已經把使用者搶走了。你們在記憶、指令執行、工具使用這些方面都做了不少突破。你能簡單總結一下目前各方面的進展嗎?那些成熟了,那些還在探索?
Douglas: 一個理解過去一年進展的好方法是:強化學習(RL)終於在語言模型上真正發揮作用了。模型能解決的任務智力複雜度基本上沒有天花板,例如它們能搞定複雜的數學和程式設計問題。但這些任務大多在受限的上下文裡完成。記憶和工具使用的挑戰,其實在於擴大模型能感知和操作的脈絡範圍。
例如像MCP(Model Context Protocol)這類機制,讓模型可以與外部世界互動,記憶則讓它處理更長時間跨度的任務,也帶來了更個性化的體驗。這些進展本質上都是在建構「智能代理」的關鍵能力鏈。順便一提,寶可夢評測(Pokemon eval)就是一個挺有趣的實驗方式。
主持人:我小時候可是遊戲迷。我覺得這是個很棒的評測,希望你們能跟這個模型一起發表。
Douglas: 確實,這次評測特別有趣。模型並沒有專門訓練玩寶可夢,但它依然能很好地完成任務,展現出很強的泛化能力。這種任務雖然不是完全陌生的,但和它以前做過的都不一樣。
主持人:我還記得遊戲裡有很多階梯和迷宮,模型也能幫你過關。
Douglas: 沒錯,我特別喜歡的另一個例子是我們最近做的「可解釋性代理」。它原本是一個程式設計代理,但卻能自動學習、使用神經元可視化工具、進行自我對話,試圖理解模型內部結構。它甚至能通過一個叫做「審計遊戲」的安全評測——找到模型故意設定的錯誤點,自己產生假設、驗證問題。這種工具+記憶下的泛化能力,真的非常精彩。
主持人:聽起來智慧代理真的越來越強大了。你以前也說過,VA 代理的關鍵是「可靠性」。你覺得我們現在在那個階段了?
Douglas: 從「在一定時間內的成功率」來看,我們已經進步很大了。雖然還沒有達到100% 的穩定性,模型第一次嘗試和多次嘗試之間仍有差距。但從趨勢來看,我們正在朝著「專家級可靠性」穩步邁進。
主持人:那你覺得,什麼情況會讓你改變這種樂觀的看法?
Douglas: 如果明年中模型在任務持續時間上遇到瓶頸,那值得警惕。例如,程式設計是個很好判斷進展的領先指標——一旦它開始下滑,說明可能有結構性問題。當然,也可能是資料太稀缺,例如「像人一樣用軟件」這類任務訓練起來很難。不過我們現在反而看到這類任務的驚人進展,所以整體看我還是很樂觀。
主持人:那你覺得我什麼時候能有一個「萬能助手」,可以替我填寫各種表格、上網查資料之類的?
Douglas: 「個人行政助理代理」是個熱門話題啊,誰不想把瑣事交給AI 呢?不過這件事還真得看情況關鍵是模型有沒有練習過類似情境。你不能隨便找個人來做財務工作,對吧?但如果它是受過訓練的「虛擬會計師」,那就靠譜多了。所以任務是否靠譜,很大程度取決於訓練背景。如果進展順利,今年底我們就能看到這些代理在瀏覽器裡操作任務;明年基本上就會成為標配。
主持人:挺令人期待的。你們模型在程式設計上的表現這麼突出,是刻意優先訓練的嗎?現在大家一提Anthropic,就會聯想到「程式設計模型」。
Douglas: 確實。我們非常重視程式設計這個方向,因為它是加速AI自我研究的關鍵路徑。我們也投入很多精力在衡量程式設計能力的進展。可以說,我們就是刻意聚焦在這一塊。
主持人:那這些代理現在已經在加速AI 研究了嗎?
Douglas: 在我看來,確實如此。它們顯著提升了工程效率。就連我認識的一些頂尖工程師也說,在熟悉的領域裡,效率提升了1.5 倍;但在不熟悉的領域,例如新語言或生疏內容,提升甚至達到5倍。所以在「跨界」時,幫助更明顯。關鍵在於:你是否認為我們現在的瓶頸是算力?如果不是,那讓AI 代理參與研究,相當於擴充了一整個研究團隊,效率提升是數量級的。
主持人:我猜這些代理商主要還在處理繁瑣任務,幫你省下時間思考更重要的問題。那麼它們什麼時候能開始主動提出有價值的研究想法呢?
Douglas:現在主要還是做工程類任務,但已經開始有些創意冒頭了。我不敢說三個月內會爆發,但兩年內我們應該能看到它們提出越來越有趣的科學性想法。當然,這也取決於是否有良好的回饋機制。就像人一樣,模型也需要通過練習和試錯,在復雜任務中掌握知識,最終實現高品質產出。
主持人:是因為這些領域相對來說比較容易驗證對吧?會不會出現這種情況── AI 在程式設計上突飛猛進,但在醫學、法律這些不容易驗證的領域卻沒什麼進展?
Douglas: 確實有這個風險。但好消息是,機器學習研究本身驗證門檻也很低,例如「損失值有沒有下降」就是一個很明確的指標。只要模型能在ML 研究中提出好點子,那它就掌握了一個非常強的RL 任務,比許多軟件工程任務還適合AI。醫學這類領域雖然難驗證,但也在進步。 OpenAI 最近做了一篇醫學問答論文,透過更細緻的評分機制來量化長答題,這種方法我覺得很有前景,未來必然會逐步解決驗證難的問題。
主持人:那「最終」是指什麼時候我們能擁有一個真正優秀的醫學或法律助理?它們會成為大模型的一部分嗎?
Douglas: 肯定會的。
主持人:你是覺得它們會變成更大的通用模型的一部分?還是會有專門為醫療或法律設計的專用模型?
Douglas: 對。我算是個「大模型至上主義者」。雖然個性化很重要——你希望模型理解你的公司、工作習慣、個人偏好,但這些定製應該是在公司或個人層面進行,而不是按行業拆分模型。我們和Databricks 的合作就體現了這種企業訂製的方向,但在底層能力上,我堅信還是得依賴單一強大的通用模型。未來我們應該根據任務複雜度動態分配算力(例如FLOPs),而不是搞一堆不同的小模型。這就是我看好大模型路線的原因。
主持人:你對模型的持續進步很有信心。很多人都在想,模型能力提升後會如何影響社會?例如一個常見的問題是:這些模型未來幾年會對全球GDP 產生多大影響?
Douglas: 我覺得最初的衝擊可能會像中國崛起一樣,像上海幾十年的變化,但這一次的速度會快得多。不過我們得區分一下不同領域的影響方式。到2027 或2028 年,我們幾乎可以確定會有模型能夠自動化幾乎所有白領工作,2030 年前後就更穩了。這是因為白領任務非常適合現有AI架構——有數據、有回饋,而且基本上都能在電腦上完成。
但機器人或生物研究就完全不一樣了。例如你要做一個超級程式設計師模型,只需要大量程式碼和算力就行;但要做一個超級生物學家模型,就需要自動化實驗室來提出、驗證假設,跑大規模實驗。這類硬體和基礎設施,我們還遠遠跟不上。
所以我擔心會出現一種「錯配」:白領工作的變化非常快,而現實世界中那些真正能提升人類生活品質的行業——比如醫療、製造業——卻因為基礎設施不足而發展緩慢。 AI本身很強,但要讓它在現實世界裡發揮作用,我們必須提前建造「物理世界的配套設施」,例如雲端實驗室、機器人平台。
主持人: 但到那個時候,我們可能已經有數百萬個AI研究員在提出實驗了。他們可能並不需要那麼大規模的機器人系統或生物資料。
Douglas: 確實,AI 進展飛快,但要讓這些能力真的轉化為GDP 成長,我們得把「現實世界的回饋機制」也拉上來,才能真正釋放技術價值。
主持人:所以你認為,未來每一種白領職業都能像醫學一樣建構一套評估機制?其實讓我最驚訝的一點是,我們不需要太多資料,也能訓練出這麼強的模型。
Douglas: 完全同意。我們已經證明了模型可以學會各種任務,而且目前還沒有看到明顯的智力上限。雖然模型的樣本效率可能不如人類,但這不重要──因為我們可以同時運行上萬個模型副本,它們平行嘗試不同路徑,累積「虛擬經驗」。即使效率低一點,也能在規模上補回來,最終達到人類等級甚至更強。
主持人:聽起來你覺得目前這套方法就足以應對未來的發展。有人認為我們還需要新的演算法突破,你怎麼看?
Douglas: 目前大多數AI專家都相信,「預訓練+ 強化學習」(pre-training + RL)這一範式足以通往通用人工智慧(AGI)。到現在為止,我們並沒有看到這一路線出現減緩的跡象,而這個組合是有效的。當然,也有可能存在其他更快的突破路徑,甚至可能還有新的「高峰」需要攀登。例如,Ilya(Sutskever)可能是這兩種主流範式的共同發明者,我不會去質疑他。所有的證據都表明,目前的技術路線已經足夠強大。當然,也有可能Ilya 選擇新路線是因為資金有限,或者他認為那是更好的路徑,但從我個人的角度來看,我相信我們現在的技術路線能夠帶我們實現目標。
主持人:那接下來的瓶頸會不會就是能源?你覺得我們什麼時候會真正遇到這個問題?
Douglas: 我覺得到2028 年,美國可能會有20% 的能源用於AI 。如果我們要再提升幾個數量級,就需要進行劇烈的能源結構轉型。政府在這一領域應該承擔更多責任。例如,中國的能源產能成長遠超過美國,所以這會是未來的關鍵瓶頸。
主持人:在模型進步的浪潮中,你認為最值得關注的指標是什麼?例如從Claude 4 到下一代模型的發展方向?
Douglas: 很多公司內部都有非常嚴格的評測體系,我也很喜歡在這些評測上「爬山」。像「Frontier Math」這樣的複雜測試非常有挑戰性,是模型智力的極限。更重要的是,我們需要開發能真正捕捉「工作流程時間跨度」的評測,涵蓋一個人一天的工作節奏。這種評測能幫助我們更好地評估模型是否接近或超越人類能力。我認為政府應該在這個領域發揮作用。
主持人:作為一個基礎模型公司,除了演算法和基礎設施,你們要攻克的核心挑戰之一也應該是建構好的評測體系。你覺得「評測能力」在你們內部的重要性如何?
Douglas: 評測能力絕對是重中之重。沒有好的評測體系,你無法知道自己是否進步。公開評測很難做到完全「持出」(held-out),我們依然需要一個值得信賴的、穩定的內部評測系統。
主持人:我還注意到,一些在你們模型上建立應用的開發者,他們對評測的思考也非常有幫助。特別是當你們想進入不同垂直行業時,例如物流、法律、財會等,外部開發者的回饋可能比你們內部更理解實際情況。
Douglas: 沒錯,而且這還要求非常強的專業知識和「品味」(expertise and taste),還要有對行業的深刻理解。過去,我們只需要普通人來選擇那個答案比較好,但現在我們需要領域專家來做評估。例如,如果讓我評判生物學領域的模型輸出,我可能完全無法判斷那個更好。
主持人:你剛才提到「品味」(taste),我也覺得很有趣。例如現在很多模型都開始加入記憶系統,使用者和模型之間的互動方式也在改變。許多AI 產品真正成功,是因為它們找到了某種「共鳴」或抓住了某種文化氣質(zeitgeist)。像你們當初提到的金門大橋的例子,還有其他很多帶感的小功能,這種「使用者氛圍感」的個性化未來會走向什麼樣?
Douglas: 我其實覺得未來可能會出現一種「怪異的」情景:你的模型變成你最聰明、最有魅力的朋友之一。確實有些人已經把Claude 當成朋友了,我認識很多人每天花好幾個小時在跟Claude 聊天。但我覺得我們目前其實只探索了「個性化」這件事的1%。未來模型對你的理解、對你喜好的把握,會深得多。
主持人:那這種「理解使用者」的能力該怎麼做得更好?是靠一些很有審美、有判斷力的人來訓練出這種品味嗎?這個問題該怎麼解決?
Douglas: 很大一部分確實是靠「有品味的人」來決定產品方向。就像Claude 的對話體驗好,很大程度是因為Amanda(團隊成員)對「美好產品」的審美非常強。這種「獨特的品味」是非常關鍵的。傳統的回饋機制例如「點贊/點踩」容易導致模型輸出不自然,所以我們需要新的方式來收集回饋。模型本質上是強大的「模擬器」,如果能為模型提供足夠的使用者上下文,它們就能自動學會理解使用者的偏好、語氣和風格。所以,解決方案是結合有品味的人的設定和使用者與模型之間的持續互動。
主持人:那麼接下來6 到12 個月,你的預判是什麼?
Douglas: 接下來,重點是繼續擴展強化學習(RL)系統,看它能將我們帶到什麼高度。模型能力會飛速提升,尤其是到年底,代碼代理將成為關鍵指標。到那時,模型應該能夠持續工作幾個小時,並穩定地完成任務。
主持人:你指的是,人類檢查時間會變得更少,對吧?
Douglas: 是的,當前使用Claude Code 時,有時每幾分鐘就需要檢查一次,但到年底,我們可能能看到模型能獨立完成多個小時的任務,而不會出錯。未來我們應該能實現「完全託管」,甚至像「星際爭霸」一樣管理多個任務平行推進,模型的操作速度將更有效率。
主持人:你剛才提到了Codec、Google的Joule,還有一些新創公司也在做類似的東西。
Douglas:是的,我們其實也要推出一個GitHub 代理(GitHub agent)。你可以在GitHub 上的任何地方呼叫,例如說「@Claude」,然後我們就能自動接手任務,為你完成一些工作。
主持人:開發者選擇使用那一種工具或模型,最終會受到那些因素的影響?
Douglas:除了模型的能力外,開發者與公司之間的信任和關係也非常重要。隨著模型能力的拉開差距,開發者可能會考慮不僅是技術指標,而是與公司一起打造未來的使命感。
主持人:尤其是在當前發布節奏越來越快的背景下,感覺每個月都會有新模型登場。今天這個模型在某個評測上登頂,明天另一個又在別的評測上領先,大家都被各種對比資訊淹沒了。
Douglas:沒錯,其實這就是為什麼「GPT包裹器」(GPT wrappers)反而意外走紅了。大家原本沒想到,當包裹器的好處之一是:你可以永遠站在最前線的模型能力上。
主持人:我感覺所有不想當「包裹器」的人,最後都像是把錢燒光了。
道格拉斯:完全同意。所以「衝浪」在模型能力的最前沿,是一件非常美妙的事。當然,也有相反的一面:有些東西,只有你掌握底層模型才能預判得出來,才能看清趨勢線,才能真正建構深度產品。比如說,很多「深度研究型」的AI應用,內部需要做大量的強化學習(RL)訓練,這種產品從外部是很難模仿的,必須在實驗室內部建構。
主持人:能不能展開說一下這點?因為現在像OpenAI、Anthropic 這些公司,似乎也越來越開放,讓外部開發者可以參與。但很多人心裡都在想:那些東西是「實驗室專屬」的?那些又是開放給大家、任何人都可以競爭的?
Douglas:這是個很關鍵的問題。 RT API(可微調API)的開放確實在改變一些格局,現在有更多價值可以由專注於某一垂直領域的公司來創造。但與此同時,實驗室仍具備「中心化優勢」。
例如,OpenAI 會給允許他們在你模型輸出上繼續訓練的客戶提供某些折扣。換句話說,他們不僅是模型提供者,也是資料的二次使用者。這種中心化優勢是非常強的。
至於「實驗室獨有優勢」是什麼?我覺得有幾個維度:
算力轉換能力:你有多強的能力能把算力(FLOPs)、資金、資源,轉化成智能(Intelligence)?這就是為什麼Anthropic、OpenAI、DeepMind 等公司在模型表現上非常突出;
模型的「可僱傭性」:當模型逐漸變成「虛擬員工」,你是否信任它?你是否喜歡它?你是否願意把任務交給它處理?
個性化能力:模型能否理解你的脈絡、你公司的工作流程、你個人的偏好,這些也會變成差異化競爭的關鍵。
總結來說,實驗室級公司最擅長的,是做出頂級模型,把算力轉化成智慧;而「應用層」的公司,可以透過專注、個性化、產品體驗,在自己的領域佔據一席之地。但兩者之間會有越來越多的交叉和協作。
主持人:我猜,你們的模型也有很多人用來建構通用代理吧?這些公司不做模型本身,而是透過編排和智慧鏈呼叫來做事。你覺得這種方式會不會因為模型公司的成本優勢而註定失敗?
Douglas:我並不認為這是一件壞事。相反,這種做法帶來了極大的競爭活力,大家都在探索什麼樣的產品形態最適合。確實,模型公司有一些優勢,例如我們能直接接觸底層模型,做更深入的微調,而且知道那些能力值得優先強化。說到底,所有的「護城河」最終都會消失——當你可以「隨時啟動一家公司」的時候,一切都會被重構。所以未來最核心的價值在那裡?是在客戶關係?在編排和整合能力?還是在把資本高效轉化為智慧的能力?這仍然是個複雜的問題。
主持人:過去一年裡,有什麼你改變看法的了嗎?
Douglas:在過去的一年,AI 進展加速,去年我們還在懷疑是否需要更多的預訓練算力才能達到理想中的模型能力,但現在已經有了明確的答案:不需要。強化學習(RL)證明了有效,到2027 年,擁有強大能力的「遠端數字勞工型」模型將變得確定。以前對AI的“希望”和“擔憂”從“可能”轉變為“幾乎確定”。
主持人:那你覺得未來我們還需要大量擴展資料規模嗎?還是說,等到Claude 17 出來,模型演算法已經改進到只需要少量新資料?
Douglas:很可能我們不再需要大幅擴展資料規模,因為模型的「世界理解能力」會足夠強,甚至能反過來指導機器人學習並提供回饋。有個概念叫做「生成者-驗證者差距」(generator-verifier gap),生成內容通常比執行它容易。這個路徑會持續提升模型能力。在機器人領域,認知的進展遠超物理操控世界的能力,這就是未來巨大的潛力。
主持人:那你怎麼評價當前「AI對齊(Alignment)研究」的狀態?
Douglas:可解釋性(Interpretability)研究已經取得了驚人的突破。去年我們剛開始理解「超位置」(superposition)和神經元特徵,Chris Olah 及其團隊的工作就是一個巨大飛躍。現在,我們已經能在前沿的大模型中識別出「電路級」的結構和行為特徵。有一篇精彩的論文研究了大語言模型的「生物學」,展示了它們如何清晰地推理概念。雖然我們還沒有完全破解模型的行為機制,但已經取得了令人驚嘆的進展。
不過,值得注意的是,透過預訓練,模型能吸收並表現出人類的價值觀,某種程度上是「默認對齊」的;但一旦進入強化學習階段,這種對齊就不再得到保證。例如之前提到的「明知做不到就去下載Python 庫繞開的模型」,它是在目標導向下「想盡一切辦法完成任務」。這種學習過程本質上是「以目標為導向的手段優化」,而如何監督和把控這種模型行為,是目前所有人都在探索的重要挑戰。
主持人:大概一個月前,「AI 2027」的話題被討論得很多。當時看到這個的時候,有什麼反應?
Douglas:說實話,我覺得它非常可信。我讀那篇文章的時候,很多內容我都在想,「是的,也許事情真的就是這樣發展的。」 當然也存在一些分支路徑,但即使它只是個20% 的可能性,對我來說光是它有20% 的機率這件事就已經夠驚人了。
主持人:你說20% 的可能性,是因為你對對齊(alignment)研究比較樂觀,還是你認為進展會比較慢一點?
Douglas:整體上我對對齊研究比他們更樂觀。也許我的時間線比他們慢一年左右,但在這種大趨勢下,一年能算什麼呢?
主持人:取決於你怎麼利用這一年。
Douglas:對,如果你能充分利用它,做出正確的研究,確實能產生很大差異。
主持人:那如果讓你當一天的政策制定者,你覺得我們應該做些什麼,來確保未來朝著更好的方向發展?
Douglas:這是個好問題。最重要的是,你得真切感受到我們這些人正在看到並討論的趨勢線。如果沒有,你就要把國家關心的能力拆解開來,量化模型能否改進這些能力的程度,比如做一系列測試,看看如果模型能通過這些測試或在這些任務上取得顯著進展,那麼它就達到了某種智能的基準值,然後畫出趨勢線,看看在2027 或2028 年會發生什麼。
主持人:就像國家級的評估系統(nation-state evals)?
Douglas:對,例如你要把本國的經濟分解成所有的工作崗位,然後自問:如果一個模型可以完成這些工作,那這是不是就意味著它具備了真正的「智能」?你應該建立評估測試,把趨勢線畫出來,然後驚呼:「天那,那2027 或2028 年會怎麼樣?」下一步就是你要大規模投資於能讓模型更可理解、可引導、誠實可靠的研究,也就是我們說的對齊科學(alignment science)。有一點讓我感到遺憾──這個領域的推動大多來自前沿實驗室(Frontier Labs)。但其實我認為這本該是…
主持人:那其他人能參與嗎?例如能用Claude 來做相關研究嗎?
Douglas:不能。我的意思是,你仍然可以透過其他方式取得巨大進展。有一個叫做MAS 計劃的項目,很多人透過它在對齊研究、特別是可解釋性方面做出了有意義的成果,都是在Frontier Labs 之外完成的。我覺得應該有更多的大學參與這件事情。從很多方面來看,這其實更接近純科學:它是在研究語言模型中的「生物學」和「物理學」。
主持人:但感覺這塊的研究熱度不高。
Douglas:我不確定。我聽說在最近的一些會議上,例如ICML,機械可解釋性(mechanistic interpretability) 研討會居然沒有被收錄,這對我來說完全無法理解。在我看來,這就是對「模型內部機制」最純粹的科學探索。如果你想發現DNA 的螺旋結構、或像愛因斯坦那樣發現廣義相對論,那麼在機器學習/人工智慧這條技術樹上,對應的路徑就是研究機械可解釋性。
主持人:那說說積極面吧。我們之前說未來幾年白領工作都會被自動化,但你覺得我們在那些方面還被低估了?
Douglas:是的,模型肯定會自動化白領工作,但讓我吃驚的是,世界在整合這些技術方面進展得很慢。即便模型能力不再提升,現有能力就已經能釋放巨大的經濟價值,但我們還沒有真正圍繞這些模型重構工作流程。即便模型保持現狀,我們也能徹底改變世界。
Douglas:這需要我們投資真正能讓世界變得更好的方向,例如推動物質資源的充足和高效管理,擴大物理學、娛樂產業的邊界等,並讓模型幫助我們實現這些目標。我的最大希望是讓人們更有創造力,能夠即興創造更多內容,如電視劇、電子遊戲等。人們將獲得巨大的賦能,未來將有無限可能。雖然模型會取代一些工作崗位,但每個人都會擁有更強的槓桿能力,社會的工作模式會發生巨變。
主持人:你覺得現在AI 圈裡,那些東西被高估了,那些被低估了?
Douglas:好,那我們先說被低估的。我覺得「世界模型(world models)」非常酷,但我們今天都沒怎麼討論它。隨著AR/VR 技術的進步,模型將能直接生成虛擬世界,這將帶來震撼的體驗。
主持人:那需要一定的物理理解力吧,像是因果關係這些,我們現在還沒做到吧?
Douglas:其實我覺得我們已經在某種程度上證明了模型具備物理理解能力。不管是在處理物理問題的evals 中,還是在一些視頻模型中都能看到這一點。例如我看過一個很棒的視頻,有人讓視頻生成模型把一個樂高鯊魚放到水下——它模擬了光線在樂高積木表面反射的樣子,陰影也放在了正確的位置。而這完全是模型從未見過的場景,是一次完整的泛化。這就是全面的物理建模能力了,對吧?
主持人:你說即使現在模型停滯,依然能有大量應用開發。那些領域最被低估,尚未開發?
Douglas:軟件工程領域已經很成熟,模型在程式設計上非常擅長。而幾乎所有其他領域,如法律、財會等,仍有巨大空間等待開發。尤其是智慧代理的應用,還沒有出現真正的非同步運行系統。其他領域空白,值得探索。
主持人:人們常說程式設計是這些模型最理想的應用方向。
Douglas:沒錯,它是個領先指標。但你應該預期,其他領域都會跟上來的。
主持人:我記得你發過一張自己在Citadel 的照片,那是怎麼回事?
Douglas:那是一場戰爭演習,邀請了情報機構和軍校學員模擬推演,假設AGI 到來,AI 變得強大,討論其地緣政治影響。
主持人:那次經歷之後你是更害怕了還是安心了?
Douglas:說實話,有點更害怕了。
主持人:你覺得現在這類嚴肅的推演做得夠多了嗎?
Douglas:不夠,很多人低估了接下來幾年技術發展的速度,也沒做好準備。即便你認為某件事只有20% 的可能性,也應該為此做好準備。每個技術鏈路的效率都還有巨大提升空間,未來目標幾乎是可以確定的。
主持人:就像現在幾乎所有Anthropic 的人都已經達到了90% 的信心值?
Douglas:幾乎所有團隊成員都非常有信心,到2027 年我們能實現「遠端即插即用的AGI 工作者」。即便信心較低的人也認為可能性有10-20%。因此,政府應當把這當作優先事項,並認真思考其社會影響。但目前這種緊迫感還遠遠不足。 (APPSO)