大模型開閉源之爭,爭的是什麼?


爭論並不能否定彼此的市場價值,兩種市場需求會長期共存

今年以來,中美兩國AI(人工智慧)產業的企業家、投資者、創業者同時掀起了一場爭論:大模型到底應該開源,還是應該閉源。

在中國,爭論的焦點人物是百度創始人李彥宏。今年4月他公開表示,“大家以前用開源覺得開源便宜,其實在大模型場景下,開源是最貴的。開源模型會越來越落後。”這一觀點不乏反對聲音。反對者包括阿里雲CTO(首席技術官)周靖人、百川智能CEO(首席執行官)王小川、獵豹移動CEO傅盛。今年5月周靖人在一次媒體群訪中直言,“開源對全球技術及生態的貢獻毋庸置疑。這在全球範圍內被多次證明,已經沒有再討論的必要。”

在美國,爭論更激烈。特斯拉創始人馬斯克一度起訴AI創業公司OpenAI。馬斯克2015年曾是OpenAI主要創始人、投資人之一。他認為,現任CEO奧特曼領導的OpenAI違背了“以非營利組織運作,要讓AI開源開放”的承諾。矽谷兩位著名投資者,a16z創始人安德里森、凱鵬華盈創始人柯斯拉在社交媒體多輪交鋒。前者認為閉源模型會導致巨頭壟斷,破壞學術研究。後者認為大模型是經濟武器,不應該開源。



開源,是一種軟體開發模式——原始碼免費公佈,靠社區捐贈存活。開發者可以自由下載、修改、分發,反饋軟體Bug(軟體缺陷或錯誤),提出最佳化建議。這種集體創新會加速軟體迭代。開源模型,指可免費使用,公佈了模型參數等技術細節的模型;閉源模型,指要付費且未公佈技術細節的模型。簡單理解,開源約等於免費,但要自己買菜做飯;閉源約等於付費,相當於去餐廳吃飯,能有更好的服務。

大模型到底應該開源,還是應該閉源?這其中摻雜了商業利益、技術觀點等因素,以至於很多事實被混淆了——但這場爭論背後有幾個確定的事實。

其一,不同的商業策略,讓企業選擇了不同的技術路線。百度、OpenAI等希望大模型業務快速商業化的企業,選擇了閉源;阿里雲、Meta等靠雲端運算或廣告業務盈利的企業,選擇開源做大蛋糕。

其二,開源、閉源兩種市場需求會長期共存,無法簡單判斷孰優孰劣。開源、閉源模型有各自的適用場景,選擇那種模型和市場需求有關。這不會隨模型廠商的意志而變化。

其三,開源模型、開放原始碼軟體有本質區別。開放原始碼軟體公佈了原始碼和大部分技術細節。開源模型更像一個免費的技術黑箱——開放了模型參數,但很少開放原始碼、訓練資料、訓練過程等技術細節。

另外,中國AI產業的開閉源之爭,更多是商業競爭。開源無國界,這個理念已經被普遍認同。但在中美AI產業博弈加劇的背景下,美國產業界反對開放原始碼的聲音越來越大。

01 誰在開源,誰在閉源?

大模型發展尚處早期,仍需探索試錯。開源、閉源並非涇渭分明。企業面對開源、閉源的選擇題時,走出了三條不同的路。


最極端的是,只做開源模型。走這條路的企業比較少,Meta是少數之一。好處是會吸引更多使用者,問題是沒有盈利模式,只有大公司燒得起。

Meta旗下的Llama 3是全球使用者最多的開源模型。Meta的主營業務是社交媒體(如Facebook、Instagram),2023年淨利潤高達390億美元。Meta既有探索新業務的衝動,又沒有靠模型盈利的壓力。因此,它可以只做開源模型,暫時不考慮盈利問題。

一條中間路線是開源、閉源平行,這條路很靈活。企業既能靠開源獲取使用者,又能靠閉源獲取收入;既給了開發者選擇空間,企業自己也有容錯空間。

選這條路的企業包括微軟、Google、阿里雲、騰訊雲,以及Mistral Al、智譜AI、百川智能等AI創業公司。開源、閉源平行的常見做法是,用免費的開源模型吸引使用者,引導使用者使用尺寸更大、性能更強的閉源模型。比如,微軟主力商業化模型是OpenAI旗下的GPT-4系列,但也開源了小模型Phi-3 Mini;阿里雲開源了5億-1100億參數的十餘款模型,還同時提供閉源的基礎大模型、行業模型;Google開源了Gemma系列小模型,還提供閉源的Gemini系列基礎大模型;Mistral Al等創業公司開源了上代性能落後的模型,引導使用者付費使用本代性能更強的模型。

開源、閉源平行的問題是,商業化有時會左右手互搏。一些客戶用了免費的開源模型,就不會再用付費的閉源模型。模型廠商會因此失去一部分收入。

一位中國AI軟體服務商技術人士今年7月對《財經》表示,他們近期用阿里雲的通義千問開源模型(Qwen2)二次訓練微調,服務了一個地方城市旅遊局。這筆訂單超過千萬元,他們是受益者,但阿里雲沒有收入。《財經》查詢了Github(全球最大程式碼託管平台)上Qwen2的許可協議。協議顯示“無需提交商業使用請求”。也就是說,Qwen2被訓練微調後商用無需付費。

開放原始碼的長遠價值是,做大模型市場蛋糕。一位阿里雲人士對《財經》表示,使用者修改開源模型拿去商用很正常,做開源就要有這個準備。阿里雲雖然暫時沒有吃到所有蛋糕,但做大了行業蛋糕。長期來看,最終還是會受益。大模型被政府、大中小企業、開發者等不同客戶廣泛使用時,才會出現化學反應。大模型產業要建立生態,形成增長飛輪。阿里雲旗下AI開源社區魔搭ModelScope可以看到這一趨勢。截至今年7月,魔搭社區有超過560萬開發者,5500多款優質模型和上千資料集,是中國最大的開源模型社區。

一種更樂觀的觀點認為,開源、閉源甚至可以成上下游關係。開源在技術上游,負責社區參與、技術迭代、吸引客戶,確保技術領先同行。閉源在下游,負責商業變現。

瀾舟科技是一家中國的大模型創業公司。瀾舟科技合夥人、聯席CEO李京梅對《財經》表示,開源是技術策略也是商業策略。它可以影響開發者社區,也可以影響潛在客戶的技術團隊的心智。開源和閉源不矛盾。閉源模型客戶反饋周期相對較長,但開源模型的社區開發者會很快給到反饋。這可以幫公司快速迭代產品。

一位中國頭部科技企業的AI戰略規劃人士認為,對阿里雲這類頭部雲廠商來說,開源、閉源平行比只做閉源好。阿里雲收入主要來自公共雲四大件(計算、儲存、網路、資料庫)。免費的開源模型會促進客戶業務資料消耗,進而帶動上述基礎雲產品的銷售。

只做閉源模型,這條路簡單直接、邏輯清晰。走這條路線的大公司認為,大模型要商業化,就必須閉源,否則無法商業閉環。

AI創業公司OpenAI(旗下GPT-4系列模型)、亞馬遜(投資了AI創業公司Anthropic,旗下包括Claude 3.5系列模型)、華為(盤古大模型)、百度(文心大模型)等企業都選了這條路。企業使用大模型通常按API(應用程式程式設計介面)呼叫次數付費,這就像為水電煤按使用量繳費。閉源模型的商業模式理論上是最健康的。微軟Azure、亞馬遜AWS、Google雲近一年營收增速都提升了5個百分點左右,利潤水平也略有提升。這被認為是大模型拉動的結果。

但在中國,閉源模型短期內很難真正盈利。今年5月中國模型市場開始價格戰。降價目的是激發客戶需求,做大市場規模。字節跳動旗下雲服務火山引擎、阿里雲、騰訊雲、百度智能雲先後把大模型呼叫價格下降了90%以上。大模型呼叫毛利率從超過60%下滑至低於0%。

一位中國雲廠商大模型業務負責人認為,大模型呼叫進入了“負毛利時代”。使用次數越多,虧損就越大。區別是,阿里、字節跳動、百度這些大廠虧得起,中小企業、創業公司虧不起。

他和一位大模型創業公司高管表達了類似的觀點——不同公司基因不同,模型商業策略也不同。雲是阿里雲的核心業務,模型開放原始碼的最終目的是賣更多雲。火山引擎背靠字節跳動,母公司廣告業務可以輸血。火山引擎在雲端運算市場份額遠低於阿里雲,“光腳不怕穿鞋的”,希望通過價格戰搶佔更多市場份額。AI是百度的核心業務,百度希望靠大模型盈利,所以強調閉源模型的價值。

02 爭論是什麼?共識是什麼?

中國的大模型開閉源之爭,有幾個焦點——其一,開源模型和開放原始碼軟體是否有區別?其二,開源模型和閉源模型,誰更強?其三,開源模型和閉源模型,誰更貴?

第一個爭論,開源模型和開放原始碼軟體是否有區別?答案是,區別很大。絕大部分開源模型並沒有完全開源。它們更像是可以免費使用的黑箱,而不像開放原始碼軟體一樣是個透明的盒子。

開放原始碼軟體會公佈原始碼,開發者能通過原始碼掌握軟體的大部分技術細節。開放原始碼軟體免費的核心邏輯是,全社會的開發者可以幫助軟體廠商找產品Bug、提最佳化建議。社會化開發,不僅可以降低軟體的研發成本,還能加快軟體的迭代速度。手機作業系統Android、資料庫軟體MySQL都是靠這種方式取得了成功。

開源模型的複雜性遠超開放原始碼軟體,可開放原始碼的項目包括原始碼、參數權重、模型結構、訓練資料、訓練過程等。荷蘭拉德堡德大學兩位學者,利森菲爾德、丁格曼斯今年3月發表論文,對比了開源模型的開源程度。論文顯示,性能最強的開源模型通常只會開源參數權重。一種解釋是,模型廠商為確保模型性能領先,不能把“配方”全盤托出。以全球性能最強的開源模型Llama3為例,它只部分開源了參數權重和模型結構,原始碼、訓練資料、訓練過程均未開源。



開源理念對產業生態的價值毋庸置疑。百度智能雲AI與大模型平台總經理忻舟今年7月對《財經》表示,開源模型會讓模型應用、行業模型變得更豐富。但他反對將開源模型和開放原始碼軟體混為一談。因為兩者存在本質區別——開源模型無法像開放原始碼軟體一樣,靠社會開發者參與提升產品性能、降低研發成本。基座模型只能靠模型廠商自己訓練而提升,開源模型精調、推理最佳化都不及商業模型,對開發者技術要求很高,實際使用成本並不低。

第二個爭論,開源模型和閉源模型,誰更強?事實是,閉源模型性能通常比開源模型更強,但開源模型和閉源模型的性能差距在縮小。



斯坦福大學基礎模型研究中心(CRFM)長期進行全球大模型測試排名。截至7月24日公佈的大規模多工語言理解 (MMLU)測試排名顯示,性能前十的只有Llama3.1是開源模型,Claude3.5(亞馬遜投資)、GPT-4o(微軟投資)、Gemini1.5 Pro(Google自研)等都是閉源模型。

李京梅認為,同一家公司的閉源模型一定比開源模型性能強。但在行業橫向對比,閉源模型不一定比開源模型強。因為大模型6個-12個月迭代一次,一些開源模型的進化速度可能更快。



評測組織的排名顯示了這一趨勢。LMSYS組織(大模型系統研究組織)由加州大學伯克利分校發起,該組織也會長期對全球模型性能進行評測排名。Meta旗下Llama3.1、阿里雲旗下Qwen2在該評測中的排名正在迅速提升。Llama3.1甚至超越了大部分閉源模型。

一位中國雲廠商大模型業務負責人分析,開源模型和閉源模型性能差距縮小有兩個原因——近一年基礎大模型普遍進入性能提升的瓶頸期。開源模型吸引了大量開發者。雖然他們無法通過程式碼反饋直接提升模型性能,但提升了模型研究的整體水平,這間接幫開源模型提升了模型性能。

第三個爭論,開源模型和閉源模型,誰更貴?結論是,性能才是決定因素。模型使用成本和模型性能直接相關。性能越強,長期使用成本越低,因為完成任務的呼叫次數更少。

開源模型免費,通常給人價格便宜、成本更低的印象。忻舟解釋,大模型應用是一套包含“技術+服務”的綜合解決方案,企業要算“總帳”。 閉源模型廠商除了提供完整的模型和工具鏈,還會提供培訓和技術服務,幫企業快速上手。開源模型看似免費,但要達到與閉源相同的效果,需要後續投入很多的人力、資金、時間,綜合成本反而更高。

長期來看,開源、閉源模型應用成本的決定性因素是推理成本。同等參數量級的閉源模型表現通常好於開源模型,綜合成本也更低。忻舟算了一筆帳,如果一家企業部署開源模型免費,部署閉源模型需要50萬元。前期投入階段,開源模型更便宜。後期使用階段,如果閉源模型比開源模型綜合性能強20%,閉源模型在一些用量大的企業一天就能省數萬元。最終,長期使用成本一定是遠低於開源模型。

03 誰在用開源模型?誰在用閉源模型?

開源模型好還是閉源模型好?這個問題並不是由供給方的模型廠商說了算,而是由需求方的企業客戶說了算。

在公開場合,企業口水戰不斷。但多位雲廠商技術人士對《財經》表示,這些爭論不能否定彼此的市場價值。這兩種需求會長期共存。換個思路看,口水戰反而更容易共同做大市場聲量。

事實上,大部分企業客戶並不關心模型是否要開源。忻舟總結,他在和很多大型企業客戶交流後發現,IT部門負責人要不要用一款模型有很多因素,按優先順序排名通常是:效果、性能、價格、安全。開源、閉源並不是決定性因素。

在多數企業的“工具箱”裡,開源模型、閉源模型是互補的。大型企業落地大模型通常分成不同階段。

前期,IT部門會梳理市場上開源模型、閉源模型的性能和特徵。不同模型優勢不同,有的語言語音能力強,有的資料統計能力強。前期免費的開源模型POC(概念驗證)測試,驗證業務效果。

中期,在行銷、客服、知識庫等難度低、見效快的業務場景先做一期項目。不僅要採購閉源模型後,還要訓練微調一套自己的開源模型。讓內外部模型“賽馬”,比較不同模型的效果、成本,隨時切換用量。

後期,根據落地效果,循序漸進在難度高、見效慢的業務場景規劃二期、三期工程。這時往往甚至要耗費千萬元建立一套自主可控的基礎大模型或行業大模型。

開源模型免費,但無法開箱即用,需要時間折騰,也沒人負責兜底。閉源模型能直接拿到成熟的產品,售前、售中、售後有全程服務。簡單理解,開源模型像自己買菜下廚,閉源模型像花錢去餐廳吃飯。

忻舟的觀點是,開源模型適合用於學術研究,適合一些IT預算極其有限的中小企業,也適合部分大型企業用於自主可控的內部自研項目,但不適合對外的大型商業項目。在一些動輒百萬元、千萬元等級的嚴肅商業項目中,閉源模型還是最佳選擇。

開源模型並不是免費的午餐。大型企業使用開源模型有很多隱性成本。比如採購算力、軟體適配等。一位中國出海智能行銷服務商的技術負責人今年7月對《財經》表示,他所在的企業重度依賴雲服務,每年研發支出超過8000萬元。近兩年公司同時在用十餘款閉源模型,但裡面沒有開源模型。在他看來,開源模型要有時間、人力去折騰。大多數開源模型無法開箱即用,也沒人兜底,只能算“玩具”。他傾向於管好十餘款閉源模型,根據價格、性能隨時切換。這樣性價比最高。

一位大型股份制商業銀行IT負責人認為,開源模型無法開箱即用不是大問題。他在2023年12月曾對《財經》表示,他的團隊同時用了阿里(通義開源模型)、Meta(Llama開源模型)、百度(文心繫列)、智譜(GLM系列)用於自研合規報告審計應用。開源模型適合這種小型項目,既能免費POC測試,也能按需修改。他的IT團隊有數十人,還有外包IT服務公司,人手足以應付這些問題。但他同時認為,百萬、千萬元的大型項目中,閉源模型更合適。因為閉源模型穩定可靠,還能找到負責兜底的模型公司。

用開源模型完整訓練一套行業模型需要千萬元,還要採購AI晶片自建機房。上述AI軟體服務商技術人士總結,開源模型適合一些對資料安全、自主可控要求高,且對成本沒那麼敏感的央國企。它們會用開源模型訓練自己的行業模型。因為“開源模型+私有雲”符合很多央國企資料安全和自主可控的訴求。

04 未來怎麼走?

中國市場的大模型開閉源之爭是純粹的商業問題。但在國際市場,大模型開閉源之爭更多涉及反壟斷、國家利益等因素。

今年5月價格戰之後,中國的大模型呼叫已經進入“負毛利時代”。開源模型、閉源模型同時面臨一個問題——大模型無法直接盈利。

“大模型市場的淘汰賽已經開始了。”一位中國雲廠商大模型業務負責人分析,大模型呼叫負毛利意味著,短期內呼叫次數越多,雲廠商虧損越大。中國雲廠商賭的是,大模型呼叫價格降低90%之後,未來1年-2年大模型呼叫次數會指數級增長。長期來看,雲廠商算力成本會隨著客戶需求增長而攤薄,最終仍能實現正向利潤。即使這個賭局不成立,也會有一批模型廠商死於價格戰,活下去的廠商會收拾殘局。

多位行業人士對《財經》表達了同一個觀點,這輪淘汰賽會持續1年-2年,只有3家-5家基礎模型企業能繼續活下去。

中國資訊化百會人執委、阿里雲智能科技研究中心主任安筱鵬今年7月對《財經》表示,中國沒有百模大戰,甚至沒有十模大戰。大模型需要持續投資,要有萬卡甚至十萬卡的能力,還需要商業回報。很多企業不具備這樣的能力。未來中國市場只會有三五家基礎模型廠商。

誰是價格戰的受益者?誰會笑到最後?上述中國頭部科技企業的AI戰略規劃人士認為,這輪價格戰中,阿里雲和字節跳動的火山引擎血最厚。阿里雲能靠雲盈利,火山引擎有字節跳動的廣告業務輸血。打價格戰,百度不如阿里、字節跳動。但百度的文心大模型技術強,會有一批願意為技術付費的客戶。這對百度扛住價格戰有幫助。他進一步解釋,中國市場這幾家大模型創業公司未來1年-2年會面臨嚴峻考驗。大模型創業公司要麼選擇成為項目制模型開發公司,要麼轉向垂直行業模型。

中國大模型市場的全域競爭,遠比開源模型、閉源模型的局部競爭更重要。全域競爭的方向,會直接決定局部競爭的結果。

一位阿里雲人士直言,開源、閉源模型都有各自的好處,阿里雲希望讓AI更普惠。無論開源、閉源,核心目的都是給開發者更多選擇。阿里雲選擇了開源、閉源兩條腿走路,既有全尺寸、全模態的開源模型,也有閉源模型。另一位中國雲廠商大模型業務負責人認為,開源沒有商業模式。中國模型市場,只有頭部企業或者極少數能持續融資的創業公司能堅持開源。中國市場最終可能只會剩下1家-2家開源模型。

模型廠商幾乎每6個-12個月就會訓練出新一代的模型。在中國模型市場,隨著盈利壓力變大,模型開源可能會變得越來越有“策略”——企業會傾向開源上一代技術落後、參數更小的模型,引導使用者付費使用技術更新、參數更大的閉源模型。

開源模型和閉源模型的競爭短時間內不會結束。一些企業甚至可以同時跑通開源和閉源兩條路。在IT產業,這並非沒有先例,資料庫誕生超過60年,第一款開源資料庫誕生至今超過50年。資料庫市場至今同時活躍著不同的閉源、開源資料庫,新的資料庫品牌仍然層出不窮。資料庫巨頭Oracle甚至同時擁有閉源的RDBMS資料庫和開放原始碼的MySQL資料庫。

多位雲廠商技術人士認為,開源模型和閉源模型會長期共存。大模型市場,會在不同技術路線的競爭中逐漸壯大。 (財經雜誌)