•
全球AI 大模型全端技術研究報告2024
經過大規模預訓練的大模型，能夠在各種任務中達到更高的準確性、降低應用的開發門檻、增強模型泛化能力等，是AI 領域的一項重大進步。大模型最早的關注度源自於NLP 領域，隨著多模態能力的演進，CV 領域及多模態通用大模型也逐漸成為市場發展主流。政企的極大關注帶動了產業領域大模型的高速發展，逐漸形成了多模態基模型為底座的領域大模型和產業大模型共同發展的局面。
伴隨基於大模型發展的各類應用的爆發，尤其是生成式AI，為用戶提供突破性的創新機會，打破了創作和藝術是人類專屬領域的局面。 AI 不再只是“分類”，而且開始進行“生成”，促使大模型帶來的價值進一步升級到人類生產力工具的顛覆式革新。同時，資料規模和參數規模的有機提升，讓大模型擁有了不斷學習和成長的基因，開始具備湧現能力（Emergent Ability），逐漸拉開了通用人工智慧（AGI）的發展序幕。
過去幾年，國內外的AI 廠商均在大模型領域有所佈置。 OpenAI 在2019 年發布了GPT-2 大模型，國內互聯網科技廠商也集中在2020-2022 三年期間相繼發布了自己的大模型。 ChatGPT 的發布，掀起一波發展熱潮，原廠商基於自身大模型開始推出一系列生成式AI 應用，並對外提供API 介面。更多的新創公司、研究機構和新的科技廠商湧入該市場，發布相關的產品服務。
過去幾年，國內外的AI 廠商均在大模型領域有所佈置。 OpenAI 在2019 年發布了GPT-2 大模型，國內互聯網科技廠商也集中在2020-2022 三年期間相繼發布了自己的大模型。 ChatGPT 的發布，掀起了一波發展熱潮，原廠商基於自身大模型開始推出一系列生成式AI 應用，並對外提供API 介面。更多的新創公司、研究機構和新的科技廠商湧入該市場，發布相關的產品服務。
大模型人氣高漲，吸引了用戶的關注，不僅是CIO、CTO 等技術決策人員，CEO、CFO 等業務決策人員也同樣希望發揮此類模型在業務用例中的潛力。使用者關注度的躍升成為廠商自身能力的考驗，前期已具備全端大模型建構能力的廠商開始顯現累積優勢。為協助使用者了解國內大模型市場的發展、廠商格局和競爭地位，我們研究團隊透過詳實的訪談調查，對中國市場提供大模型產品服務的廠商進行了深入的分析和評估。
全球知名大模型發佈時間節點
關鍵發現點
AI 大模型的高速發展離不開底層技術支援和應用場景迭代。大模型作為AGI 時代的曙光，相關廠商也將迎來廣闊的發展空間。本報告將呈現從發展現況、驅動因素洞察AI 大模型廠商競爭與發展關鍵點，並推演競爭格局的邏輯分析過程：
• 前瞻洞察：通往AGI 的技術路徑具有多元性，目前大模型是最佳實現方式。大模型具有強大的泛化性、通用性和實用性，能夠降低AI 開發門檻、提高模型精度和泛化能力、提高內容生成質量和效率等多種價值，實現了對傳統AI 技術的突破，並成為AGI的重要起點。進而將AI 發展由資料飛輪升級到智慧飛輪,最終邁向人機共智。大模型與人類回饋的強化學習（ RLHF ）的結合，進一步重建了AI 開發範式，進入大模型主導的軟體2.0 時代。另一方面，AI 開發則形成新的「二八定律」，開發者的生產力將會大大釋放。
• 驅動因素：大模型「基礎設施- 底層技術- 基礎通用- 垂直應用」發展路線逐漸清晰，國內各廠商加速戰略佈局，加大資金和技術投入，迎頭趕上全球大模型產業化浪潮，本土化大模型迎來發展新機遇。整體上，產業驅動因素主要包含三個層面:
（1）政策端：政策環境持續最佳化，賦能AI 大模型市場快速發展。
（2）供給端： 下一代AI 基礎設施等快速發展，助力大模型應用落地。
（3）需求端：AI 市場高景氣，大模型下游產業需求旺盛。
• 產業觀點：大模式未來發展將趨於一般化與專用化並行 、 平台化與簡易化並進。同時，MaaS 模式將成為AI應用的全新形式且快速發展，重建AI 產業的商業化結構生態，激發新的產業鏈分工與商業模式。未來，大模型將深入應用於使用者生活與企業生產模式，釋放創造力與生產力，活躍創造思維、重塑工作模式，協助企業的組織變革與經營效率，賦能產業變革。
• 關鍵成功因素：大模型面臨算力需求大、訓練和推理成本高、資料品質不佳等挑戰。一個可對外商業化輸出的大模型的成功，要求其廠商擁有全端大模型訓練與研發能力、業務場景落地經驗、AI 安全治理舉措、以及生態開放性 4 大核心優勢，才能保證其在競爭中突出重圍。其中，全端大模型訓練與研發能力還包括資料管理經驗，AI 基礎設施建設與運營，以及大模型系統和演算法設計 3 個關鍵要素。
• 競爭格局：在競爭格局漸趨明晰的過程中，相關廠商需跨越技術、人才、資金等壁壘，在產品技術能力、策略願景能力、生態開放能力三大維度上展開角逐。透過遴選，報告選擇了5家大模型廠商，分別為商湯、百度、阿里巴巴、華為、騰訊，評價模型包含 15 個一級指標、56 個二級指標，對廠商大模型的各個能力進行評估。
• 使用者建議：透過此報告能夠了解大模型廠商的競爭態勢，關注領先廠商，內部創建大模型戰略文件，明確其優勢、帶來的風險和機遇，以及部署路線圖，針對具體的用例，權衡模型的優點和風險，並選擇合適情境試點、評估大模型的應用價值。
章節一
AI大模型掀起時代浪潮，加速通用人工智慧（AGI）時代的來臨
關鍵發現
• 以ChatGPT 的發佈為里程碑事件，AI 的發展進入到了繼突破工業紅線之後的，以AGI 為發展目標的全新通用智能時代。
• 大模型是通往AGI 時代的最佳技術路徑，並開始在以自動駕駛為代表的場景下所體現。同時，大模型也帶來了全新的AI 開發範式，基模型+ 人工回饋閉環的模式為開發者帶來了新的「二八定律」。
• 生成式AI 成為大模型能力應用的爆發點，以文生文、文生圖等內容生成為代表的大模型應用快速成長，並逐漸成為日益完善的生產力工具。
AI 大模型是人工智慧預訓練大模型的簡稱，包含了「預訓練」和「大模型」兩層意義，二者結合產生了新的人工智慧模式，即模型在大規模資料集上完成預訓練後，僅需少量資料的微調甚至不需微調，就能直接支撐各類應用。這些模型通常具有多層神經網路結構，並使用進階的最佳化演算法和運算資源進行訓練，具有強大的泛化性、通用性和實用性，可以在自然語言處理、電腦視覺、智慧語音等多個領域實現突破性性能提升。
AI 大模型是人工智慧邁向通用人工智慧的里程碑技術。以目前熱門的ChatGPT為例，ChatGPT 的最大貢獻在於基本上實現了理想LLM 的介面層，能夠讓LLM自主適配人的習慣指令表達方式，由此增加了LLM 的易用性，提升了使用者體驗。 InstructGPT/ChatGPT 首先意識到這個問題，並給出了相應解決方案，較之前fewshot prompting 方案更符合人類表達習慣。
AI 大模型的內涵與特徵
人工智慧發展進入以AGI 為代表的新里程碑階段
人工智慧近年來高速發展，現已進入了以AGI 為代表的新里程碑階段。隨著AI 基礎設施逐步完善，深度學習技術不斷進步，人工智慧應用場景逐漸增多，過去模型參數規模和資料量也實現了大幅成長，為NLP、CV 等領域帶來更強大的表達能力和效能。人工智慧發展歷程中主要有兩大里程碑：
里程碑一：2012 年CNN 獲得ImageNet第一，標誌著機器視覺辨識能力開始逐漸超越人眼辨識準確率，開啟了人工智慧革命。隨著深度學習技術不斷突破，誕生了一批「AI＋場景應用」的專屬模型，但整體研發成本比較高、研發時間比較長。
里程碑二：2022 年ChatGPT 的出現，掀起了又一波人工智慧發展熱潮，以大模型+ RLHF 為核心的技術落地意味著人工智慧開啟AI 新典範。人工智慧相關產業開始基於強大的基模型進行發展，透過人類回饋和強化學習不斷解鎖基模型的能力，以解決大量開放式任務，帶來了新的研究範式。
人工智慧的發展歷程
通往AGI 的技術路徑多元，目前大模型是最佳實現方式（1/2）
AGI 技術能夠精準辨識人類情緒意圖、理解人類語言、學習人類知識並進行類腦推理與創造。OpenAI 的CEO 山姆（Sam Altman）對AGI 的定義相當明確：如果AI 模型具有一個「普通人」學習解決問題的綜合技能，能夠在任何領域變得優秀，那就擁有了AGI。
大模型是目前通往AGI 的最佳實現方式。以ChatGPT 為代表的人工智慧技術已經具備AGI 的核心技術和特徵，能夠自動化地學習任何可以符號化的知識及信息，不斷自我優化，充分理解和流暢表達人類語言，同時邏輯推理能力強，實現了具備一般人類智慧的機器智能。
相較於過去AI 應用與部署難以全面覆蓋產業的短板，大模型能涵蓋全產業流程的每個環節。以自動駕駛場景為例，在輸入層，大模型能全鏈條覆蓋感知環境，並產生大量實景圖片。在輸出層，解碼器負責重構3D 環境、預測路徑規劃、解釋自動駕駛的動機等。大模型能實現自動駕駛感知決策一體化集成，更接近人的駕駛行為預判斷，助於提升自動駕駛的安全性、可靠性和可解釋性。
通往AGI 的技術路徑多元，目前大模型是最佳實現方式（2/2）
大模型的縮放法則（Scaling Law）與湧現性（Emergent Ability）
大模型的縮放法則和湧現性與AGI 的發展息息相關。縮放法則是指隨著模型規模逐步放大，任務的表現越來越好（如圖a 所示）；湧現性是指隨著模型的規模增長，當規模跨過一定閾值，對某類任務的效果會出現突然的性能成長，湧現新的能力（如圖b 所示）。當全部人類的知識被儲存在大模型中，這些知識被動態連結起來時，其所具有的智慧遠超人們預期。
AGI 將實現從「數據飛輪」到「智慧飛輪」的演進，最終邁向人機共智。現有AI 系統主要基於資料飛輪，AGI 催生了新的研究範式——智慧飛輪，透過強化學習和人類回饋不斷解鎖基模型新的能力，以更有效率地解決海量的開放式任務。
資料飛輪：現有AI 體系主要從前端獲取大量數據並進行人工標註，透過更新後的模型反饋到前端，以獲取高品質數據，但是研發時間長和成本高。
智慧飛輪：AGI 體系則將實現人與模型的互動，基模型將持續理解人的意圖以解鎖更多技能，並能實現自動化標註，成本約AI 體系的1%，有助於推動數據進行快速迭代與最佳化，以輸出更高品質的智慧內容。
大模型將由資料飛輪向智慧飛輪升級演進
人工智慧生產範式發生轉變，新的「二八定律」形成（1/2）
大模型的出現，將重構人工智慧生產典範。傳統的軟體開發模式是透過任務/業務資料集形成專屬模型，小模型不斷迭代，開發人員用明確的程式碼去表達程式執行的邏輯，而隨著業務場景從通用場景發展到長尾、碎片場景，此模式則逐漸顯現開發成本高，精確度不佳等一系列挑戰。
在大模型的加持下，逐漸形成圍繞大模型結合人工反饋強化學習為核心的軟體開發新範式，透過模型微調的手段，可以基於超大規模基模型，打造出領域大模型或者行業大模型，進而覆蓋更多行業自場景。
同時，透過提示工程，只需用範例向電腦表達預期目標，電腦將透過神經網路自行找出達到目標的方法。
在傳統軟體開發時期，解決單一問題的深度學習方法與工業化小模型生產工具逐步成熟，現階段在一些垂直領域仍會應用，如醫療影像、工業檢測等。未來軟體開發新典範將是AI 大模型驅動的商業模式與產品設計的基礎。
在人工智慧的小模型時代下，解決單一問題的深度學習方法與工業化小模型生產工具逐漸成熟。在大模型時代，在AI 原生基礎設施上，大模型即服務（Model as aService) 結合資料回饋閉環是未來人工智慧大模型驅動的商業模式與產品設計的基礎，在此前景下，新範式將會更加重視基礎設施成本、算力與資料規模、以及即時用戶大數據的回饋與迭代。
AI 軟體開發進入全新範式
人工智慧生產範式發生轉變，新的「二八定律」形成（2/2）
新的「二八定律」形成，AI 大模型將釋放開發者的生產力。在傳統軟體時代，100% 的電腦程式碼由程式設計師編寫程式邏輯，電腦中約20% 的指令承擔了80%的工作。到小模型時代，AI 模型可以取代20% 的人工程式碼邏輯，但手工開發的商業邏輯仍佔80%。進入大模型時代，未來軟體80% 的價值將由AI 大模型提供，剩餘20% 將由提示工程和傳統業務開發組成，新的「二八定律」由此形成。
大模型透過機器學習訓練程式碼，直接產生滿足需求的程式碼。原特斯拉AI總監Andrej Karpathy 曾表示自己現在80%的程式碼由AI 完成，而商湯內部實測日日新大模型提升程式碼編寫效率約62%。大模型不僅能產生程式碼，補全必要的程式碼區塊， 還能確保一定的準確率。
DeepMind 的AlphaCode 在Codeforces 上託管的10 個競賽中總體排名前54%，清華大學開發的多程式語言程式碼產生預訓練模型在HumanEval-X 程式碼產生任務上取得47%~60% 求解率。基於大模型的高精度程式碼生成，能夠提高軟體開發的效率，標誌著人工智慧向AGI 更進一步。
AI for AI 釋放軟體開發生產力
基於大模型的程式碼生成（以DeepMind AlphaCode 為例）
AI 大模型技術創新，協助生成式AI 應用場景加速落地
伴隨AI 技術升級和大模型成熟，AI 繪畫與ChatGPT 的成功破圈， 生成式AI 技術迎來發展拐點，行業關注度大幅提升。生成式AI 是指基於大模型、生成對抗網路GAN 等人工智慧技術，透過已有數據尋找規律，並透過適當的泛化能力生成相關內容的技術，可生成如圖像、文字、音訊、視訊等原創內容變體。
例如，以ChatGPT、Midjourney、文心一格、商湯商量、Codex 為代表的生成式AI 應用擁有文本語言理解能力、湧現能力以及思維鏈推理能力，能夠完成文學創作、新聞寫作、數理邏輯推算、代碼生成、圖片生成等多項任務。目前，國內電商、遊戲、文娛、設計等產業正積極使用相關的生成式AI 應用來提高自身工作效率，尤其以文生圖應用為主。
生成式AI 不僅能夠增強並加速下游多領域的設計，而且有潛力「發明」人類可能錯過的新設計、新物件。生成式AI 有產生大規模、高品質、低成本內容優勢，在算力和演算法支援下產生大量內容，產生的內容品質將持續超越UGC 與PGC。未來可望為各行業提供內容支援並促進其內容繁榮，最大化釋放內容生產力。
文字生成屬於發展成熟、易於跨界轉換的賽道，而跨模態生成賽道的發展潛力最高。生成式AI 應用依模態劃分為文字生成、音訊生成、影像生成、視訊生成、跨模態生成。語音合成、文字生成、影像屬性編輯等技術應用目前較為成熟，跨模態生成、策略生成是高成長潛力的應用場景，在自動駕駛、機器人控制等領域有極高應用價值，隨著未來技術不斷發展成熟，預計3-5 年可穩定落實。
大模型發展及相關應用實現落地時間表
章節二
大模型迎來發展新機遇，未來前景可期
關鍵發現
• 人工智慧的政策引導逐漸涵蓋到大模型生態，並開始推出相應的生成式AI 監管建議，進一步支撐大模型生態的有序發展；
• 大模型的神經網路架構和訓練大模型的AI 基礎設施，均逐漸發展成熟，推動大模型的生產更加系統化和工程化；
• 下游企業用戶的AI 部署需求進一步規模化發展，急需在上游大模型支撐下，獲得AI 應用開發門檻降低，部署精度提高等基礎價值，進而降低AI 規模化部署的成本；
• 大模型的發展趨於通用化與專用化並進，平台化與簡易化並進；
• 依托Model as a Service，大模型建立起面向政企、消費者群體等差異化的商業模式，並逐漸形成基模型、領域、行業大模型一體的商業化架構。
在「基礎設施支撐+ 頂層設計最佳化+下游需求旺盛」三輪驅動下，AI 大模型迎來了良好的發展機會。
透過資料互動和任務回饋，優秀的大模型能夠賦能各行各業開放任務，滿足對未來AI 應用的期待。展望未來，大模型「訓練基礎設施– 底層技術– 基礎應用–垂直應用」發展路線逐漸清晰，隨著底層技術逐步革新，基模型與領域大模型持續完善，大模型應用邊界不斷拓寬，將加速賦能交通、醫療、金融等各個產業和領域，引發一場以強人工智慧和通用人工智慧為代表的新一輪智慧革命浪潮，大幅提高生產和生活效率，帶來深刻的經濟、社會和產業變遷。
優秀的大模型能夠賦能各行各業開放任務
政策環境持續優化，協助AI 大模型市場快速發展
從「十二五」到「十四五」規劃，國家從宏觀層面上對人工智慧新技術、新產業給予巨大支持，頂層設計從方向性引導到強調落地應用與場景創新，進一步細化、深化。地方政府積極回應國家策略，加速規劃人工智慧產業建設，如北京市經濟與資訊化局發布《2022 年北京人工智慧產業發展白皮書》，支持頭部企業打造對標ChatGPT 的大模型，著力
建構開源框架和通用大模型的應用生態。國家重視人工智慧產業的安全可信與倫理秩序，兩會期間科技部長十天兩提ChatGPT，強調規範科技倫理，趨利避害。國家近日出台人工智慧相關管理條例，如《生成式人工智慧服務管理辦法（徵求意見稿）》，進一步促進AI 技術的規範應用與產業整體的高品質發展。
「十二五」至「十四五」期間部分人工智慧相關政策
AI 基礎架構及基礎建設快速發展，協助大模型應用落地
從基礎架構來看，Transformer 是AI 大模 型演進的基礎 。 Transformer由論文《Attention is All You Need》提出，是一個新的簡單網路架構，遵循Encoder –Decoder 架構流程來實現結果，完全基於注意力機制， 摒棄了循環和卷積。
Transformer 模型結構與基於RNN 模型結構相比，不僅提升了自然語言處理任務的精度和質量，而且可並行化程度更高，所需的訓練時間明顯減少，能夠提升計算效率和資源利用率。目前Transformer 已逐步取代LSTM 等RNN模型，成為NLP 問題的首選模型，並有逐步統一影像處理等領域的趨勢。可以說，Transformer 促成了GPT 和BERT兩大LLM 模型主流技術的出現。
BERT 使用遮罩語言模型，可以雙向處理輸入序列，適用於理解類別或某個場景的特定任務。 GPT 使用自迴歸模型進行語言建模，適合生成類別以及多任務情境。
AI 基礎架構架構圖
LLM 應該具備自主學習能力，理解人類的命令，執行並完成盡可能多類型的任務， 而生成模型更容易做好zeroshot/few shot prompting 方式的任務，因此當前幾乎所有參數規模超過千億的LLM 模型都採用了GPT 路線。
LLM 研究的發展路徑
高效率、低成本、規模化的AI 基礎設施成長迅速，幫助夯實大模型基礎。底層服務支撐層包含AI 運算、儲存、加速、容器核心套件，能夠提供高性價比的算力，承載海量資料的處理、超大模型的訓練和推理。
AI 開發平台層整合資料處理、模型開發、部署運作、資產管控等功能工具，能夠圍繞AI 模型/演算法的生命週期提供工具，連結不同層次開發者對AI 模型設計、訓練、部署等活動。
大模型及服務層能夠提供基礎大模型，應用於下游多個場景中，且能夠透過資料回饋實現模型的持續最佳化迭代。如商湯AI 大裝置、百度AI 大底座、騰訊雲新一代HCC 高性能計算集群、字節-火山引擎發布的高速訓練引擎等，能夠提供大算力和大數據，實現高性能的模型開發應用。
核心技術層協同發展，共同賦能AI 大模型生態
AI 大模型的技術架構通常涉及多個層次，可分為基礎層、技術層、能力層、應用層、終端層五大板塊，其中核心技術層涵蓋AI 技術群和大模型的整合創新，為各產業深度賦能。
基礎層： AI 大模型的基礎層涉及硬體基礎架構與資料、算力、演算法模型三大核心要素。隨著AI 大模型規模的不斷擴大，對計算資源的需求也增加。因此，高效能的硬體設備、海量場景資料、強大的算力基礎和升級迭代的演算法模型成為了支援AI 大模型發展的關鍵。深度學習模型的不斷升級和迭代，增強了AI 演算法的學習能力；同時，開源模式將使AI 大模型成為海量應用、網路和服務的基礎。
技術層： AI 大模型的技術層主要涉及模型建構。目前， Transformer 架構在AI大模型領域佔據主導地位，如BERT、GPT 系列等。 AI 大模型包括NLP 大模型、CV 大模型、多模態大模型等。這些模型採用預先訓練和微調的策略，先在大量無標註資料上學習語言或影像的基本表示，然後針對特定任務進行微調。
能力層、應用層及使用者層： 在基礎層和技術層的支持下，AI 大模型擁有了文字、音訊、圖像、視訊、程式碼、策略、多模態生成能力等，具體應用於金融、電商、傳媒、教育、遊戲、醫療、工業、政務等多個領域，為企業級使用者、政府機構使用者、大眾消費者使用者提供產品及服務。
AI 大模型的技術架構
AI 市場高景氣，大模型下游產業需求旺盛
人工智慧能夠賦能經濟社會發展各領域，下游各領域的產業升級對大模型的需求持續走高。例如，在泛交通領域,人工智慧能夠在自動駕駛、智慧座艙、運行管理優化等多個方面為汽車行業創造價值；在醫療方面，人工智慧可以提高疾病檢測的效率以及醫學影像領域的智慧分析。根據計算，2022 年中國人工智慧產業市場規模為3,716 億人民幣，預計2027 年將達到15,372 億人民幣，預計在下游製造、交通、金融、醫療等多領域不斷滲透，實現大規模落地應用。
下游產業對人工智慧需求呈現出分散化、多樣化的特點，從開發、精調、最佳化、迭代到應用都需要投入龐大的人力和財力，成本極高。而大模型能夠向外賦能，包括透過開放API 的形式，降低AI 應用開發門檻，提高落地部署效率和精度等，進而降低AI 規模化部署的成本，滿足各行業場景的應用需求,進一步推動人工智能進入工業化發展階段。
AI 大模型應用場景豐富
大模型的多種價值，將加速人工智慧的技術進步和規模化應用
AI 大模型具有降低開發門檻、提高模型精度和泛化能力、提高內容生成品質和效率等多種價值，實現了對傳統AI 技術的突破。
一方面，大模型可以幫助降低機器學習和自然語言處理應用的開發門檻，能夠對複雜的模式和規律進行更準確的建模，透過不斷學習和更新自己的參數來提高其性能和準確度，提高模型的精確度，更好地泛化到新的資料集和任務。
另一方面，大模型通常能夠更好地泛化到新的資料集和任務中，可以提高內容生成品質和效率，例如生成對話、摘要、翻譯等。除此之外，大模型的開源性和可複製性可以促進學術研究的發展和技術的普及，增強生態繁榮度，從而加速人工智慧技術的進步和應用。
大模型的五大基本價值
大模型將趨於「通用化」與「專用化」並行
AI 大模型未來發展將趨於通用化與專用化並行。通用化是指模型能夠適用於多個領域和任務，而專用化則是指模型被設計用於特定領域或任務。
AI 大模型將逐漸實現在多個領域和任務中的通用性和靈活性，未來將有更多模型被設計和優化用於特定的任務和領域。
受制於資料規模和模型表達能力的約束，傳統模型往往只能有針對性地支援一個或一類模態，而無法支援其他任務。相較之下，AI 大模型得益於其「大規模預訓練﹢微調」的範式，可以很好地適應不同下游任務，展現出強大的通用性。
通用大模型即為多模態基底模型，偏重統一架構、 統一知識表達、 統一任務。通用大模型能夠使用統一的模型框架，並採用相同的學習模式，建構可適用於多種模態的通用詞表，將所有任務統一成序列到序列任務。例如，GPT 系列模型在自然語言處理領域的多個任務中都取得了非常好的表現，包括文字生成、問答、摘要、翻譯等任務。同樣，BERT模型也被證明可應用於多種自然語言處理任務中，包括文字分類、命名實體辨識、問答等。
專用大模型則透過通用預訓練和專用預訓練實現業務場景應用。專用大模型包括領域大模型（如NLP、CV 等）和產業大模型（如金融、能源等）。例如，近期彭博社發布了專為金融領域打造的大型語言模型（ LLM ） ——BloombergGPT。 BloombergGPT 是專為金融領域開發的語言模型，可以更好地處理金融領域的數據和任務。
大模型將趨於「平台化」與「簡易化」並進
基於模型開發、場景適配與推理部署，AI 大模型未來將趨於平台化與簡易化並進，將形成全能簡易開發服務平台。
大模型發展趨於平台化，主要指提供AI 模型開發和應用的完整解決方案。例如OpenAI 的GPT-3 Playground，為開發者和研究者提供了線上使用GPT-3 模型的平台。
在AI 加持下，GPT 內部插件帶來的使用者體驗優於直接使用外部的原生應用，使用者的使用情境得以遷移到GPT 模型內部。目前插件商店內部的應用主要由OpenAI 邀請的第三方開發，包括辦公室協作、電商、旅遊等。隨著外部成熟應用的互動圈層擴大，GPT 與使用者日常生活將結合得更加緊密，參考行動互聯網時代的端轉手趨勢，主流應用
即將展開向AI 平台的遷移，即迅速適應並佈局GPT 內的AI 插件，探索AI 加持下自身應用的新場景。這些應用可以依賴GPT 的AI 技術來提高用戶體驗，而GPT 則藉由這些應用吸引更多用戶，網路效應進一步加強了這種相互促進的趨勢，進而提升GPT 平台的生態價值。
大模型的簡易化則指使模型的使用更加簡單易懂。AI 大模型突破傳統AI適用性弱的限制，傳統的AI 模型通常只針對性的針對一個或一類任務，而AI 大模型中大規模的參數量可以提升模型的表達能力，更好的建模海量訓練資料中包含的通用知識，透過“預訓練+微調”，AI 大模型已經具有強大的通用性，例如，ChatGPT3.0 透過prompt-tuning 免去微調步驟，為開發者和使用者提供了更加便捷的AI 技術應用方式。
大模型平台化與簡易化並進
大模型發展路線逐漸清晰，MaaS 將重建商業化生態（1/3）
大模型「訓練基礎設施–底層技術–基礎應用–垂直應用」發展路線逐漸清晰。
大模型以訓練基礎設施及底層技術構成的技術底座為基點，在海量通用資料上進行預訓練，整合多樣化的AI 核心技術，建構具有泛化能力的多模態基大模型以及領域大模型，如CV 大模型、NLP 大模型、多模態大模型等。隨著多模態能力的演進，CV 領域及多模態通用大模型將逐漸成為市場發展主流。
領域大模型能夠結合垂直場景及應用產業需求進行模型微調與應用適配，結合ToC 端使用者互動資料或ToB/ToG 端產業專業知識，為下游C 端業務場景及B/G 端商業生態進行技術賦能，助力大模型不斷向上生長。
國內大模型商業應用大幕徐徐拉開，廠商加速戰略佈局，加大資金與技術投入，持續打磨大模型，迎頭趕上全球大模型產業化浪潮。
大模型發展應用路線逐漸清晰
大模型發展路線逐漸清晰，MaaS 將重建商業化生態（2/3）
MaaS，即Model as a Service，能夠降低AI應用開發門檻，重建AI 產業的商業化結構生態，激發新的產業鏈分工和商業模式不斷湧現。 MaaS 將可能成為未來大模型的主流商業模式。
MaaS 模式將由基礎層、中間層以及應用層三部分組成：
• 基礎層將提供多模態基底模型以及CV、NLP、多模態等領域大模型，輸出泛化能力，對外開放大模型的呼叫介面；
• 中間層將付費使用接口，直接調用基礎模型，基於行業特色數據與知識進行精調開發行業大模型，精準適配AI具體應用需求，如汽車領域的自動駕駛、醫療領域的蛋白質解析等，以及企業私有模型；
• 應用層上將進行多樣化的SaaS 應用以及新一代智慧硬體的開發，殺手級應用、現象級產品未來將有望出現。
基礎層需具備大算力、大數據、強演算法等核心技術能力，是科技巨頭以及部分科學研究機構大學的競賽。基礎層以上，包括中間層和應用層，將存在巨大的商業機遇，不僅限於科技巨頭，各類公司都將有機會拿到入場券。新創公司更多的機會也在基礎層以上，在大模型精調、應用開發、邊緣模型部署等領域參與MaaS 商業化生態，例如基於Stable Diffusion 設計的Riffusion 音樂創作工具等AI-enabled 的各類軟體。能夠實現最後一公里商業化落地的公司更有望脫穎而出。
MaaS 產業一體化架構
大模型發展路線逐漸清晰，MaaS 將重建商業化生態（3/3）
MaaS 模式在B/G 端和C 端的商業化落地有所區別。
• C 端用戶量龐大，工具使用門檻較低，落地以及未來成長速度更快，「應用程式商店」等創新商業模式不斷湧現。透過「對話+插件」形式將大模型單點工具存取廠商自有或第三方應用，將打造新的使用者互動介面和入口。目前Chat-4 已應用於微軟必應搜尋引擎，ChatGPT 接入第三方線上購物及機票預訂等平台、阿里巴巴「通義千問」大模型將連接旗下所有產品。插件形式將涵蓋用戶生活的各個層面，打造完整的生態系統。而隨著Adept 等無需App 交互，自動執行操作響應用戶需求的產品出現，未來MaaS 模式下C端商業化落地形式將不斷創新，顛覆傳統，具有廣闊的想像空間。
• B/G 端需要針對產業領域和業務場景進行大量工程工作，尤其是傳統產業的知識獲取和累積需要較長時間，即使是同一個產業下，細分場景的痛點不同，AI 大模型滲透率也有明顯差異。應用場景片段化的特性導致低成本、易用、泛化能力較強的能力平台建置需較長週期，但B/G 端客戶付費能力更強，未來獲利空間及成長空間廣闊。根據分析，從美國市場來看，目前ToB 應用的數量大於ToC 應用，通用工具數量大於具體場景應用數量主要集中於市場銷售、客服/CRM/CEM、企業內部生產力工具等。
未來B/G 端市場，MaaS 落地的主流商業模式將依照資料請求量和實際運算量計算。透過對外開放大模型的API 呼叫接口，讓開發者靈活地使用基模型服務，典型案例
是GPT 基於對外API 的收費模型。基於此，垂直產業廠商可以提供SDK 產品或一體化落地解決方案變現。大型模型廠商也可以透過推出ToB/ToG 的單點工具，按文字、圖像或語音等不同形式的內容量收費，如DALL·E 可以根據每張圖片的解析度和請求計算量計費。
未來C 端市場，MaaS 落地的主流商業模式為軟體訂閱費用，以及第三方App 的推廣與訂閱分成費用。基礎層大模型廠商可以基於大模型推出類似ChatGPT 的單點工具，以月度或年度訂閱費提供產品功能使用，為用戶提供靈活和便捷的購買方式。未來獲利模式也將可能向App Store式靠攏，透過排行榜、廣告版位等收取費用。
ToC 方向大模型將成為“作業系統+應用超市”
章節三
AI 大模型挑戰猶在，企業發展仍需迎難而上
關鍵發現
• AI 大模型面臨算力需求大、訓練和推理成本高、資料品質不佳、隱私和安全問題等挑戰；
• 大模型考驗全端大模型訓練與研發能力，如資料管理經驗、算力基礎設施工程化運作能力、底層系統最佳化與演算法設計能力等，而廠商過往技術累積的know-how 則能夠成為關鍵優勢；
• AI 大模型廠商積極探索大模型的商業化應用，在實務上累積大量大量大量大量大量大量大量大量業務體驗經驗，能夠幫助大模型加速走向產業；
• 大模型廠商建構資料安全等AI 安全治理舉措，能夠確保AI 大模型進入市場並商業化應用的可靠、可信，推動AI 技術永續發展；
• 生態開放性的高低程度決定了大模型廠商能否成功打造「技術-商業」閉環。
技術和安全倫理等層面的多重挑戰，成為大模型發展和應用道路上的阻礙，考驗大模型廠商的技術和AI 治理能力。
大模型廠商在資料管理、AI 基礎設施建設與營運、模型系統和演算法設計等全端大模型訓練與研發能力的累積對於大模型的開發落地不可或缺。
基於繁榮的開源生態，廠商近年來業務場景落地經驗的沉澱，能夠孵化迭代更優秀的技術產品。在先進且持續的 AI 安全治理措施的加持下，AI 大模型廠商能夠規避AI 技術對倫理秩序的破壞，並推動大模型的商業化落地。掌握關鍵成功因素，大模型廠商將建構競爭優勢，在市場上展開競爭。
大模型廠商需在技術、生態、AI 治理等方面應對AI 大模型發展的多重挑戰
AI 大模型發展面臨多重挑戰
「算力剛需+成本高企」拔高產業進入門檻。大模型的訓練成本包括GPU 等算力晶片成本、伺服器成本、標準機櫃成本、訓練時間的電力消耗費用、人力投入費用等。以ChatGPT 為例，ChatGPT 每日處理1,300 萬獨立存取量，需要3 萬+片NVIDIA A100 GPU 以龐大的運算和儲存資源支持，初期投入高達8 億美元。而據估算，1750 億參數的GPT-3 的總訓練成本高達1200 萬美元。
「優數據+強演算法」為大模型開發訓練的
兩大關鍵點。From Big Data to Good Data，以資料為中心的AI 對資料品質、資料隱私和安全提出更高的要求。大模型的輸入資料通常有重複、文字格式多樣化、非文字內容多等雜訊問題，容易對大模型的訓練及模型品質造成不良影響。而除公開訓練文字資料集外，其他輸入側的數據需要資料主體的授權，且大模型過度依賴訓練數據，在資料輸入層面可能會存在輿論操控、虛假資訊、隱私外洩等風險。此外，演算法能力的持續優化、演算法的可解釋性都將對廠商的技術能力和AI 治理能力產生更大的考驗。
高穩定性需求考驗廠商實操經驗及系統工程能力。訓練過程中易出現不穩定現象，如訓練不收斂、調試困難等。訓練時大模型也常遇到「梯度爆炸」或硬體故障造成機器過載迭機，以前迭機頻率是10 分鐘一次，會牽連整個系統受到影響，成為廠商技術經驗的挑戰之一。
資料品質對大模型的訓練效果影響較大
全端大模型訓練與研發能力成為廠商關鍵優勢之一
超大規模模型全端大模型訓練與研發能力，如資料管理經驗、AI 基礎建設與營運、大模型系統和演算法設計等，而廠商過往技術累積的know-how 能夠成為關鍵優勢。
廠商過往大量的實驗研究和經驗積累，能夠在大模型數據的標註、評測、調優，數據訓練時的先後順序以及選擇性上起到重要作用，並基於此訓練出優秀的大模型。廠商的充足基礎運算資源儲備將成為大模型的強力底層支柱。
大模型的基礎條件是算力資源，模型訓練往往需要幾千甚至上萬張卡來完成，而A100 等海外晶片的儲備、國產晶片供應把控、自研算力基礎建設等，能夠有效支撐廠商訓練開發大模型。
廠商在大規模分散式訓練的運作和調度的工程經驗，能夠幫助提升模型訓練的速度和精確度。AI 運算能力不僅依賴算力堆疊，隨著資料量的不斷增加，超大模型訓練需要提升訓練速度，減少訓練時間，因此需要將資料和運算負載切分到不同設備上，降低設備間通訊所需的代價，在多張卡片上實現超大規模並行計算。在模型並行、流水並行、資料並行等分散式訓練的基礎上，還需要考慮運算、儲存、網路以及上層的架構等各環節全面協調配合，考驗的是廠商全端全流程的綜合能力。
廠商過往的技術以及工程經驗累積能夠在通訊、計算、調優等方面發揮關鍵作用。廠商優秀的系統架構和高效能網路架構設計能夠高效連接GPU，確保多卡並聯的運算效率，而硬體叢集管理和軟體框架設計則能提高硬體的可靠性和軟體的容錯度。
例如，商湯在底層訓練系統優化、模型設計、模型訓練、模型優化、模型服務等方面均儲備了技術能力和經驗知識，目前在千卡級能夠達到90% 以上的線性度，並且可以做到七天以上不間斷的穩定訓練；騰訊新一代HCC 高效能運算叢集基於自研的星脈高效能運算網路、儲存架構、TACO 訓練加速引擎等，能夠帶來3.2T超高互聯頻寬TB 級吞吐能力和千萬級IOPS。
大模型訓練的目標公式
業務場景落地經驗為大模型應用打下商業基礎
AI 大模型廠商積極探索大模型的商業化應用，在實務上累積業務場景落地經驗與大量多元數據，能夠幫助大模型加速走向產業。
在ChatGPT 掀起大模型浪潮前，國內AI大模型廠商已有各自的預訓練模型，基於深耕的業務場景探索大模型的商業化落地應用。百度2019 年發布自研的中文預訓練語言大模型ERINE 1.0 以及ERINE 2.0，能夠直接在度小滿的風控識別等性能不敏感的場景中直接使用，也可以應用於其搜尋引擎業務，在搜尋問答Query 辨識和QP 匹配場景中，賦予召回系統強大的語意配對能力，提升召回率約7%。而阿里達摩院在2021 年發布超大規模多模態預訓練模型M6，結合自身電商背景，透過M6 大模型優異的文生圖能力，將其落地於天貓虛擬主播、服飾設計等40 多個創造相關場景，應用於支付寶、淘寶、犀牛等平台，參與跨模態搜尋、文案撰寫、圖片設計等工作。
廠商前期的業務實踐能夠累積多元化的大量數據，不斷訓練迭代大模型，推進大模型的商業化落地。數據一方面來自公開訓練集，另一方面則源自原有業務沉澱的私有數據，如百度的搜尋引擎數據、百度智慧雲的產業數據，商湯的自動駕駛圖像數據等。廠商的業務累積能夠儲備業務場景相關的數據，在數據量和豐富度上掌握優勢，實現對大模型更進一步的專業訓練，滿足特定領域對準確度等方面的要求，推動大模型在行業級、產業級中的應用賦能。
百度ERNIE 模型蒸餾案例－搜尋問答Query 辨識和QP 匹配
AI 安全治理措施規範大模型商業化落地
大模型廠商建構AI 安全治理舉措，有助於AI 技術的可靠、可信以及永續發展。
廠商在推出大模型前充分的AI 安全治理的思考和持續性的洞察輸出，能夠保證在大模型推向市場時，即將其納入原有的規範流程中，以實際行動實踐並不斷更新理念，進而構築治理閉環。
企業在人工智慧領域具備涵蓋全生命週期的資料安全能力是應對資料風險的基礎。大模型廠商在資料收集、資料分析、資料處理、資料資產管理等環節建立對應的責任和評估機制，防止資料濫用、惡意入侵等風險，進一步實現資料的高品質利用，促進大模型的準確度以及可信性。
廠商AI 倫理研究和敏捷治理工作能夠促進AI 大模型健康發展。由於AI 技術發展迅速，而法律制度的建立需要更加謹慎的考量，往往政策出台落地需要較長的時間，因此企業需要自我規制，承擔更大的社會責任感，透過加強制度建設、倫理聯合研究、倫理風險審查及風險控制機制設立等措施，統籌推廣倫理治理工作體系建設，並與政府、學術研究院等多方合作建立治理框架，系統性應對資料、演算法及應用等不同層面的人工智慧倫理風險，推動AI 大模型及AI 產業永續發展。
阿里資料安全成熟度模型
商湯AI 治理理念
生態開放性幫助大模型廠商打造「技術-商業」閉環
大模型的生態開放性高低程度決定了大模型廠商能否成功打造「技術-商業」閉環。所謂的開放性能夠體現在大模型的開源、生態圈的打造等面向。
一方面，大模型的全面開源和基礎設施能力的開放能夠孵化更強的技術產品，加速商業化落地。大模型廠商透過投入自有研發資源，主動擁抱開源體系，接受監督，升級為開源社群的引領者，而龐大的開發者群體能夠以貢獻原始碼的方式為大模型注入創新動力，完善大模型底層架構的同時，提高大模型架構的拓展性，滿足多生態的互相呼叫。如智源研究院建立FlagOpen 大模型技術開源體系、 已在通用視覺開源平台OpenGVLab 開源的商湯的「書生2.5」多模態通用大模型、阿里巴巴達摩院推出的中文模型開源社群「 魔搭」（ModelScope）等，皆致力於以開源的形式加速大模型的發展迭代，推動通用AI 技術的規模化應用。
另一方面，大模型生態圈的建立能夠提高產品相容性，並以資料反哺模型加強迭代。從產業鏈來看，大模型和上游合作能夠提高大模型的對軟硬體適配性，大模型和下游的生態合作能夠拓展C 端和B/G 端的應用，以更多的用戶需求回饋規劃基礎模型和產業模型的迭代方向，增強使用者和客戶持續使用的信心，幫助大模型廠商構築競爭障礙。長期廣泛適配各種類型的場景，開發者、大學、國家實驗室、算力聯盟機構等生態的匯聚，能夠改善模型能力，提升AI 大模型的價值與意義。
非營利研究機構北京智源人工智慧研究院FlagOpen 飛智大模型技術開源體系
(AI雲原生智慧算力架構)