小模型成了AI公司們降本增效的利器。

扎克伯格預測，Meta AI助手使用率幾個月後將超越ChatGPT。

7月24日凌晨，美國科技巨頭Meta推出迄今為止性能最強大的開源大模型——Llama 3.1 405B（4050億參數），同時發佈了全新升級的Llama 3.1 70B和8B模型版本。

Llama 3.1 405B支援上下文長度為128K tokens，是全球迄今為止性能最強大、參數規模最大的開源模型，在基於15兆個tokens、超1.6萬個H100 GPU上進行訓練，這也是Meta有史以來第一個以這種規模進行訓練的Llama模型。

因性能佳、開源、多方合作，目前所有Llama模型版本的總下載量已經超過3億次。研究人員基於超150個基準測試集的評測結果顯示，Llama 3.1 405B可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等業界頭部模型相媲美，包括亞馬遜AWS、輝達、微軟Azure和Google雲等25家頭部公司與Meta達成合作，引入Llama 3.1。

“這對於我們來說是久旱逢甘霖。”獨立分析師Jimmy告訴《中國企業家》。苦於缺乏長期高品質的訓練資料已久，全球AI領域的開發人員終於迎來了開源曙光。一般來說，較小的專家模型（參數規模在10億~100億）通常利用“蒸餾技術”，也就是利用更大的模型來增強訓練資料。但由於巨頭OpenAI的閉源，此類訓練資料的缺乏是各大模型共同的難題。

開、閉源之爭一直是AI圈的中心話題。Meta創始人、CEO扎克伯格提到：“我相信Llama 3.1的發佈將成為行業的一個轉折點”；360集團創始人周鴻禕也曾表示，開源社區聚集全球上千家公司、數十萬程式設計師和工程師，開發力量是一個閉源公司的數百倍。

1. 扎克伯格開源Llama 3.1，逼急OpenAI

Meta公佈前一天，Llama 3.1的模型和基準測試結果已經在國外的Reddit等社區上洩露，Llama 3.1的磁力連結也被流傳，“強大”“開源”成為評論區的高頻詞。

Llama 3.1包含8B、70B和405B三種參數規模，其中超大杯4050億版本，該系列模型上下文窗口增加到了128K，擴大16倍；增加了8種支援語言；提升了工具使用能力，支援搜尋和Wolfram Alpha的數學推理；擁有更寬鬆的許可，允許使用模型輸出改進其他LLMs。

事實上，開、閉源的大模型差距正在縮小。Meta在官博指出最新一代的Llama將激發新的應用程式和建模範式，包括利用合成資料生成來提升和訓練更小的模型，以及模型蒸餾——這是一種在開源領域從未有過的能力。在基準測試集中的表現幾乎可以媲美當前頂尖閉源模型GPT-4o和Claude 3.5 Sonnet，並且所有版本都可以在官網下載使用。

Meta對Llama 3.1的佈局在今年4月就有跡可循。當時Meta就透露說，正在開發人工智慧行業的第一款產品：一個性能與OpenAI等公司最好的私有模型相媲美的開源模型。

相比於OpenAI對技術細節的“惜字如金”，Meta此次不僅開放小助手應用線上試玩，還發佈了近100頁的詳細論文，涵蓋了創造Llama 3.1過程中的一切，比如訓練資料、過濾、退火、合成資料，並透露Llama 4已在開發中。

扎克伯格親自為開源大模型Llama 3.1站台，在推特撰寫長文《Open Source AI Is the Path Forward》強調開放原始碼的意義，他表示：“今天我們正邁出下一步——使開源AI成為行業標準。”在特斯拉前AI總監關於Llama 3.1大模型的帖子下面，馬斯克罕見地盛讚扎克伯格：“這令人印象深刻，扎克（伯格）的開源決定確實值得讚揚。”

Meta與OpenAI分別代表著開源與閉源的兩條技術路線。關於開源和閉源的鬥爭由來已久，此前在彭博社的採訪中，扎克伯格更是公開嘲諷：“阿爾特曼的領導能力值得稱讚，但有點諷刺的是公司名為OpenAl卻成為建構封閉式人工智慧模型的領導者。”

面對Meta這次的大招，OpenAI以低價策略應戰。

Meta公佈Llama 3.1兩個多小時後，OpenAI發佈消息：公司推出了GPT-4o mini微調功能版，從現在到9月23日可免費使用。據瞭解，GPT-4o mini的輸入tokens費用比GPT-3.5 Turbo 低90%，輸出tokens 費用低80%。即使免費期結束，GPT-4o mini的價格也比GPT-3.5 Turbo低一半。

價錢打折，但產品能力不打折。據瞭解，GPT-4o mini比經典版本GPT-3.5 Turbo能力更強，GPT-4o mini的上下文長度為65k tokens，是GPT-3.5 Turbo的四倍，推理上下文長度為128k tokens，是GPT-3.5 Turbo的八倍。

這就意味著，若使用GPT-4o mini微調版，就可以享受：以實惠的使用費用，使用更長的上下文、更聰明的頂尖大模型。阿爾特曼更是在推特發文表示，GPT-4o mini以1/20的價格在lmsys上實現了與GPT-4o接近的性能表現，他還希望大家能夠多多使用GPT-4o mini 微調版本。

此次OpenAI以發佈GPT-4o mini 微調版為盾，不僅是對Meta開源大模型步步緊逼的反擊，也同時將矽谷AI價格戰的火藥味推得更濃。

即使OpenAI推出可免費使用的小模型，但比起同為大模型的產品，Llama 3.1 405B的價格比GPT-4o仍然要低很多。

公開資料顯示，Llama 3.1的價格在Fireworks平台上是每1百萬tokens的輸入/輸出價格是3美元，而GPT-4o每1百萬tokens的輸入價格是5美元，輸出價格是15美元。此外，Claude 3.5 sonnet的每1百萬tokens的輸入價格是3美元，輸出價格是15美元。

這不是矽谷在AI方面的第一次“價格戰”。

今年5月，OpenAI發佈GPT-4o並支援免費試用，呼叫API的價格也比GPT-4-Turbo降低一半——打響了矽谷大模型價格戰第一槍，同時這也是2023年起OpenAI的第4次降價。7月18日深夜，GPT-4o mini的正式亮相，與GPT-3.5相比性能更強，也更便宜，連阿爾特曼都曾建議大家不要再用GPT-3.5了。

用低價“圍剿”OpenAI已成大模型公司們的慣例。公開資訊顯示，與GPT-4o相比較，各大公司的最新發佈的產品分別是：Meta的Llama 3.1，Google的Gemini 1.5 pro，Claude 3 Sonnet，新近的Mistral AI，這些最新大模型價格均低於GPT-4o。

國際頭部大模型公司產品價格表，資訊來源各大模型官網。製表：孫欣

而大模型的價格戰在國內也已開始。5月6日，初創大模型公司DeepSeek深度求索將輸入價格定為1元/百萬tokens。緊接著智譜AI的GLM-3-Turbo模型、字節跳動的豆包大模型，以及阿里巴巴的通義系列模型、百度的文心一言模型紛紛跟牌。

一直以來，大模型的發展受困於成本。斯坦福HAI研究所發佈的《斯坦福2024年人工智慧指數報告》指出，AI模型的培訓成本已經達到了前所未有的水平。例如，OpenAI的GPT-4估計使用了7800萬美元用於計算訓練，而Google的Gemini Ultra花費了1.91億美元用於計算。2017年訓練最初的Transformer模型的成本僅為約900美元。

而現在，小模型成了AI公司們降本增效的利器。

掀起新一輪價格戰前，OpenAI先手開卷小模型。7月18日，OpenAI發佈小模型GPT-4o mini，並稱其為“迄今為止最具成本效益的小模型”，正是上周（台北時間7月25日凌晨）宣佈免費使用的GPT-4o mini微調版的真身；蘋果公司在Hugging Face上發佈了DCLM-7B開源小模型；不久後，輝達和法國明星AI獨角獸Mistral聯合發佈了名為Mistral NeMo的小模型，稱可以直接替換任何使用Mistral 7B的系統。

小模型，通俗來說就是比大模型處理資料能力略小的模型，可以理解為mini版的大模型。在AI領域，參數規模越大，大模型學習能力越強，諸如GPT-4這些模型通常擁有數十億甚至數百億的參數。然而據OpenAI介紹，小模型GPT-4o mini在MMLU上的得分為82%，甚至某些表現優於大模型GPT-4。

對大部分使用者來說，小模型是大模型的“平替”，極具性價比。儘管小模型在處理複雜任務上不具優勢，但在小任務上具備更快的推理能力。同時對電腦儲存需求也更小，耗能也更小。根據各公司的大、小模型產品對比來看，小模型價格較低。根據Artificial Analysis的統計，美國AI公司主流“小模型”中，GPT-4o mini的價格最低，在無需處理複雜任務的“普通使用者”中或許將更受歡迎。

低價來自成本的降低。阿爾特曼在推特上發文指出，2022年世界上最好的模型text-davinci-003，它比GPT-4o mini差得多，但成本要貴上100多倍。這一波OpenAI搶先佈局小模型，就是想通過顯著降低AI使用成本，擴大AI使用範圍。

低成本、低性價比、更廣使用者適配度，小模型不僅能成為AI公司們to C端的有力手段，更是AI價格戰的應對神器，或將成為下一個新風口。

今年年初，2024百度AI開發者大會上，李彥宏提出未來大型的AI原生應用都是大小模型的混用。他還表示，使用者基於百度文心4.0，可以靈活剪裁出適用於不同場景的小尺寸模型，“在一些特定場景中，經過精調後的小模型，其使用效果甚至可以媲美大模型。”

國外GPT-4o、Llama 3.1輪番轟炸，國內“千模大戰”大浪淘沙，無論開源還是閉源，高價還是低價、大模型還是小模型，這波AI浪潮最後的勝者還未顯現。  (中國企業家雜誌)

扎克伯格期待 Llama 3.1 成為「老師」，用來微調小模型。

當地時間 7 月 23 日早上，Meta 開源了外界期待已久的大參數模型——Llama 3 405B。

Meta 發文稱，該模型在多項基準測試中優於 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。並且，扎克伯格預計，由 Llama3 支援的 Meta AI（Meta 的人工智慧助手）使用量將在未來幾個月內超過 ChatGPT。

比肩世界上最強大模型的 Llama3.1 開源，社交平台 X 上，很多人將這一事件視為歷史、拐點、史詩級時刻，這意味開源、閉源之間的差距進一步縮小乃至反超，還意味著開發者從此有了一個免費的最強基座模型在手。

在扎克伯格看來，這個拐點時刻則意味著「Llama 有機會成為開源 AI 的行業標準」，就像 Linux 之於移動網際網路一樣。

但與之相反，不少從業者指出一個問題，4000 億參數量級的密集模型，即便開源，很多人可能也用不起來，尤其是考慮到運行如此規模模型的算力叢集的複雜程度，再加上比較高的運行、推理成本，真正能用得上、用得轉的開發者並不多。

去年 Llama2 開源時，外界原本期待 Meta 逐漸開源最強模型後，難望項背的 GPT-4 能力的可以瞬間免費地加持所有人，直接拿來探索 AI 應用。但現在似乎不同，從最強模型中蒸餾小模型，成為了 Llama 3 405B 新的產業意義嗎？

早在今年四月，Meta 先開源了 Llama3 系列的兩個小參數版本的模型，8B 和 70B。比起幾個月前的 Llama 3，現在推出的 Llama 3.1 升級了先前的 8B 和 70B 模型，還發佈了迄今為止最大的開源模型 Llama 3 405B——後者擁有 4050 億個模型參數，採用了密集 Transformer 架構，具有 128K 的上下文窗口。

相比 Meta 去年 7 月發佈的 Llama2，迄今為止最大、最好的開源模型 Llama3.1 在眾多方面做了升級。

資料：使用了約 15T 的多語言 token，相較於 Llama 2 的 1.8T 有顯著提升。

規模：Llama 3 的訓練規模是 Llama 2 的 50 倍，模型參數和訓練計算量均大幅增加。

複雜性管理：選擇標準的密集 Transformer 架構，而非混合專家模型，以確保訓練的穩定性。

與行業水平相比，Llama 3 在多項任務上有著與領先模型（如 GPT-4）相當的性能，其在多個基準測試中表現優異，包括：

通用：在 MMLU、GSM8K 等基準上表現突出。

程式設計能力：在 HumanEval 和 MBPP 等程式設計基準上取得高分。

多語言能力：支援多種語言，尤其在德語、法語等語言上表現良好。

值得注意的是，去年 3 月 OpenAI 推出的 GPT-4 是擁有 1.8 兆參數的 MOE 架構（混合專家模型），自那以來，海內外大模型廠商大都採用或者遷移至這一架構，但今天發佈的 Llama3.1 並沒有採用這一架構。

在目前火熱的技術路線——多模態融合上，Llama3 目前也並不支援。官方論文介紹稱，Llama 3.1 支援多語言、程式設計、推理和工具使用，但目前還無法處理圖像、視訊或語音。論文中提到，Meta 正在致力於為該模型新增圖像識別、視訊識別和語音理解功能，但具有這些功能的版本「仍在積極開發中，尚未準備好發佈」。

02 Meta 的星辰大海是 AI 生態系統

今年 4 月的一檔播客訪談節目中，扎克伯格透露今年年末才會推出 Llama 3 405B，並且這個模型開源與否要視情況而定。顯然，這個時間表被提前了，在其尚不支援多模態、模型能力也尚不完美時，現在就開源可獲得。這是為什麼？

在 Meta 官網，扎克伯格寫了一封「開源 AI 是未來之路」（Open Source AI Is the Path Forward）的信，或許可以回答這個問題。

在他看來，人工智慧會以類似 Linux 的方式發展，而 Meta 有機會做大模型時代的 Linux，成為開源 AI 的行業標準。

在高性能計算早期，主要科技公司都投入巨資開發自己的 Unix 閉源版本，當時也很難想像任何其他方法來開發軟體。但最終，開源 Linux 獲得了普及——最初是因為它允許開發人員隨心所欲地修改其程式碼，而且價格更便宜，隨著時間的推移，它變得更先進、更安全，並且擁有比任何封閉式 Unix 更廣泛的生態系統，支援更多功能。如今，Linux 已成為雲端運算和運行大多數移動裝置的作業系統的行業標準基礎。

扎克伯格認為，儘管多家公司正在開發領先的閉源模型，但開源正在迅速縮小差距。以 Meta 為例，去年 Llama 2 隻能與第一梯隊玩家的舊版模型相媲美，今年，Llama 3 與最先進的模型競爭，並在某些方面處於領先地位。Meta 預計，未來的幾代 Llama 將成為業內最先進的模型。

從這一代模型開始，Meta 還將通過建立廣泛、開放的生態系統，致力於使開源 AI 成為行業標準，使 Llama 成為行業標準。比如像這次伴隨 Llama3.1 的發佈，與生態夥伴的「嵌合」也更加緊密：Amazon、Databricks 和輝達推出全套服務來支援開發人員微調和「蒸餾」自己的模型。

像 Groq 這樣的創新者已經為所有新模型建構了低延遲、低成本的推理。雲廠商已經準備好雲上部署 Llama3.1，包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴爾、德勤等公司已準備好幫助企業採用 Llama 並使用自己的資料訓練自訂模型。

Meta 大力投資開放原始碼的根本原因，當然是希望確保其可以獲得領先的模型。

但扎克伯格稱，在 Llama-3.1 之前，他本能地認為，如果 Llama 開源，就會有一個社區自發地圍繞它成長。或許是考慮到模型的部署不同於其他開放原始碼專案，還需要很多動手操作的環節、也需要很多資源支援，扎克伯格決定在擴展生態系統上更積極。

「我相信 Llama 3.1 版本將成為行業的一個轉折點，大多數開發人員開始主要使用開源，並且我預計這種方法只會從這裡開始發展。」

OpenAI 的願景是建構一個大 AI，Anthropic 和Google也有類似的願景。但 Meta 的願景是有很多不同的模型。每個創業公司、每個企業、每個政府都希望擁有自己的定製模型。而當閉源生態系統比開源系統好得多時，使用現成的閉源模型是更好的選擇，但現在不同了。

現在，開源基本上彌合了這一差距，人們現在有動力去定製和建構並訓練適合他們需求的模型，將他們的資料訓練到模型中。

官方報告指出，Llama 3.1 使用了超過 1.6 萬個輝達 H100 GPU 訓練而來，The Verge 根據其所用輝達晶片的成本估計，其訓練成本為數億美元。

能省去這麼一大筆錢，還有一個最強的基座模型，這是對開源最強模型的本能期待。但把模型落地到場景裡，還有一個迫在眉睫的現實問題——到底有多少開發者有能力把 4050 億參數的密集模型用起來。

深度學習框架 PyTorch 的聯合創始人、Facebook AI Research (FAIR) 的研究員 Soumith Chintala 發推稱 Meta 調度 1.6 萬 H100 GPU 算力叢集的有效訓練時間達到 90%。｜圖片來源：X.com

Llama3 論文中，有很長的篇幅在講基礎設施，1.6 萬張 H100 叢集在訓練過程中會如何失敗，包括如何平行化、保持叢集可靠等。對此，輝達高級科學家 Jim Fan 轉發點評，「基礎設施工作是人工智慧領域最被低估的工作，我能從這張表中的數字感受到內臟的疼痛和折磨」。

就運行 Llama 的開源模型而言，The Information 此前報導，應用程式開發者已經能夠使用一組八個連接的 AI 伺服器晶片（稱為節點）來運行開源模型。Llama 3 的較小版本可以正常運行，但較大的模型可能無法適應單個節點，而是需要多個節點。

幫助開發人員運行開源模型的推理提供商表示，這會帶來很多複雜性。為大模型提供支援的節點必須能夠協同工作，或者相互「交談」，而這並不容易設定。在某些情況下，這意味著節點在物理上必須彼此靠近。

通常，對於較小的模型，推理提供商可以使用相同的節點來處理不同客戶的請求，只要他們使用相同的 LLM。然而，對於較大的模型變得更加困難，因為它們需要同時協調多個節點（多節點推理）。

有推理供應商稱，可能需要幾周甚至幾個月的時間來重新設計他們的系統，以便能夠處理來自 Meta 的 4050 億個參數模型。在一日千里的大模型領域，這是很多時間。

同時，這些多節點組態也會提高運行模型的成本，儘管模型是免費提供的，但運行成本有時已經高於閉源模型。

Meta 當然意識到這個問題，與最大開源模型一同推出的，還有生態夥伴的合作方案，可以幫助任何開發者部署 Llama3.1 和各種工程化調優任務。但它仍然可能成為開發者使用 Llama3「超大杯」的一個挑戰。

在 Meta 看來，Llama 開源「除了相對於閉源模型具有明顯更好的性價比之外，405B 模型的開放性這一事實將使其成為微調和蒸餾較小模型的最佳選擇」。

此前，OpenAI 發現字節跳動通過大量與 GPT-4 對話、蒸餾其高品質資料後，第一時間封號、禁止了這種做法。現在，Meta 卻主動提出讓大家蒸餾。更值得玩味的是，開源一個最強模型後的使用場景不是免費拿它去做 AI 應用，而是蒸餾自己的小模型。

ChatGPT 發佈一年半以來，真實的市場需求下，很多企業並不會大規模使用大模型 API，而是基於開源模型做微調、從最強模型中蒸餾出企業自己可用的小模型，因為使用者和企業都非常關心他們的私人資料，以及關鍵模型的「自主可控」。

其中，微調（Fine-tuning）指的是利用已有的預訓練模型，在新的資料集上繼續訓練，對模型的參數進行少量的調整和最佳化，以使其適應特定的任務或領域。

蒸餾（Distillation）則是一種將大型複雜模型的知識壓縮並傳遞給較小、較簡單模型的技術。能在保持一定性能的前提下，降低模型的計算量和參數規模，提高模型的部署效率和運行速度。

扎克伯格接受 AI 博主採訪時談到對 Llama3「超大杯」的使用場景期待｜截圖來源：X.com@rowancheung

扎克伯格在一檔採訪節目中重申了這一點，「我最感興趣的是看到人們用它來蒸餾和微調自己的模型。我非常期待看到人們如何使用它，特別是現在我們制定了社區政策，允許人們將其用作教師模型來進行蒸餾和微調，基本上可以建立他們想要的任何其他模型」。

他認為，人們會希望直接在 4050 億參數的模型上進行推理，因為據 Meta 估計，這樣做的成本將比 GPT-4 低 50% 左右。人們可以將模型蒸餾到任何他們想要的大小，用於合成資料生成，作為教師模型使用。

在大模型上，擁有最多 Super App 的 Meta，必須確保始終能夠獲得最好的 AI 技術。為了實現這一目標，開源是 Meta 的手段之一，策略則是建立一個強大的、開放的 AI 生態系統。

但這也帶來一個質疑，Meta 沒有像亞馬遜、Google和微軟那樣擁有能夠利用大模型推動業務的雲端運算，這就意味著 Meta 將其如此巨大的投入轉化為收入的能力更加有限。

扎克伯格反而將這一質疑視為優勢，他稱，「出售大模型的存取權不是我們的商業模式。這意味著公開發佈 Llama 不會像閉源模型廠商那樣削弱收入、可持續性或研究、投資能力。」

Meta 的 AI 商業化，目前仍是改進其廣告業務、使其新的 AI 助手（Meta AI）成為殺手級 AI 用例。

Llama 3.1 現在為 Meta AI 提供支援，Meta AI 是 Meta 應用程式和雷朋智能眼鏡中提供的 AI 助手，它被定位為像 ChatGPT 這樣的通用聊天機器人，幾乎可以在 Instagram、Facebook 和 WhatsApp 的任何地方找到。

可選 Llama 3.1 支援 Meta AI｜圖片來源：Meta 官網

從本周開始，Llama 3.1 將首先通過美國的 WhatsApp 和 Meta AI 網站存取，隨後在接下來的幾周內通過 Instagram 和 Facebook 訪問。它正在更新以支援新語言，包括法語、德語、印地語、義大利語和西班牙語。

伴隨 Llama 3.1 的發佈，Meta AI 新增了一項新的「想像我」功能，可以根據使用者的特定肖像生成圖像的功能。通過以這種方式而不是通過個人資料中的照片捕捉使用者肖像，Meta 有望避免建立深度偽造（Deepfake）機器。

Meta AI 也將在未來幾周內出現在 Quest 耳機中，取代其語音命令介面。就像它在 Meta Ray-Ban 眼鏡中的實現一樣，使用者能夠在 Quest 上使用 Meta AI 來識別和瞭解耳機直通模式下正在查看的內容，該模式通過螢幕顯示現實世界。

扎克伯格在 Instagram 上發帖稱，數億人已經使用了 Meta AI。他預測，到今年年底，Meta AI 將超過 ChatGPT（ChatGPT 擁有超過 1 億使用者），成為使用最廣泛被使用的 AI 助手。

對於未來的 AI 應用圖景，扎克伯格稱，Meta 的願景是，應該有許多不同的 AI 及其 AI 服務，而不僅僅是單一的 AI，這一看法也影響了 Meta 的開源方法和產品路線圖。

「我們的重點是讓每個創作者和每個小企業都能建立自己的 AI Agent，使每個人都能在我們的平台上建立他們想要的 AI Agent，這些都是巨大的市場。世界上有數億的小企業，一個企業可以通過幾次點選就能建立一個 AI Agent 來進行客戶支援、銷售，並與所有客戶溝通。未來每個企業都會像現在有電子郵件地址、網站和社交媒體一樣，擁有一個他們的客戶可以交流的 AI Agent。我們將生活在一個擁有數億甚至數十億不同 AI Agent 的世界裡，可能最終 AI Agent 的數量會超過世界上的人口，人們將以各種不同的方式與它們互動。這是產品願景的一部分，其中有很多商業機會，這是我們希望賺錢的地方。」

最後，他還劇透，Llama-4 已經在路上了，甚至不止 Llama4。「規劃計算叢集和資料軌跡不僅僅是針對 Llama-4，而是未來四五個版本的 Llama，這確實是件有趣的事情，因為這些都是需要長期投資的事情，建設資料中心、配套的電力、晶片架構和網路架構等」。 (極客公園)

就在剛剛，Meta官宣了一則 AI 領域的大消息。

7月23日晚23點，Meta正式發佈全球性能最強、高達4050億參數版本的開源大模型Llama 3.1，背後需要數月的訓練時間和數億美元的計算能力。該公司表示，這是對 4 月份發佈的Llama 3的重大更新。

Meta首席執行官馬克·扎克伯格 (Mark Zuckerberg) 稱Llama 3.1為“最先進的”模型，並表示將與 OpenAI、Google等競爭對手的類似產品相媲美。

Meta 高管表示，該模型主要用於為 Meta 內部和外部開發人員的聊天機器人提供動力，具有廣泛的新功能，包括改進推理以幫助解決複雜的數學問題或立即合成整本書的文字。它還具有生成式人工智慧功能，可以通過文字提示按需建立圖像。一項名為“想像你自己”的功能允許使用者上傳他們的臉部圖像，然後可以使用該圖像在不同的場景和場景中建立他們的描述。

“我認為 AI 助手最重要的產品將是它的智能程度，”扎克伯格表示，Meta正在建造的 Llama 模型是世界上最先進的。他直言，Meta 已經在開發 Llama 4。

Meta 在人工智慧方面的投資一直很大。扎克伯格表示，Meta 的 Llama 3 模型的訓練計算能力花費了“數億美元”，但他預計未來的模型成本會更高。他說，“展望未來，計算能力將達到數十億美元”。

2023 年，Meta 試圖控制其在未來技術和管理層上的部分支出，在扎克伯格稱之為“效率年”的一年中削減了數千個工作崗位。但扎克伯格仍然願意在 AI 軍備競賽上花錢。

Meta 在 4 月份告訴投資者，今年計畫花費比最初預期多數十億美元的資金，其中一個核心原因是對 AI 的投資。據公司部落格文章稱，預計到今年年底，該公司將擁有約 350,000 個 Nvidia輝達H100 GPU。而H100 晶片已成為用於訓練 Llama 和 OpenAI 的 ChatGPT 等大型語言模型的基礎技術，每個晶片的成本可能高達數萬美元。

值得一提的是，Meta 使用其 Llama 模型為其 AI 聊天機器人（稱為 Meta AI）提供支援，該機器人在其應用（包括 Instagram 和 WhatsApp）內運行也作為獨立產品運行。

扎克伯格表示，Meta  AI聊天機器人擁有“數億”使用者，並預計到今年年底它將成為世界上使用最廣泛的聊天機器人。另外，他認為，Meta 之外的其他人將使用 Llama 來訓練他們自己的 AI 模型。

扎克伯格強調，開源人工智慧是前進的道路。

“我相信人工智慧也會以類似的方式發展。今天，幾家科技公司正在開發領先的封閉模型。但開源正在迅速縮小差距。去年，Llama 2 僅與落後的上一代模型相當。今年，Llama 3 與最先進的模型相媲美，並在某些領域處於領先地位。從明年開始，我們預計未來的 Llama 模型將成為業內最先進的。但即使在此之前，Llama 已經在開放性、可修改性和成本效益方面處於領先地位。

今天，我們正朝著開源 AI 成為行業標準的目標邁進。我們發佈了第一個前沿級開源 AI 模型 Llama 3.1 405B，以及全新改進的 Llama 3.1 70B 和 8B 模型。除了相對於封閉模型具有顯著更好的成本/性能之外，405B 模型是開放的這一事實將使其成為微調和提煉較小模型的最佳選擇。

除了發佈這些模型之外，我們還與一系列公司合作，以發展更廣泛的生態系統。亞馬遜、Databricks 和 Nvidia 正在推出全套服務，以支援開發人員微調和提煉自己的模型。Groq 等創新者為所有新模型建構了低延遲、低成本的推理服務。這些模型將在所有主要雲平台上提供，包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴爾、德勤等公司已準備好幫助企業採用 Llama 並使用自己的資料訓練自訂模型。隨著社區的發展和更多公司開發新服務，我們可以共同使 Llama 成為行業標準，並將 AI 的好處帶給每個人。

Meta 致力於開源 AI。我將概述為什麼我相信開源是最適合您的開發堆疊、為什麼開源 Llama 對 Meta 有利、為什麼開源 AI 對世界有利，因此是一個將長期存在的平台。”扎克伯格表示。

扎克伯格指出三點，為什麼開源 AI 有利於大眾。

首先，為什麼開源 AI 對開發人員有利。

我們需要訓練、微調和提煉我們自己的模型。每個組織都有不同的需求，最好使用不同大小的模型來滿足這些需求，這些模型是根據其特定資料進行訓練或微調的。裝置上的任務和分類任務需要小型模型，而更複雜的任務則需要更大的模型。現在，您將能夠採用最先進的 Llama 模型，繼續使用您自己的資料進行訓練，然後將它們提煉成最佳大小的模型 - 而無需我們或任何其他人查看您的資料。

我們需要掌控自己的命運，而不是被一家封閉的供應商所束縛。許多組織不想依賴他們無法自行運行和控制的模型。他們不希望封閉模型提供商能夠更改他們的模型、更改他們的使用條款，甚至完全停止為他們提供服務。他們也不想被束縛在擁有模型專有權的單一雲中。開源使擁有相容工具鏈的廣泛公司生態系統成為可能，您可以輕鬆地在它們之間移動。

我們需要保護我們的資料。許多組織處理需要保護的敏感資料，並且不能通過雲 API 傳送到封閉模型。其他組織根本不信任封閉模型提供商來處理他們的資料。開源通過讓您可以在任何您想要的地方運行模型來解決這些問題。人們普遍認為，開放原始碼軟體往往更安全，因為它的開發更加透明。

我們需要一個高效且運行成本低廉的模型。開發人員可以在自己的基礎設施上對 Llama 3.1 405B 進行推理，成本約為使用 GPT-4o 等封閉模型的 50%，無論是面向使用者還是離線推理任務。

我們希望投資於將成為長期標準的生態系統。許多人認為開放原始碼的發展速度比封閉模式更快，他們希望在能夠為他們帶來長期最大優勢的架構上建構系統。

其次，為什麼開源 AI 對Meta有利。

Meta 的商業模式是為人們打造最佳體驗和服務。要做到這一點，我們必須確保我們始終能夠使用最佳技術，並且不會陷入競爭對手的封閉生態系統，因為競爭對手會限制我們的建構。

我成長過程中的一個經歷就是，我們建構的服務受到蘋果允許我們在其平台上建構的內容的限制。從他們向開發者徵稅的方式、他們應用的任意規則以及他們阻止發佈的所有產品創新來看，很明顯，如果我們能夠建構我們產品的最佳版本，而競爭對手無法限制我們能夠建構的內容，那麼 Meta 和許多其他公司將可以自由地為人們建構更好的服務。從哲學層面上講，這是我如此堅信為下一代計算建構開放的 AI 和 AR/VR 生態系統的主要原因。

人們經常問我是否擔心開源 Llama 會放棄技術優勢，但我認為這忽略了大局，原因如下：

首先，為了確保我們能夠使用最好的技術，並且不會長期被困在封閉的生態系統中，Llama 需要發展成為一個完整的生態系統，包括工具、效率改進、晶片最佳化和其他整合。如果我們是唯一一家使用 Llama 的公司，那麼這個生態系統就不會發展，我們的境況也不會比封閉的 Unix 好。

其次，我預計人工智慧開發將繼續保持高度競爭，這意味著開源任何給定模型並不會失去當時相對於下一個最佳模型的巨大優勢。Llama 成為行業標準的道路是一代又一代地保持競爭力、高效和開放。

第三，Meta 與封閉模型提供商之間的一個關鍵區別是，出售 AI 模型存取權不是我們的商業模式。這意味著公開發佈 Llama 不會像封閉提供商那樣削弱我們的收入、可持續性或投資研究的能力。（這是一些封閉提供商不斷遊說政府反對開放原始碼的原因之一。）

最後，Meta 擁有悠久的開放原始碼專案和成功歷史。我們通過開放計算項目發佈我們的伺服器、網路和資料中心設計，並讓供應鏈在我們的設計上實現標準化，從而節省了數十億美元。我們通過開源領先的工具（如 PyTorch、React 等）從生態系統的創新中受益匪淺。只要我們長期堅持，這種方法就會一直對我們有效。

最後，為什麼開源人工智慧對世界有益。

我認為開源對於 AI 的美好未來必不可少。與任何其他現代技術相比，AI 更具有潛力提高人類的生產力、創造力和生活質量，並加速經濟增長，同時推動醫學和科學研究的進步。開源將確保全世界更多的人能夠享受 AI 帶來的好處和機會，權力不會集中在少數公司手中，並且該技術可以更均勻、更安全地應用於整個社會。

關於開源人工智慧模型的安全性的爭論一直存在，我的觀點是開源人工智慧將比其他選擇更安全。我認為政府會得出結論，支援開源符合他們的利益，因為它將使世界更加繁榮和安全。

我理解安全的框架是，我們需要防範兩類傷害：無意傷害和有意傷害。無意傷害是指人工智慧系統可能造成傷害，即使這不是運行該系統的人的意圖。例如，現代人工智慧模型可能會無意中給出不良的健康建議。或者，在更未來化的情況下，有人擔心模型可能會無意中自我複製或過度最佳化目標，從而損害人類。故意傷害是指壞人使用人工智慧模型來造成傷害。

值得注意的是，無意傷害涵蓋了人們對人工智慧的大部分擔憂——從人工智慧系統將對數十億使用它們的人產生什麼影響，到大多數對人類來說真正災難性的科幻場景。在這方面，開源應該更加安全，因為系統更加透明，可以受到廣泛的審查。從歷史上看，開放原始碼軟體因這個原因而更加安全。同樣，使用 Llama 及其安全系統（如 Llama Guard）可能比封閉模型更安全、更可靠。出於這個原因，大多數關於開源人工智慧安全的討論都集中在故意傷害上。

我們的安全流程包括嚴格的測試和紅隊測試，以評估我們的模型是否能夠造成重大傷害，目標是在發佈之前降低風險。由於模型是開放的，任何人都可以自己測試。我們必須記住，這些模型是根據網際網路上已有的資訊進行訓練的，因此在考慮危害時，首先應該考慮的是，與可以從 Google 或其他搜尋結果中快速檢索到的資訊相比，模型是否能夠造成更大的傷害。

在推理故意傷害時，區分個人或小規模行為者可能做的事情與擁有大量資源的國家等大規模行為者可能做的事情是有幫助的。

在未來的某個時候，個別不良行為者可能能夠利用人工智慧模型的智能，從網際網路上可用的資訊中製造出全新的危害。此時，權力平衡對人工智慧安全至關重要。我認為生活在一個人工智慧被廣泛部署的世界會更好，這樣更大的參與者就可以制衡較小不良行為者的力量。這就是我們在社交網路上管理安全的方式——我們更強大的人工智慧系統可以識別和阻止來自不太成熟的參與者的威脅，這些參與者通常使用規模較小的人工智慧系統。更廣泛地說，大規模部署人工智慧的大型機構將促進整個社會的安全和穩定。只要每個人都能使用類似的幾代模型——開源所促進的——那麼擁有更多計算資源的政府和機構將能夠用更少的計算來制衡不良行為者。

下一個問題是，美國和民主國家應該如何應對像中國這樣擁有大量資源的國家的威脅。美國的優勢是去中心化和開放式創新。有些人認為，我們必須封閉我們的模式，以防止中國獲得這些模式，但我認為這行不通，只會讓美國及其盟友處於不利地位。我們的對手擅長間諜活動，竊取適合拇指驅動器的模式相對容易，而且大多數科技公司的營運方式遠沒有讓這變得更加困難。最有可能的情況是，一個只有封閉模式的世界，會導致少數大公司和我們的地緣政治對手能夠獲得領先的模式，而初創公司、大學和小企業則錯失機會。此外，將美國創新限制在封閉開發中，增加了我們完全無法領先的可能性。相反，我認為我們最好的策略是建立一個強大的開放生態系統，讓我們的領先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進展，並在長期內實現可持續的先發優勢。

當你考慮未來的機遇時，請記住，當今大多數領先的科技公司和科學研究都是建立在開放原始碼軟體之上的。如果我們共同投資，下一代公司和研究將使用開源人工智慧。這包括剛剛起步的初創企業，以及可能沒有資源從頭開發自己的最先進人工智慧的大學和國家的人。

最重要的是，開源人工智慧代表了世界上利用這項技術為每個人創造最大經濟機會和安全的最佳機會。

然而，儘管承諾開放 Llama，但扎克伯格和其他公司高管仍對用於訓練 Llama 3.1 的資料集保密。

“儘管它是開放的，但我們也是為自己設計的，”他解釋道。扎克伯格表示，Meta 正在使用來自 Facebook 和 Instagram 的公開使用者帖子，以及該公司從其他公司獲得許可的其他“專有”資料集，但沒有透露具體細節。

對於中國大模型發展，“有一連串的想法是，‘好吧，我們需要把一切都封鎖起來，’”他說。“我只是碰巧認為這確實是錯誤的，因為美國依靠開放和去中心化的創新而繁榮。我的意思是，這就是我們經濟的運作方式，這就是我們創造出色產品的方式。所以我認為，封鎖一切會限制我們的行動，讓我們更有可能無法成為領導者。”

扎克伯格強調，美國在 AI 進步方面永遠領先中國數年也是不現實的，但他指出，即使是幾個月的小幅領先優勢，隨著時間的推移也會“復合”，從而給美國帶來明顯的優勢。 (鈦媒體AGI)

彙整鉅亨號中所有使用「Llama 3.1」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

馬斯克力挺扎克伯格，OpenAI“0元”應戰

提前曝光 Llama 3.1，Meta 為什麼想做「大模型界 Linux」？

全球性能最強4050億開源大模型Llama 3.1來了！小扎反擊：開源 AI 是前進的道路