就在剛剛，Meta官宣了一則 AI 領域的大消息。
7月23日晚23點，Meta正式發佈全球性能最強、高達4050億參數版本的開源大模型Llama 3.1，背後需要數月的訓練時間和數億美元的計算能力。該公司表示，這是對 4 月份發佈的Llama 3的重大更新。
Meta首席執行官馬克·扎克伯格 (Mark Zuckerberg) 稱Llama 3.1為“最先進的”模型，並表示將與 OpenAI、Google等競爭對手的類似產品相媲美。
Meta 高管表示，該模型主要用於為 Meta 內部和外部開發人員的聊天機器人提供動力，具有廣泛的新功能，包括改進推理以幫助解決複雜的數學問題或立即合成整本書的文字。它還具有生成式人工智慧功能，可以通過文字提示按需建立圖像。一項名為“想像你自己”的功能允許使用者上傳他們的臉部圖像，然後可以使用該圖像在不同的場景和場景中建立他們的描述。
“我認為 AI 助手最重要的產品將是它的智能程度，”扎克伯格表示，Meta正在建造的 Llama 模型是世界上最先進的。他直言，Meta 已經在開發 Llama 4。
Meta 在人工智慧方面的投資一直很大。扎克伯格表示，Meta 的 Llama 3 模型的訓練計算能力花費了“數億美元”，但他預計未來的模型成本會更高。他說，“展望未來，計算能力將達到數十億美元”。
2023 年，Meta 試圖控制其在未來技術和管理層上的部分支出，在扎克伯格稱之為“效率年”的一年中削減了數千個工作崗位。但扎克伯格仍然願意在 AI 軍備競賽上花錢。
Meta 在 4 月份告訴投資者，今年計畫花費比最初預期多數十億美元的資金，其中一個核心原因是對 AI 的投資。據公司部落格文章稱，預計到今年年底，該公司將擁有約 350,000 個 Nvidia輝達H100 GPU。而H100 晶片已成為用於訓練 Llama 和 OpenAI 的 ChatGPT 等大型語言模型的基礎技術，每個晶片的成本可能高達數萬美元。
值得一提的是，Meta 使用其 Llama 模型為其 AI 聊天機器人（稱為 Meta AI）提供支援，該機器人在其應用（包括 Instagram 和 WhatsApp）內運行也作為獨立產品運行。
扎克伯格表示，Meta AI聊天機器人擁有“數億”使用者，並預計到今年年底它將成為世界上使用最廣泛的聊天機器人。另外，他認為，Meta 之外的其他人將使用 Llama 來訓練他們自己的 AI 模型。
扎克伯格強調，開源人工智慧是前進的道路。
“我相信人工智慧也會以類似的方式發展。今天，幾家科技公司正在開發領先的封閉模型。但開源正在迅速縮小差距。去年，Llama 2 僅與落後的上一代模型相當。今年，Llama 3 與最先進的模型相媲美，並在某些領域處於領先地位。從明年開始，我們預計未來的 Llama 模型將成為業內最先進的。但即使在此之前，Llama 已經在開放性、可修改性和成本效益方面處於領先地位。
今天，我們正朝著開源 AI 成為行業標準的目標邁進。我們發佈了第一個前沿級開源 AI 模型 Llama 3.1 405B，以及全新改進的 Llama 3.1 70B 和 8B 模型。除了相對於封閉模型具有顯著更好的成本/性能之外，405B 模型是開放的這一事實將使其成為微調和提煉較小模型的最佳選擇。
除了發佈這些模型之外，我們還與一系列公司合作，以發展更廣泛的生態系統。亞馬遜、Databricks 和 Nvidia 正在推出全套服務，以支援開發人員微調和提煉自己的模型。Groq 等創新者為所有新模型建構了低延遲、低成本的推理服務。這些模型將在所有主要雲平台上提供，包括 AWS、Azure、Google、Oracle 等。Scale.AI、戴爾、德勤等公司已準備好幫助企業採用 Llama 並使用自己的資料訓練自訂模型。隨著社區的發展和更多公司開發新服務，我們可以共同使 Llama 成為行業標準，並將 AI 的好處帶給每個人。
Meta 致力於開源 AI。我將概述為什麼我相信開源是最適合您的開發堆疊、為什麼開源 Llama 對 Meta 有利、為什麼開源 AI 對世界有利，因此是一個將長期存在的平台。”扎克伯格表示。
扎克伯格指出三點，為什麼開源 AI 有利於大眾。
首先，為什麼開源 AI 對開發人員有利。
我們需要訓練、微調和提煉我們自己的模型。每個組織都有不同的需求，最好使用不同大小的模型來滿足這些需求，這些模型是根據其特定資料進行訓練或微調的。裝置上的任務和分類任務需要小型模型，而更複雜的任務則需要更大的模型。現在，您將能夠採用最先進的 Llama 模型，繼續使用您自己的資料進行訓練，然後將它們提煉成最佳大小的模型 - 而無需我們或任何其他人查看您的資料。
我們需要掌控自己的命運，而不是被一家封閉的供應商所束縛。許多組織不想依賴他們無法自行運行和控制的模型。他們不希望封閉模型提供商能夠更改他們的模型、更改他們的使用條款，甚至完全停止為他們提供服務。他們也不想被束縛在擁有模型專有權的單一雲中。開源使擁有相容工具鏈的廣泛公司生態系統成為可能，您可以輕鬆地在它們之間移動。
我們需要保護我們的資料。許多組織處理需要保護的敏感資料，並且不能通過雲 API 傳送到封閉模型。其他組織根本不信任封閉模型提供商來處理他們的資料。開源通過讓您可以在任何您想要的地方運行模型來解決這些問題。人們普遍認為，開放原始碼軟體往往更安全，因為它的開發更加透明。
我們需要一個高效且運行成本低廉的模型。開發人員可以在自己的基礎設施上對 Llama 3.1 405B 進行推理，成本約為使用 GPT-4o 等封閉模型的 50%，無論是面向使用者還是離線推理任務。
我們希望投資於將成為長期標準的生態系統。許多人認為開放原始碼的發展速度比封閉模式更快，他們希望在能夠為他們帶來長期最大優勢的架構上建構系統。
其次，為什麼開源 AI 對Meta有利。
Meta 的商業模式是為人們打造最佳體驗和服務。要做到這一點，我們必須確保我們始終能夠使用最佳技術，並且不會陷入競爭對手的封閉生態系統，因為競爭對手會限制我們的建構。
我成長過程中的一個經歷就是，我們建構的服務受到蘋果允許我們在其平台上建構的內容的限制。從他們向開發者徵稅的方式、他們應用的任意規則以及他們阻止發佈的所有產品創新來看，很明顯，如果我們能夠建構我們產品的最佳版本，而競爭對手無法限制我們能夠建構的內容，那麼 Meta 和許多其他公司將可以自由地為人們建構更好的服務。從哲學層面上講，這是我如此堅信為下一代計算建構開放的 AI 和 AR/VR 生態系統的主要原因。
人們經常問我是否擔心開源 Llama 會放棄技術優勢，但我認為這忽略了大局，原因如下：
首先，為了確保我們能夠使用最好的技術，並且不會長期被困在封閉的生態系統中，Llama 需要發展成為一個完整的生態系統，包括工具、效率改進、晶片最佳化和其他整合。如果我們是唯一一家使用 Llama 的公司，那麼這個生態系統就不會發展，我們的境況也不會比封閉的 Unix 好。
其次，我預計人工智慧開發將繼續保持高度競爭，這意味著開源任何給定模型並不會失去當時相對於下一個最佳模型的巨大優勢。Llama 成為行業標準的道路是一代又一代地保持競爭力、高效和開放。
第三，Meta 與封閉模型提供商之間的一個關鍵區別是，出售 AI 模型存取權不是我們的商業模式。這意味著公開發佈 Llama 不會像封閉提供商那樣削弱我們的收入、可持續性或投資研究的能力。（這是一些封閉提供商不斷遊說政府反對開放原始碼的原因之一。）
最後，Meta 擁有悠久的開放原始碼專案和成功歷史。我們通過開放計算項目發佈我們的伺服器、網路和資料中心設計，並讓供應鏈在我們的設計上實現標準化，從而節省了數十億美元。我們通過開源領先的工具（如 PyTorch、React 等）從生態系統的創新中受益匪淺。只要我們長期堅持，這種方法就會一直對我們有效。
最後，為什麼開源人工智慧對世界有益。
我認為開源對於 AI 的美好未來必不可少。與任何其他現代技術相比，AI 更具有潛力提高人類的生產力、創造力和生活質量，並加速經濟增長，同時推動醫學和科學研究的進步。開源將確保全世界更多的人能夠享受 AI 帶來的好處和機會，權力不會集中在少數公司手中，並且該技術可以更均勻、更安全地應用於整個社會。
關於開源人工智慧模型的安全性的爭論一直存在，我的觀點是開源人工智慧將比其他選擇更安全。我認為政府會得出結論，支援開源符合他們的利益，因為它將使世界更加繁榮和安全。
我理解安全的框架是，我們需要防範兩類傷害：無意傷害和有意傷害。無意傷害是指人工智慧系統可能造成傷害，即使這不是運行該系統的人的意圖。例如，現代人工智慧模型可能會無意中給出不良的健康建議。或者，在更未來化的情況下，有人擔心模型可能會無意中自我複製或過度最佳化目標，從而損害人類。故意傷害是指壞人使用人工智慧模型來造成傷害。
值得注意的是，無意傷害涵蓋了人們對人工智慧的大部分擔憂——從人工智慧系統將對數十億使用它們的人產生什麼影響，到大多數對人類來說真正災難性的科幻場景。在這方面，開源應該更加安全，因為系統更加透明，可以受到廣泛的審查。從歷史上看，開放原始碼軟體因這個原因而更加安全。同樣，使用 Llama 及其安全系統（如 Llama Guard）可能比封閉模型更安全、更可靠。出於這個原因，大多數關於開源人工智慧安全的討論都集中在故意傷害上。
我們的安全流程包括嚴格的測試和紅隊測試，以評估我們的模型是否能夠造成重大傷害，目標是在發佈之前降低風險。由於模型是開放的，任何人都可以自己測試。我們必須記住，這些模型是根據網際網路上已有的資訊進行訓練的，因此在考慮危害時，首先應該考慮的是，與可以從 Google 或其他搜尋結果中快速檢索到的資訊相比，模型是否能夠造成更大的傷害。
在推理故意傷害時，區分個人或小規模行為者可能做的事情與擁有大量資源的國家等大規模行為者可能做的事情是有幫助的。
在未來的某個時候，個別不良行為者可能能夠利用人工智慧模型的智能，從網際網路上可用的資訊中製造出全新的危害。此時，權力平衡對人工智慧安全至關重要。我認為生活在一個人工智慧被廣泛部署的世界會更好，這樣更大的參與者就可以制衡較小不良行為者的力量。這就是我們在社交網路上管理安全的方式——我們更強大的人工智慧系統可以識別和阻止來自不太成熟的參與者的威脅，這些參與者通常使用規模較小的人工智慧系統。更廣泛地說，大規模部署人工智慧的大型機構將促進整個社會的安全和穩定。只要每個人都能使用類似的幾代模型——開源所促進的——那麼擁有更多計算資源的政府和機構將能夠用更少的計算來制衡不良行為者。
下一個問題是，美國和民主國家應該如何應對像中國這樣擁有大量資源的國家的威脅。美國的優勢是去中心化和開放式創新。有些人認為，我們必須封閉我們的模式，以防止中國獲得這些模式，但我認為這行不通，只會讓美國及其盟友處於不利地位。我們的對手擅長間諜活動，竊取適合拇指驅動器的模式相對容易，而且大多數科技公司的營運方式遠沒有讓這變得更加困難。最有可能的情況是，一個只有封閉模式的世界，會導致少數大公司和我們的地緣政治對手能夠獲得領先的模式，而初創公司、大學和小企業則錯失機會。此外，將美國創新限制在封閉開發中，增加了我們完全無法領先的可能性。相反，我認為我們最好的策略是建立一個強大的開放生態系統，讓我們的領先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進展，並在長期內實現可持續的先發優勢。
當你考慮未來的機遇時，請記住，當今大多數領先的科技公司和科學研究都是建立在開放原始碼軟體之上的。如果我們共同投資，下一代公司和研究將使用開源人工智慧。這包括剛剛起步的初創企業，以及可能沒有資源從頭開發自己的最先進人工智慧的大學和國家的人。
最重要的是，開源人工智慧代表了世界上利用這項技術為每個人創造最大經濟機會和安全的最佳機會。
然而，儘管承諾開放 Llama，但扎克伯格和其他公司高管仍對用於訓練 Llama 3.1 的資料集保密。
“儘管它是開放的，但我們也是為自己設計的，”他解釋道。扎克伯格表示，Meta 正在使用來自 Facebook 和 Instagram 的公開使用者帖子，以及該公司從其他公司獲得許可的其他“專有”資料集，但沒有透露具體細節。
對於中國大模型發展，“有一連串的想法是，‘好吧，我們需要把一切都封鎖起來，’”他說。“我只是碰巧認為這確實是錯誤的，因為美國依靠開放和去中心化的創新而繁榮。我的意思是，這就是我們經濟的運作方式，這就是我們創造出色產品的方式。所以我認為，封鎖一切會限制我們的行動，讓我們更有可能無法成為領導者。”
扎克伯格強調，美國在 AI 進步方面永遠領先中國數年也是不現實的，但他指出，即使是幾個月的小幅領先優勢，隨著時間的推移也會“復合”，從而給美國帶來明顯的優勢。 (鈦媒體AGI)
