Llama 3突然來襲！開源社群再次沸騰：GPT-4等級模式可以自由存取的時代到來
Llama 3來了！
就在剛剛，Meta官網上新，官方宣布了Llama 3 80億和700億參數版本。
並且推出即為開源SOTA：
Meta官方數據顯示，Llama 3 8B和70B版本在各自參數規模上超越一眾對手。
8B模型在MMLU、GPQA、HumanEval等多項基準上都勝過Gemma 7B和Mistral 7B Instruct。
而70B模型則超越了閉源的當紅炸子雞Claude 3 Sonnet，和谷歌的Gemini Pro 1.5打得有來有回。
Huggingface連結一出，開源社群再次沸騰。
眼尖的盲生還第一時間發現了華點：
Meta更藏了一手4000億參數+的Llama 3版本，不遜於Claude 3超大杯Opus的那種！
AI寫作助理創辦人HyperWriteAI的CEO見此已忍不住感慨：
我們正在步入一個新世界，一個GPT-4級別的模型開源並且可以自由訪問的世界。
輝達科學家Jim Fan則認為，仍在訓練中的Llama 3 400B將成為開源大模型的分水嶺，改變許多學界研究和新創公司的發展方式。
全面取得SOTA，但8k窗口
更多技術細節，Meta在部落格文章中給出。
架構層面，Llama 3選擇了經典的僅解碼（decoder-only）式Transformer架構，採用包含128K token詞彙表的分詞器。
訓練數據上看，Llama 3的訓練數據規模達到了15T tokens，全部來自於公開訊息，其中5%為非英文數據，涵蓋30多種語言。
Llama 3的資料量比Llama 2的訓練資料多7倍，其中程式碼比Llama 2多4倍。
此外，為了提高Llama 3 模型的推理效率，Meta AI也採用了分組查詢注意力(GQA)機制，在8192個tokens的序列上訓練模型，並使用掩碼確保自註意力不會跨越文檔邊界。
結果，無論是8B或70B版本，Llama 3相較於近似規模的上一代Llama 2，都取得了重大飛躍。
在迄今為止的8B和70B參數規模的模型中，Llama 3都成為了新的SOTA模型。
在語言（MMLU）、知識（GPQA）、程式設計（HumanEval）、數學（GSM-8K、MATH）等能力上，Llama 3幾乎全面領先於其他同等規模的模式。
除了這些常規的資料集，Meta AI還評估了Llama 3在現實場景中的效能，並為此研發了一套高品質的測試資料集。
這個測試集包含了1800條數據，涵蓋程式碼、推理、寫作、總結等12 個關鍵用例，並針對開發團隊保密。
結果，Llama 3不僅大幅超越Llama 2，也戰勝了Claude 3 Sonnet、Mistral Medium和GPT-3.5這些知名模型。
而在AGIEval、BIG-Bench、ARC-Challenge這些更高階、更困難的資料集上，Llama 3的表現同樣可圈可點。
8B版本在這些任務上超越了Mistral和Gemma，70B版本則戰勝了Gemini Pro和MoE架構的Mixtral，分別斬獲對應規模的SOTA。
不過美中不足的是，Llama 3的上下文視窗只有8k，這與現在動輒幾十上百萬窗口的大模型相比，彷彿還停留在上一代（手動狗頭）。
但也不必過度擔憂，Matt Shumer對此持樂觀態度，他表示相信在開源社群的努力下，視窗長度很快就會擴展上去。
Llama迎來官方網頁版
目前，Llama 3兩種參數量的基礎和Instruct版本都已上線Hugging Face可供下載。
此外，微軟Azure、Google雲端、亞馬遜AWS、輝達NIM等雲端服務平台也將陸續上線Llama 3。
同時，Meta也表示Llama 3會得到英特爾、輝達、AMD、高通等多家廠商提供的硬體平台支援。
值得一提的是，這次與基礎模型一同發布的，還有基於Llama 3的官方Web版本，名字就叫做Meta AI。
目前平台有對話和繪畫兩大功能，只用對話的話無需註冊登入、即開即用，使用繪畫功能則需要先登入帳號。
不過，目前該平台還不支援中文，也暫未上線文字上傳等功能。
在程式碼方面，該平台也能夠運行一些簡單的Python程序，但似乎只能輸出文本，涉及到繪圖這樣的任務就無法運行了。
總得來看，這個網頁版本還比較初級，但不妨期待一波後面的更新。
One More Thing
一個小插曲是，其實在Meta官員宣前幾個小時，微軟的Azure市場已經偷跑了Llama 3 8B Instruct版本的消息。
開源模型機器學習線上平台Replicate上的Llama 3價格表也被網友們第一時間扒拉了出來。
但很快，這些「小道消息」就都被404了。
還好烏龍完了，官方也沒拖著，關心開源大模型的小夥伴們，可以造作起來了（doge）。
參考連結：
[1] https://ai.meta.com/blog/meta-llama-3/
[2] https://about.fb.com/news/2024/04/meta-ai-assistant-built -with-llama-3/
[3] https://huggingface.co/meta-llama/Meta-Llama-3-70B
— 完畢 — (量子位元)