Google發佈Gemma 3，一個基於 Gemini 2.0 的全新開源模型

https://blog.google/technology/developers/gemma-3/


給大家畫個重點

Gemma 3 設計目標是在各種裝置上快速運行，從手機、筆記型電腦到工作站，幫助開發者建立 AI 應用。 多種尺寸版本 (1B, 4B, 12B, 27B) 以適應不同的硬體和性能需求
Gemma 3 的新功能和亮點：

• 世界領先的單加速器模型: Gemma 3 在同等規模模型中性能卓越，在 LMArena 排行榜上優於 Llama-405B, DeepSeek-V3 和 o3-mini。 可以在單個 GPU（H100） 或 TPU 上運行

• 支援 140 種語言: Gemma 3 開箱即用支援 35 種以上語言，並預訓練支援超過 140 種語言，幫助開發者建構多語言應用

• 高級文字和視覺推理能力: 可以分析圖像、文字和短影片，為互動式和智能應用帶來新的可能性。 （注意：4B, 12B, 和 27B 版本支援視覺功能）

• 擴展的上下文窗口: 提供 128k token 的上下文窗口，可以處理和理解大量資訊

• 函數呼叫功能: 支援函數呼叫和結構化輸出，幫助自動化任務和建構智能體應用

• 高性能和量化模型: 推出官方量化版本，在保持高精度的同時，降低模型大小和計算需求

• 快速開始實驗: 可以通過 Google AI Studio 或 Kaggle/Hugging Face 下載模型

• 靈活定製: 提供最佳化的程式碼庫，方便開發者進行微調和推理，可以使用 Google Colab, Vertex AI 甚至遊戲 GPU 進行訓練

• 多種部署方式: 提供多種部署選項，包括 Vertex AI, Cloud Run, Google GenAI API 等

• 支援多種硬體平台: 最佳化用於 Google Cloud TPU，並可通過開源 ROCm™ 堆疊與 AMD GPU 整合。 CPU 執行可以使用 Gemma.cpp

• Gemma 3 學術項目: 為學術研究人員提供 Google Cloud 額度 (每個獎項價值 10,000 美元) 以加速基於 Gemma 3 的研究  (AI寒武紀)

可在單張A100/H100 GPU或TPU主機上高效運行全精度推理。

智東西6月28日報道，Google在I/O Connect大會上放大招，公佈其新一代最強開源模型－Gemma 2。

Gemma 2有90億（9B）和270億（27B）兩種參數規模可用。 27B模型訓練了13T tokens，9B是8T tokens，都擁有8192上下文窗口，可在Google AI Studio中使用。26億參數（2.6B）模型將很快發布，小到可以在手機本地運行。

在盲測大語言模型競技場LMSYS Chatbot Arena中，270億參數的Gemma 2指令微調模型擊敗了擁有700億參數的Llama 3，並超過Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有開源權重的模型中排名第一；9B模型則是目前15B以下參數的模型中成績最好的。

谷歌在今年稍早推出輕量級先進開源模型Gemma，只有2B和7B參數版本，下載量超過1000萬次。 Gemma 2涵蓋從20億到270億參數，比第一代性能更高、推理效率更高，並且顯著改善安全性。這是該系列模型邁出的一大步。

270億參數的Gemma 2提供了與兩倍以上參數的模型競爭的替代方案，提供了直到去年12月才可能實現的性能，而且可以在單個英偉達A100/H100 Tensor Core GPU或TPU主機上以全精度高效運作推理，大大降低了部署成本。

在Hugging Face的基準上，Google將Gemma 2 27B與具有類似尺寸的Qwen1.5 32B進行了比較，也報告了Llama 3 70B的性能。Gemma 2 27B的尺寸只有Llama 3 70B的40%，訓練資料少到Llama 3 70B的2/3。結果顯示，Gemma 2 27B優於Qwen1.5 32B，比Llama 3 70B低幾個百分點。

重新設計架構，Gemma 2有三大特點

Gemma 2的技術報告共15頁，介紹了其架構的多項技術改進，包括交替使用局部-全局注意力機制和分組查詢注意力，還使用知識蒸餾而不是下一個token預測來幫助訓練較小的2B和9B模型。

2.6B模型在一個TPUv5e集群的2x16x16配置上訓練，總共用了512張晶片。 9B模型在TPUv4群集的8x16x32配置上訓練，總共4096張晶片。 27B模型在TPUv5p集群的8x24x32配置上訓練，總共用了6144張晶片。

針對更高的效能和推理效率，Google在重新設計的架構上建構了Gemma 2。該模型採用與Gemma 1.1相似的演算法配方，但用了更多的teacher監督並執行了模型合併。在程式設計、數學、推理、安全等能力上，Gemma 2都比1.1版本提升顯著。

▲主要模型參數及設計選擇的概述

結果，Gemma 2模型在其規模上提供了最佳性能，甚至提供了與大2-3倍的模型競爭的替代方案。以下是其突出的特點：

（1）卓越性能： Gemma 2 27B在其同類大小中提供了最佳性能，甚至提供了與兩倍以上大小的模型競爭的替代方案。 Gemma 2 9B型號也提供了領先的性能，超過了Llama 3 8B和其他同類大小的開源模型。

谷歌在各種基準上比較2.6B、9B及27B模型，報告了可以與Llama 3進行比較的8個基準測試的平均性能，以及所有基準測試的平均性能。 Llama 3 8B的資料來自HuggingFace leaderboard或其部落格。

在MMLU上，9B模型得分為71.3，27B模型為75.2；在AGIEval上，9B模型得分52.8，27B模型得分55.1；在HumanEval上，9B模型得分40.2，27B模型得分51.8。

（2）無與倫比的效率和成本節省： Gemma 2 27B模型設計用於在單一谷歌雲TPU主機、英偉達A100 80GB Tensor Core GPU或H100 Tensor Core GPU上高效運行全精度推理，在保持高性能的同時顯著降低成本。這使得AI部署更加易於存取和經濟實惠。

（3）各種硬體的快速推理： Gemma 2經過最佳化，可以在各種硬體上以令人難以置信的速度運行，硬體從強大的遊戲筆記型電腦和高階桌上型電腦到基於雲端的設定。在Google AI Studio中以全精度試用Gemma 2，在CPU上使用Gemma.cpp的量化版本解鎖本地性能，或在家用電腦上透過Hugging Face Transformers在英偉達RTX或GeForce RTX上試用。

支援商業化，相容於廣泛框架，方便部署

Gemma 2為開發者和研究人員構建，其設計更容易整合到工作流程中：

（1）開放且可訪問：與原始Gemma模型一樣，Gemma 2也是根據谷歌具有商業友好的Gemma許可發布的，允許開發人員和研究人員分享和商業化他們的創新。

（2）廣泛的框架相容性： Gemma 2相容於主要的AI框架，如Hugging Face Transformers，以及透過原生Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama的JAX、PyTorch和TensorFlow。此外，Gemma優化了英偉達TensorRT-LLM以在英偉達加速基礎設施上運作或作為英偉達NIM推理微服務運作。使用者可以使用Keras和Hugging Face進行微調。谷歌正在積極努力實現更多參數高效的微調選項。

（3）輕鬆部署：從下個月開始，Google雲端客戶將能輕鬆在Vertex AI上部署和管理Gemma 2。

新的Gemma Cookbook是一個包含實用範例和指南的集合，引導使用者建立自己的應用程式並為特定任務微調Gemma 2模型。

提供負責任的AI開發資源，嚴格測試評估模型安全性

在負責任的AI開發方面，Google提供負責任地建構和部署AI所需的資源，包括負責任的生成式AI工具包。最近開源的LLM Comparator幫助開發者和研究人員深入評估語言模型。

即日起，使用者可使用配套的Python庫與自己的模型和數據進行比較評估，並在應用程式中視覺化結果。此外，Google正在積極致力於開源文字浮水印技術SynthID，用於Gemma模型。

在訓練Gemma 2時，Google遵循內部安全流程，過濾了訓練前的數據，並針對一套全面的指標進行了嚴格的測試和評估，以識別和減輕潛在的偏見和風險。谷歌在與安全性和代表性危害相關的大量公共基準上公佈了結果。

▲Gemma 2 IT模型和Gemma 1.1 IT模型的安全學術基準結果

結語：大模型研發趨於實用主義

谷歌Gemma 2的研究進展反映了當前大模型研究趨勢，即探索用更輕量級的、更實用的模型來實現更強的性能，並確保易部署，以更好地滿足不同的用戶需求。

谷歌為開發者和研究人員提供了使用這些模型的多種途徑。 Gemma 2現在可在Google AI Studio中使用，可在沒有硬體需求的情況下測試其270億參數的全部效能，也可從Kaggle和Hugging Face Models下載Gemma 2的模型權重，Vertex AI Model Garden即將推出。

透過Gemma 2，Google證明了蒸餾是訓練此類模型的有效方法，基於輸出機率的訓練能夠比純粹的下一個token預測產生更多的效果。模型仍有局限性，需要未來研究來持續優化事實性、對抗性攻擊的穩健性以及推理和一致性。

為支持研究和開發，Gemma 2還可透過Kaggle免費取得，或透過Colab筆記本的免費層獲得。首次使用Google雲端服務的用戶可能有資格獲得300美元的積分。學術研究人員可以申請Gemma 2學術研究計劃，以獲得Google雲端積分，加速Gemma 2的研究。申請截止日期為8月9日。(智東西)

#Gemma 你可以在這裡找到鉅亨號中所有使用「Gemma」為關鍵字所發布的內容