炸裂🤯!Google推出單個GPU運行27B參數模型,性能超越DeepSeek V3和o3 mini


Google發佈Gemma 3,一個基於 Gemini 2.0 的全新開源模型

https://blog.google/technology/developers/gemma-3/

給大家畫個重點

Gemma 3 設計目標是在各種裝置上快速運行,從手機、筆記型電腦到工作站,幫助開發者建立 AI 應用。 多種尺寸版本 (1B, 4B, 12B, 27B) 以適應不同的硬體和性能需求
Gemma 3 的新功能和亮點:

• 世界領先的單加速器模型: Gemma 3 在同等規模模型中性能卓越,在 LMArena 排行榜上優於 Llama-405B, DeepSeek-V3 和 o3-mini。 可以在單個 GPU(H100) 或 TPU 上運行

• 支援 140 種語言: Gemma 3 開箱即用支援 35 種以上語言,並預訓練支援超過 140 種語言,幫助開發者建構多語言應用

• 高級文字和視覺推理能力: 可以分析圖像、文字和短影片,為互動式和智能應用帶來新的可能性。 (注意:4B, 12B, 和 27B 版本支援視覺功能)

• 擴展的上下文窗口: 提供 128k token 的上下文窗口,可以處理和理解大量資訊

• 函數呼叫功能: 支援函數呼叫和結構化輸出,幫助自動化任務和建構智能體應用

• 高性能和量化模型: 推出官方量化版本,在保持高精度的同時,降低模型大小和計算需求

• 快速開始實驗: 可以通過 Google AI Studio 或 Kaggle/Hugging Face 下載模型

• 靈活定製: 提供最佳化的程式碼庫,方便開發者進行微調和推理,可以使用 Google Colab, Vertex AI 甚至遊戲 GPU 進行訓練

• 多種部署方式: 提供多種部署選項,包括 Vertex AI, Cloud Run, Google GenAI API 等

• 支援多種硬體平台: 最佳化用於 Google Cloud TPU,並可通過開源 ROCm™ 堆疊與 AMD GPU 整合。 CPU 執行可以使用 Gemma.cpp

• Gemma 3 學術項目: 為學術研究人員提供 Google Cloud 額度 (每個獎項價值 10,000 美元) 以加速基於 Gemma 3 的研究 (AI寒武紀)