Llama 3每秒輸出800個token逼宮openAI!下週奧特曼生日或放出GPT-5?

【導讀】Llama 3的開源,或將催生數十億美元新產業。發佈不到一週的時間,全網各種測試微調都開啟了。甚至,Llama 3在Groq上的輸出速度實現了每秒800個token。

Llama 3誕生後便艷壓群雄,開源界已無「模」能敵。

甚至,讓網友為OpenAI捏了一把汗!

現在的Llama 3-70B已經一路攀升到大模型排行榜前列,僅次於GPT-4,打敗了Claude 3 Opus。


沒想到,70B都這麼能打,400B簡直不敢想像。

英偉達資深科學家Jim Fan預言,「GPT-5一定會在Llama 3 400B發布前出世」!


還有網友認為,「我們現在有了一個頂級的開源競爭者,OpenAI的巨大優勢已經不存在」。


從Llama 1,到Llama 2、代碼版Code Llama高調開源,顛覆了整個大模型圈,掀起新模型構建狂瀾。

如今的Llama 3,對全世界意味著什麼?


數十億美元新產業將湧現

Hugging Face創辦人Clement Delangue稱,目前基於Llama 1和2所建構的開源模型已有30,000多個。

目前,Llama 3是最強大的開源模型,肯定會對生態系統產生重大影響。


在一個總榜上,Llama 3超越了許多的開源、閉源模式。


發布不到一周,AI社區研究者們已經瘋狂開啟了Llama 3的測試、微調。

Reddit網友使用Llama 3 70B,非常輕易地製作了一個完美的「貪吃蛇」遊戲,並且在蘋果測試中表現優秀。

但最令人振奮的是,這個模型可以微調。

它絕對會瘋狂發展。任何中小型公司都可以利用Llama 3 400B將生產力提升到空前水準。


也有人透過HF Chat使用葡萄牙語測試LLaMA 3,結果發現其超出預期,通過了推理測試。


僅用一張英偉達2070顯示卡,開發者使用Llama 3 8B升級了本地離線AI。

竟發現,與這位AI助理AniyaAI的對話更有人情味兒了。


目前,一個全新的微調新模型dolphin-2.9-llama3-8b誕生了,已在Huggingface上發布。


還有網友在M1 MacBook上使用mlx框架,測試發現llama 3 8b的速度約為95 token/秒。


對Meta來說,Llama 3不只是一個研究計畫。

它更是Meta將AI連接到其龐大的應用和服務生態系統策略的關鍵部分。

小札在最新訪談中透露,Llama 3停止訓練後,仍在學習。 Meta之所以停止訓練,是因為需要GPU來開始測試Llama 4。


值得一提的是,Llama 3的貢獻者名單中也有小扎。


AI新創公司Abacus AI的執行長表示:

「Llama 3 400B將徹底改變世界,成為一個巨大的加速器!你可以使用GPT 4-5級別的模型做非常強大的事情。


想像一下,將模型微調為AI醫師、AI經理,或AI女友。未來,基於這個基礎模型,將會湧現價值數十億美元的新創公司」!


每秒輸出800個token,Llama3驚呆網友

另一邊,Groq也第一時間提供了對Llama3 8B和70B的支援。


網址:https://console.groq.com/docs/models

Groq Cloud提供的支持,可以讓大家在沒有GPU的情況下使用這兩個大模型。

這無疑是對硬體資源不足、難以運行模型的微小企業與個人的巨大利好!

而且,Llama3在Groq上的表現也特別驚艷:模型能以每秒超過800個token的速度運行! ‍


而一直以來的大模型王者GPT-4和新晉之秀Claude 3 Opus,其生成速度也僅有每秒36 token和18 token!

這幾乎是革命性的飛躍!

Clamath與Groq的CEO認為:接下來,Groq將擁有比所有大型科技公司的總和還要多的AI生成能力!

800 token/每秒的速度,意味著大模型將更具成本效益,並能在更廣泛的範圍內應用、落地。

而Llama3媲美GPT-4等級的實力,開啟了未來AI的無數可能性。

網友們的親身體驗更是力證了這一點!

首先是簡單的從1到500的計數:

GPT-4還在卡頓時,Groq上的Llama3剛一接收指令就已經完成了任務。

當Llama3已經完成任務半天了,GPT-4連100以內都沒數完。

然後任務難度升級,要求模型用Python編寫貪吃蛇遊戲:

Groq上的Llama3不到3秒就結束了戰鬥,而GPT-4卻用了半分多鐘才搞定。

接著另一個程式設計師網友試著讓Llama3建立一個用PHP寫的待辦事項清單。


指令剛發出就得到了結果,網友大為震撼,評價這次的使用體驗:

「就像光速一樣。」

同時,在呼叫多個工具完成任務方面,Llama3的表現依舊驚艷!

呼叫工具所用時間小於4秒,面對複雜的財務問題,回答也只花了2.9秒。

就連抓取整個網站提供給Llama3,它也可以在短短幾秒鐘內完成回應。

連Llama3的8B模型2秒就能讓完整的檔案從λ-Calculus 轉換為慣用的JS......

體驗過的網友直接驚呼:「這是什麼魔法?」

最令人震撼的是,Groq上的模型還都是免費開放的,團隊甚至沒有製作付費選項!

在如此優秀的性能和強大免費的攻勢下,已經有人宣布

「我不會再用GPT-4 Turbo了。」


與Groq上的Llama3的光速響應相比,ChatGPT的緩慢已經引起了大多數用戶的不滿。

有人製作了在Groq上的Llama3後,再切換到ChatGPT上的GPT-4體驗的表情符號:


更有網友銳評:

「就連Claude都比ChatGPT快!它的緩慢有時讓我昏昏欲睡。」


雖然有人厭倦了ChatGPT的緩慢,但也有人認為GPT較慢的生成反而增加了內容的可讀性,也更適合人機互動。

「快速取得數據的確非常棒!

但較慢的生成有利於內容的可讀性和對任務流程的理解,對使用者體驗來說更友善。 」


此外,也有人認為Llama3的回答準確率不怎麼高,不能只看速度不看品質。


OpenAI優勢將不復存在?

從Gemini到Claude 3接連叫板,再到類GPT-4等級的開源400B模型預告,GPT-4真的危了!

許多網友紛紛在線催更GPT-5。


據傳言,OpenAI有可能在22日(當地時間週一)有大動作。


因為那天,正好是奧特曼的生日。


同時,OpenAI官方帳號也發了一個有著數字「22」標誌的王座。


不過近來,奧特曼在訪談中曾表示,OpenAI有改進模型的使命,所以我們會把所有新創公司都幹掉。


但在還沒發布GPT-5之前,新創公司需要有危機感了。(新智元)