小模型成了AI公司們降本增效的利器。
扎克伯格預測,Meta AI助手使用率幾個月後將超越ChatGPT。
7月24日凌晨,美國科技巨頭Meta推出迄今為止性能最強大的開源大模型——Llama 3.1 405B(4050億參數),同時發佈了全新升級的Llama 3.1 70B和8B模型版本。
Llama 3.1 405B支援上下文長度為128K tokens,是全球迄今為止性能最強大、參數規模最大的開源模型,在基於15兆個tokens、超1.6萬個H100 GPU上進行訓練,這也是Meta有史以來第一個以這種規模進行訓練的Llama模型。
因性能佳、開源、多方合作,目前所有Llama模型版本的總下載量已經超過3億次。研究人員基於超150個基準測試集的評測結果顯示,Llama 3.1 405B可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等業界頭部模型相媲美,包括亞馬遜AWS、輝達、微軟Azure和Google雲等25家頭部公司與Meta達成合作,引入Llama 3.1。
“這對於我們來說是久旱逢甘霖。”獨立分析師Jimmy告訴《中國企業家》。苦於缺乏長期高品質的訓練資料已久,全球AI領域的開發人員終於迎來了開源曙光。一般來說,較小的專家模型(參數規模在10億~100億)通常利用“蒸餾技術”,也就是利用更大的模型來增強訓練資料。但由於巨頭OpenAI的閉源,此類訓練資料的缺乏是各大模型共同的難題。
開、閉源之爭一直是AI圈的中心話題。Meta創始人、CEO扎克伯格提到:“我相信Llama 3.1的發佈將成為行業的一個轉折點”;360集團創始人周鴻禕也曾表示,開源社區聚集全球上千家公司、數十萬程式設計師和工程師,開發力量是一個閉源公司的數百倍。
Meta公佈前一天,Llama 3.1的模型和基準測試結果已經在國外的Reddit等社區上洩露,Llama 3.1的磁力連結也被流傳,“強大”“開源”成為評論區的高頻詞。
Llama 3.1包含8B、70B和405B三種參數規模,其中超大杯4050億版本,該系列模型上下文窗口增加到了128K,擴大16倍;增加了8種支援語言;提升了工具使用能力,支援搜尋和Wolfram Alpha的數學推理;擁有更寬鬆的許可,允許使用模型輸出改進其他LLMs。
事實上,開、閉源的大模型差距正在縮小。Meta在官博指出最新一代的Llama將激發新的應用程式和建模範式,包括利用合成資料生成來提升和訓練更小的模型,以及模型蒸餾——這是一種在開源領域從未有過的能力。在基準測試集中的表現幾乎可以媲美當前頂尖閉源模型GPT-4o和Claude 3.5 Sonnet,並且所有版本都可以在官網下載使用。
Meta對Llama 3.1的佈局在今年4月就有跡可循。當時Meta就透露說,正在開發人工智慧行業的第一款產品:一個性能與OpenAI等公司最好的私有模型相媲美的開源模型。
相比於OpenAI對技術細節的“惜字如金”,Meta此次不僅開放小助手應用線上試玩,還發佈了近100頁的詳細論文,涵蓋了創造Llama 3.1過程中的一切,比如訓練資料、過濾、退火、合成資料,並透露Llama 4已在開發中。
扎克伯格親自為開源大模型Llama 3.1站台,在推特撰寫長文《Open Source AI Is the Path Forward》強調開放原始碼的意義,他表示:“今天我們正邁出下一步——使開源AI成為行業標準。”在特斯拉前AI總監關於Llama 3.1大模型的帖子下面,馬斯克罕見地盛讚扎克伯格:“這令人印象深刻,扎克(伯格)的開源決定確實值得讚揚。”
Meta與OpenAI分別代表著開源與閉源的兩條技術路線。關於開源和閉源的鬥爭由來已久,此前在彭博社的採訪中,扎克伯格更是公開嘲諷:“阿爾特曼的領導能力值得稱讚,但有點諷刺的是公司名為OpenAl卻成為建構封閉式人工智慧模型的領導者。”
面對Meta這次的大招,OpenAI以低價策略應戰。
Meta公佈Llama 3.1兩個多小時後,OpenAI發佈消息:公司推出了GPT-4o mini微調功能版,從現在到9月23日可免費使用。據瞭解,GPT-4o mini的輸入tokens費用比GPT-3.5 Turbo 低90%,輸出tokens 費用低80%。即使免費期結束,GPT-4o mini的價格也比GPT-3.5 Turbo低一半。
價錢打折,但產品能力不打折。據瞭解,GPT-4o mini比經典版本GPT-3.5 Turbo能力更強,GPT-4o mini的上下文長度為65k tokens,是GPT-3.5 Turbo的四倍,推理上下文長度為128k tokens,是GPT-3.5 Turbo的八倍。
這就意味著,若使用GPT-4o mini微調版,就可以享受:以實惠的使用費用,使用更長的上下文、更聰明的頂尖大模型。阿爾特曼更是在推特發文表示,GPT-4o mini以1/20的價格在lmsys上實現了與GPT-4o接近的性能表現,他還希望大家能夠多多使用GPT-4o mini 微調版本。
此次OpenAI以發佈GPT-4o mini 微調版為盾,不僅是對Meta開源大模型步步緊逼的反擊,也同時將矽谷AI價格戰的火藥味推得更濃。
即使OpenAI推出可免費使用的小模型,但比起同為大模型的產品,Llama 3.1 405B的價格比GPT-4o仍然要低很多。
公開資料顯示,Llama 3.1的價格在Fireworks平台上是每1百萬tokens的輸入/輸出價格是3美元,而GPT-4o每1百萬tokens的輸入價格是5美元,輸出價格是15美元。此外,Claude 3.5 sonnet的每1百萬tokens的輸入價格是3美元,輸出價格是15美元。
這不是矽谷在AI方面的第一次“價格戰”。
今年5月,OpenAI發佈GPT-4o並支援免費試用,呼叫API的價格也比GPT-4-Turbo降低一半——打響了矽谷大模型價格戰第一槍,同時這也是2023年起OpenAI的第4次降價。7月18日深夜,GPT-4o mini的正式亮相,與GPT-3.5相比性能更強,也更便宜,連阿爾特曼都曾建議大家不要再用GPT-3.5了。
用低價“圍剿”OpenAI已成大模型公司們的慣例。公開資訊顯示,與GPT-4o相比較,各大公司的最新發佈的產品分別是:Meta的Llama 3.1,Google的Gemini 1.5 pro,Claude 3 Sonnet,新近的Mistral AI,這些最新大模型價格均低於GPT-4o。
而大模型的價格戰在國內也已開始。5月6日,初創大模型公司DeepSeek深度求索將輸入價格定為1元/百萬tokens。緊接著智譜AI的GLM-3-Turbo模型、字節跳動的豆包大模型,以及阿里巴巴的通義系列模型、百度的文心一言模型紛紛跟牌。
低價,正在成為一種趨勢。
一直以來,大模型的發展受困於成本。斯坦福HAI研究所發佈的《斯坦福2024年人工智慧指數報告》指出,AI模型的培訓成本已經達到了前所未有的水平。例如,OpenAI的GPT-4估計使用了7800萬美元用於計算訓練,而Google的Gemini Ultra花費了1.91億美元用於計算。2017年訓練最初的Transformer模型的成本僅為約900美元。
而現在,小模型成了AI公司們降本增效的利器。
掀起新一輪價格戰前,OpenAI先手開卷小模型。7月18日,OpenAI發佈小模型GPT-4o mini,並稱其為“迄今為止最具成本效益的小模型”,正是上周(台北時間7月25日凌晨)宣佈免費使用的GPT-4o mini微調版的真身;蘋果公司在Hugging Face上發佈了DCLM-7B開源小模型;不久後,輝達和法國明星AI獨角獸Mistral聯合發佈了名為Mistral NeMo的小模型,稱可以直接替換任何使用Mistral 7B的系統。
小模型,通俗來說就是比大模型處理資料能力略小的模型,可以理解為mini版的大模型。在AI領域,參數規模越大,大模型學習能力越強,諸如GPT-4這些模型通常擁有數十億甚至數百億的參數。然而據OpenAI介紹,小模型GPT-4o mini在MMLU上的得分為82%,甚至某些表現優於大模型GPT-4。
對大部分使用者來說,小模型是大模型的“平替”,極具性價比。儘管小模型在處理複雜任務上不具優勢,但在小任務上具備更快的推理能力。同時對電腦儲存需求也更小,耗能也更小。根據各公司的大、小模型產品對比來看,小模型價格較低。根據Artificial Analysis的統計,美國AI公司主流“小模型”中,GPT-4o mini的價格最低,在無需處理複雜任務的“普通使用者”中或許將更受歡迎。
低價來自成本的降低。阿爾特曼在推特上發文指出,2022年世界上最好的模型text-davinci-003,它比GPT-4o mini差得多,但成本要貴上100多倍。這一波OpenAI搶先佈局小模型,就是想通過顯著降低AI使用成本,擴大AI使用範圍。
低成本、低性價比、更廣使用者適配度,小模型不僅能成為AI公司們to C端的有力手段,更是AI價格戰的應對神器,或將成為下一個新風口。
今年年初,2024百度AI開發者大會上,李彥宏提出未來大型的AI原生應用都是大小模型的混用。他還表示,使用者基於百度文心4.0,可以靈活剪裁出適用於不同場景的小尺寸模型,“在一些特定場景中,經過精調後的小模型,其使用效果甚至可以媲美大模型。”
國外GPT-4o、Llama 3.1輪番轟炸,國內“千模大戰”大浪淘沙,無論開源還是閉源,高價還是低價、大模型還是小模型,這波AI浪潮最後的勝者還未顯現。 (中國企業家雜誌)