輝達這次動作挺快的。黃仁勳上個月的月底剛剛表達了有關於要擁抱開放原始碼的想法,在這個月的時間裡就真的把這個模型給釋放了,並不是在嘴巴上面隨便說說而已。
這個模型所具備的最大的特性就是在於它足夠輕便。不需要進行伺服器的堆疊,也不需要用上雲端,你手頭所擁有的筆記型電腦只要插入一塊顯示卡就可以順利地進行運行。對於那些規模較小的團隊以及個人的開發者們來說,這也就意味著門檻直接降低了極大程度的一個幅度,在以前玩大模型的時候必須得要先算算錢包的厚度是否足夠,現如今你桌子上面擺放的那台電腦可能就已經足夠了。
它主要所瞄準的目標是智能體應用,說得直白一點的話就是指那些能夠在後台的區域自己進行幹活的程序。比如像是自動整理文件、定時抓取資訊、鑑於規則做出決策之類的場景。這一類任務並不需要模型表現得有多麼聰明,但是必須要保持穩定以及節省資源,輝達在這一次的行動中就是奔著這個方向進行的。
在技術的層面上所用的是蒸餾技術,也就是把自家的 NeMo 大模型的能力壓縮排到了小模型裡,就像是把一整瓶的酒精濃縮成為了一小管的精華。達到的效果比較接近,體積也發生了縮水,正好非常適宜那些算力表現得比較吃緊的場景。