AI速讀
輝達（Nvidia）近日迅速兌現黃仁勳的開源承諾，推出一款專為智能體應用設計的輕量級開源模型。該模型透過蒸餾技術將 NeMo 大模型的能力濃縮，使開發者僅需普通筆記本電腦與顯示卡即可部署，徹底打破高昂算力成本的門檻。此模型主打穩定性與資源效率，適用於自動化任務，且完全開放商業用途且免費，目前已於 Hugging Face 平台提供下載，旨在推動 AI 應用層級的普及化。
輝達這次動作挺快的。黃仁勳上個月的月底剛剛表達了有關於要擁抱開放原始碼的想法，在這個月的時間裡就真的把這個模型給釋放了，並不是在嘴巴上面隨便說說而已。
這個模型所具備的最大的特性就是在於它足夠輕便。不需要進行伺服器的堆疊，也不需要用上雲端，你手頭所擁有的筆記型電腦只要插入一塊顯示卡就可以順利地進行運行。對於那些規模較小的團隊以及個人的開發者們來說，這也就意味著門檻直接降低了極大程度的一個幅度，在以前玩大模型的時候必須得要先算算錢包的厚度是否足夠，現如今你桌子上面擺放的那台電腦可能就已經足夠了。
它主要所瞄準的目標是智能體應用，說得直白一點的話就是指那些能夠在後台的區域自己進行幹活的程序。比如像是自動整理文件、定時抓取資訊、鑑於規則做出決策之類的場景。這一類任務並不需要模型表現得有多麼聰明，但是必須要保持穩定以及節省資源，輝達在這一次的行動中就是奔著這個方向進行的。
在技術的層面上所用的是蒸餾技術，也就是把自家的 NeMo 大模型的能力壓縮排到了小模型裡，就像是把一整瓶的酒精濃縮成為了一小管的精華。達到的效果比較接近，體積也發生了縮水，正好非常適宜那些算力表現得比較吃緊的場景。
更加關鍵的一個地方在於它是真的實現了開源。不僅僅能夠進行下載的操作，並且還能夠進行修改以及能夠用於商業用途，不需要尋找輝達簽署協議，也同樣不需要交錢。已經在 Hugging Face 以及官方網站上面掛著了，任何的人都能夠把這個東西拿走部署了。(輕蜂學堂)