#AI模型
輝達開源全能AI模型,效率暴漲9倍!AI Agent終於有了「感官大腦」
輝達開源全能AI模型,效率暴漲9倍!AI Agent終於有了「感官大腦」昨天(4月28日),輝達幹了一件大事——發佈了開源全模態模型 Nemotron 3 Nano Omni。這不是又一個「能聊天的AI」,而是一個能讓AI Agent同時「看、聽、說、做」的全能模型,官方稱推理效率最高提升9倍。為什麼這件事重要?因為之前的AI Agent就像一個只會打字的員工——能寫郵件、能查資料,但你看不了螢幕、聽不了會議、處理不了視訊。現在,AI Agent終於有了「眼睛、耳朵和嘴巴」,而且輝達把它開源了。✦🔬 前沿解讀:Nemotron 3 Nano Omni 到底是什麼?1. 一個模型搞定四種感官——不再「拼積木」傳統的多模態AI,說白了就是在「拼積木」:一個視覺模型負責看圖,一個語音模型負責聽聲音,一個文字模型負責理解文字,然後用膠水程式碼把它們粘在一起。Nemotron 3 Nano Omni 的做法完全不同——它用一個模型原生支援文字、圖像、音訊、視訊四種輸入,在同一個架構內完成理解與推理。打個比方:以前的多模態AI像一個翻譯團隊,英語翻譯、日語翻譯、法語翻譯各幹各的,需要一個人在中間協調;Nemotron 3 Nano Omni 像一個真正的多語言者,直接用一種思維理解所有語言。這意味著什麼?減少了跨模型呼叫的資訊損耗和延遲,Agent在複雜任務中的一致性和穩定性大幅提升。2. 300億參數隻啟動3億——MoE架構的「省錢魔法」Nemotron 3 Nano Omni 總參數量約300億(30B),但採用了混合專家(MoE)架構,推理時只啟動約**3億(3B)**參數。類比一下:這就像一個300人的顧問團,遇到不同問題只叫3個最擅長的人出來回答。你不用養300個人全天候待命,但每次都能得到專業答案。效果呢?推理效率最高提升9倍,視訊推理吞吐量比同類開源模型快9.2倍,同時大幅降低算力消耗。在6個主流基準測試(文件智能、視訊理解、音訊理解等)中拿下榜首。3. 誰在用它?富士康、甲骨文、帕蘭蒂爾已上車這不是畫餅。輝達公佈的首批使用者包括:富士康:用Nemotron做智能製造場景的Agent甲骨文(Oracle):企業級AI Agent部署帕蘭蒂爾(Palantir):資料分析與決策智能此外,Nemotron 3系列(Nano/Super/Ultra)過去一年累計下載量已突破5000萬次。輝達不是在做一個模型,而是在建一個Agent生態。✦🛠️ 實用性拆解:對「我」有什麼用?怎麼用?對普通開發者的價值場景1:智能客服升級——從文字客服到全管道客服以前的AI客服只能處理文字。有了全模態模型,使用者可以:發一張產品圖片,AI識別問題並給出方案語音描述故障,AI自動理解並轉工單上傳視訊演示Bug,AI直接定位問題環節場景2:內容理解——一鍵讀懂長視訊/多頁PDFNemotron 3 Nano Omni 支援百萬Token上下文,加上原生視訊/音訊理解能力:丟一個1小時的會議錄影,自動提取關鍵議題和決策丟一份100頁的掃描PDF,自動理解圖表和文字丟一個產品演示視訊,自動生成功能清單場景3:自動化辦公Agent——讓AI真正操作電腦結合Nemotron的介面操作能力,可以建構:自動讀取螢幕內容→理解介面→執行操作的Agent全高畫質螢幕錄影的即時解讀與數字環境互動怎麼用?3步上手Step 1:下載模型前往Hugging Face搜尋「Nemotron-3-Nano-Omni」,模型權重、訓練配方和資料集全部開源。也可以通過 build.nvidia.com 直接呼叫NIM微服務。Step 2:選擇部署方式本地部署:適合對資料隱私要求高的企業,單卡GPU即可運行(30B MoE只啟動3B)雲端呼叫:通過NVIDIA NIM微服務、OpenRouter或25+合作夥伴平台混合部署:Nemotron做本地感知,雲端大模型做深度推理Step 3:建構Agent應用Nemotron 3 Nano Omni 支援工具呼叫(Tool Use)和介面操作能力,可以:作為Agent的「感知層」,負責看/聽/讀把理解結果傳給更強的雲端模型做決策執行操作指令,形成感知→理解→決策→執行的閉環⚠️ 避坑指南別指望它替代GPT-5.5做深度推理:Nemotron定位是Agent的「感官大腦」,不是「思考大腦」。複雜推理任務仍需配合大模型硬體要求:雖然只啟動3B參數,但完整模型仍需30B的視訊記憶體。推薦使用A100/H100,消費級顯示卡可能捉襟見肘開源≠免費商用:注意查看輝達的開源協議條款,企業商用前確認授權範圍✦🌊 行業影響分析AI Agent賽道的分水嶺Nemotron 3 Nano Omni的發佈,釋放了一個明確訊號:大模型競爭正在從「誰的模型更聰明」轉向「誰的Agent更實用」。輝達不做最聰明的大模型——那是OpenAI和Anthropic的戰場。輝達做的是Agent的基礎設施:算力晶片→模型底座→部署工具→應用生態,一條龍通吃。這就像智慧型手機時代的晶片廠商:高通不造手機,但每一部Android手機都離不開驍龍。輝達不做ChatGPT,但未來每一個AI Agent可能都跑在Nemotron+NVidia GPU上。那些領域最先受益?企業客服/銷售:全管道AI Agent,7×24小時值守智能製造:富士康已在用,視覺質檢+語音互動+文件理解醫療健康:Eka Care(印度醫療科技公司)已接入,多模態病歷理解資料分析:帕蘭蒂爾模式,視訊/文件/資料多源融合分析普通人的機會如果你是開發者,現在就是上車AI Agent的最佳時機:模型開源免費,門檻降到最低全模態能力讓Agent的場景想像空間10倍放大輝達生態意味著大量企業需要懂Nemotron的人才✦💡 金句總結AI Agent的競賽,已經從「誰更聰明」變成了「誰更全能」。能看、能聽、能理解——這不是錦上添花,而是Agent從「聊天機器人」進化為「數字員工」的入場券。 (捭闔思享)
外媒評DeepSeek新模型:中國將成AI超級大國
DeepSeek在取得突破一年後推出旗艦AI模型DeepSeek Unveils Flagship AI Model a Year After Breakthrough彭博社在顛覆矽谷一年後,DeepSeek推出了其新款旗艦人工智慧模型的預覽版本,稱其為最強大的開源平台,以此向從OpenAI到Anthropic的競爭對手發起挑戰。這家中國初創公司推出了V4 Flash和V4 Pro系列,宣稱其在程式設計基準測試中具有頂級性能,並在推理和智能體任務方面取得了重大進展。該公司在Hugging Face平台上表示,這些模型帶來了架構升級和最佳化改進。DeepSeek特別提到了一項名為"混合注意力架構"的技術,稱其提高了AI平台在長對話中記住查詢內容的能力。此外,DeepSeek還將上下文窗口推至100萬token——這一飛躍使得整個程式碼庫或長文件可以作為單個提示詞傳送。V4的發佈距離這家總部位於杭州的初創公司通過發佈R1(一個模仿人類推理過程的開源模型),引發兆美元股市拋售已過去一年多。R1的性能可與OpenAI等公司的尖端AI系統相媲美,但據稱其建構成本僅為這些系統的一小部分。中國晶片製造商大漲,因DeepSeek新模型提振前景投資者押注新模型將支撐對本土晶片的需求。DeepSeek在微信上發佈的一篇文章中表示,由於計算能力緊張,V4 Pro系列的服務能力極為有限。然而,這家初創公司預計,在由華為技術有限公司昇騰950晶片驅動的計算叢集於今年下半年推出後,該模型的定價將大幅下降。DeepSeek目前正就首輪融資與騰訊控股有限公司和阿里巴巴集團控股有限公司進行談判。華為主要晶片製造商中芯國際的股價在香港一度上漲9.4%,而華虹半導體有限公司的漲幅則超過13%。智譜等競爭對手則下跌了8%。新系列在規模和效率方面邁出了一大步,這兩點正是DeepSeek崛起的定義性特徵,並給競爭對手帶來了巨大的競爭壓力。在R1發佈之後,科技公司和投資者開始反思將數十億美元投入AI開發是否明智。此後,這些支出又反彈回升,預計美國科技巨頭將在2026年向AI基礎設施和資料中心投資約6500億美元。與成名相伴的還有審視DeepSeek的兆參數系統採用了"專家混合"技術,僅選擇性觸發一小部分專家,每個任務僅啟動最多370億個參數,從而使其推理成本遠低於類似的前沿模型。該架構和技術使DeepSeek與矽谷競爭對手OpenAI、Google和Anthropic的最新模型形成了直接競爭。上周五,這家初創公司宣稱其在標準基準測試中的表現優於OpenAI的GPT-5.2等模型,但承認V4在技術上落後最先進的模型約3至6個月。儘管如此,DeepSeek強調其追求的不僅是原始能力,而且還要從根本上降低成本。V4的設計目標是在更便宜的基礎設施上部署。"Minimax和智譜作為獨立的模型提供商,將始終面臨競爭的脆弱性,尤其是來自那些擁有更好覆蓋面和分發管道的網際網路平台或雲服務提供商的競爭,"瑞士聯合私立銀行董事總經理凌維森表示,"最終,模型性能的差距對大多數使用者來說將變得難以察覺。"DeepSeek在中國也引發了一場狂熱,從阿里巴巴到百度公司的科技領袖紛紛向市場推出低成本的AI服務。從字節跳動到智譜和Minimax,競爭對手在4月前的幾周內競相更新模型,希望能搶佔DeepSeek的先機。與成名相伴的還有審視。美國科技領袖和政府官員指責DeepSeek使用非法技術和硬體來開發其模型。其中一個焦點是所謂的"蒸餾",即一個AI模型依賴另一個模型的輸出進行訓練,以開發出類似的能力。OpenAI和Anthropic都聲稱檢測到了來自DeepSeek的這種攻擊,OpenAI在R1模型發佈後不久就開始私下提出這一擔憂。另一個擔憂是,DeepSeek可能能夠獲得被禁止的輝達AI晶片,美方去年已開始調查這種可能性。 (明日頭條)
Fortune雜誌—知名AI模型被曝性能驟降,遭使用者抵制
風頭正勁的人工智慧公司Anthropic正面臨一場前所未有的使用者信任危機。此前,該公司旗下Claude AI模型被指性能顯著下滑,遭到部分重度使用者的強烈抵制。這一風波讓這家估值高達3800億美元、據稱正籌備IPO的公司措手不及。目前,Anthropic正緊急應對使用者的集體不滿,並試圖平息外界對其縮減開支背後的動機以及服務承載能力的種種猜測。Anthropic聯合創始人兼首席執行長達里歐·阿莫迪。圖片來源:Chris Ratcliffe—Bloomberg/Getty Images“降配”引發的蝴蝶效應眾多開發者和重度使用者表示,熱門AI模型Claude近期性能大幅下滑:不僅越來越難以遵循使用者指令,還會時而“偷工減料”,進行不合理的簡化處理,甚至在處理複雜工作流時頻繁出錯。投訴的矛頭指向了Anthropic近期悄然進行的一項機制調整。為了節省處理請求時的詞元(Tokens),從而最佳化整體推理成本,公司下調了模型的默認“推理努力度”。簡單來說,單次任務處理的詞元量越大,消耗的算力就越高。業界普遍猜測,Anthropic正面臨嚴重的算力瓶頸。儘管過去幾個月其產品需求呈爆發式增長,但該公司官宣的數十億美元級資料中心擴容協議數量,遠不及部分競爭對手。對於一直塑造更透明、更符合使用者利益品牌形象的Anthropic而言,此次被指“暗箱操作”無疑是致命的打擊。在推進IPO之際,使用者對Claude性能驟降的不滿,以及對公司缺乏透明度的憤怒,很可能直接拖累其高速增長的勢頭。有使用者指責稱,Anthropic既未坦誠披露對Claude運行機製做出的調整,也未告知使用者這些調整可能推高使用成本。Anthropic拒絕公開回應《財富》就使用者投訴提出的具體質疑。但Claude Code產品負責人鮑裡斯·切爾尼線上上回應使用者投訴時表示,此前有使用者反饋Claude處理單個任務時消耗的詞元過多,因此公司將默認“推理努力度”下調至“中等”水平。然而,大量使用者反駁稱,該公司進行此類重大調整時並未向使用者做出明確的提示。行業內的競爭對手也加入了質疑行列,認為Anthropic是因為算力不足刻意降低模型性能。事實上,隨著“代理式”人工智慧系統的市場需求增速遠超基礎設施的擴容速度,整個行業都面臨著GPU成本高企和資料中心擴展受限的困境,人工智慧企業不得不在產品優先順序上做出艱難取捨。種種跡象表明,Anthropic面臨的資源限制比部分競爭對手更為嚴峻。隨著使用量增加,Anthropic近期多次出現服務中斷,並在高峰時段實施更嚴格的使用限制,引發部分使用者投訴。美國消費者新聞與商業頻道(CNBC)曝光的一份內部備忘錄顯示,OpenAI營收負責人直言,Anthropic未能獲取充足的算力資源是一項“戰略失誤”,相比競爭對手,其營運規模正處於明顯劣勢。與此同時,Anthropic上周宣佈已訓練出一款名為Mythos的新模型,性能遠超旗艦模型Opus。Anthropic強調,出於安全考量,目前尚未向公眾發佈該模型。但因其運行成本和算力消耗更高,進一步加劇了外界對其算力資源短缺的質疑。成也蕭何,敗也蕭何Anthropic面臨的審視折射出人工智慧市場瞬息萬變的競爭格局。上周,Anthropic宣佈其年化經常性收入(ARR)已達300億美元,較2025年底的90億美元大幅增長,令業界震驚。相比之下,OpenAI上月公佈的月營收達20億美元,即年營收達240億美元。不過,兩家公司的營收統計口徑並非完全一致,因此無法直接進行對比。Anthropic近期的增長得益於雙重因素:起初得益於人工智慧程式設計工具Claude Code的爆火,隨後又因與美國國防部的爭端獲得大量消費者支援。在川普政府將Anthropic列為“供應鏈風險”實體後,甚至有大量使用者從ChatGPT等競品轉向Claude。Anthropic曾表示,這場爭端源於該公司堅持要求美國政府在合同中承諾,不將其技術用於致命性自主武器研發,或是針對美國公民的大規模監控。過去幾年間,Anthropic在人工智慧競賽中取得了顯著進展,不僅成為企業級人工智慧領域的領軍者,還在開發者和企業使用者中積累了良好的口碑。如果使用者對Claude性能問題的不滿持續發酵,不僅有損其辛苦建立的口碑,甚至可能令這家公司在關鍵時刻陷入困境。針對近期Claude性能問題引發的諸多爭議,Claude Code負責人切爾尼稱,旗艦模型Claude Opus 4.6已於2月初引入“自適應推理”功能,允許模型根據具體任務自主決定推理力度,而非使用固定的算力配額。他還表示,為解決爭議,公司計畫測試將團隊版和企業版使用者的默認努力度設為高等級,以便使用者獲得更深入的推理結果,即便這會消耗更多詞元,出現響應延遲。切爾尼駁斥了關於該模型被故意弱化的猜測,以及使用者對此次調整缺乏透明度的投訴,聲稱相關調整均基於使用者反饋,且已通過Claude Code介面內的彈窗提示使用者。“無法勝任複雜工程任務”目前,爭議最集中的產品是其增長最快的人工智慧程式設計工具Claude Code。Claude Code於2025年初上線,是命令列智能體,可在開發者的工作環境中自主讀取、編寫和執行程式碼。自推出以來,該工具已被個人開發者和大型企業工程團隊廣泛採用,用於完成複雜的多步驟程式設計任務。近期Claude Code的性能變化在社交媒體上引發廣泛關注,源於超微半導體公司(AMD)人工智慧高級總監斯特拉·勞倫佐在GitHub上發佈的一項分析。勞倫佐指出,調整後的Claude能力出現嚴重退化,“無法勝任複雜的工程任務”。勞倫佐指出,2月底至3月初,Claude從“研究優先”模式(先理解上下文再修改程式碼)退化為更直接的“編輯優先”模式,調整後的模型在執行操作前讀取的上下文資訊大幅減少,出錯率顯著上升,且需要使用者進行大量干預。分析還指出,模型在複雜工程任務中頻頻出錯,甚至出現提前終止任務、推卸責任、無意義徵求使用者許可等行為,這與同期模型推理努力度下調直接相關。Anthropic的切爾尼回應該分析表示,其中存在對部分資料的誤讀,並聲稱模型的推理能力並未下降,只是公司做出調整,導致使用者無法再查看模型完整的“推理鏈路”。不過,勞倫佐絕非唯一一個對該工具感到不滿的人。微軟首席研究經理季米特裡斯·帕帕伊洛普洛斯在X平台發文稱:“過去兩周,Claude Code的使用體驗令人極其沮喪。即便我已經將推理努力度調至最高,但它仍極其粗心,忽略指令,反覆出錯。” (財富中文網)編者語AI企業將技術領先作為競爭優勢時,必須匹配堅實的基礎設施投入,獲取充足的算力資源作為戰略儲備,否則增長速度可受限於資源瓶頸。Anthropic為最佳化成本暗中下調AI的“推理努力度”引發使用者強烈不滿,凸顯了科技公司在追求盈利時若犧牲透明度與產品一致性,將損害辛苦積累的品牌口碑和使用者信任。Anthropic在籌備IPO的關鍵節點遭遇性能口碑下滑與算力質疑,揭示了高增長科技公司面臨的資本困境:在脆弱的基礎設施現實面前,高昂的估值預期將經受考驗。(財富中文網)