輝達提供OpenShell開源軟件與運行在BlueField-4 DPU上的Sentry硬體安全層,為AI Agent構建雙重"安全圍欄"。Anthropic提供Claude Managed Agents,並通過憑證保險庫等機制管理Agent權限。輝達稱該平台可在毫秒級阻斷越權行為。
輝達正將AI Agent安全推向基礎設施層。
周一,輝達推出Open Agent Safety Platform,通過開源軟件與專用硬體構建多層安全機制,限制AI Agent的權限和行為,Anthropic則與輝達合作,將Claude Managed Agents接入相關安全體系。
此次合作的核心是OpenShell和Claude Managed Agents。輝達提供開源OpenShell運行時軟件,為AI Agent設置默認受限的執行環境;Anthropic則提供Claude Managed Agents,並通過憑證保險庫等機制管理Agent權限。
雙方希望在企業部署AI Agent時,進一步控制其能夠訪問的數據、工具、網絡和系統資源。
輝達還推出運行在BlueField-4 DPU上的Sentry安全層,可以獨立於Agent運行環境持續監控其行為,並在發現越權操作時進行隔離。輝達稱,Sentry能夠在毫秒級阻斷可疑Agent活動。
輝達稱此次推出的安全軟件可能阻止近期發生的一起Hugging Face相關事件。輝達方面表示,如果當時使用相關技術,根據公司目前掌握的資訊,該平台可能阻止相關事件。
輝達為AI Agent加上「安全圍欄」
Open Agent Safety Platform主要由OpenShell和Sentry兩層組成。
其中,OpenShell是一套開源Agent運行時軟件,通過沙箱和權限策略限制Agent的活動範圍。輝達表示,該系統可以控制Agent對檔案、網絡、進程、工具和憑證等資源的訪問,並默認阻止未經授權的操作。
Sentry則將安全控制進一步延伸至硬體層。該系統運行在輝達 BlueField-4 DPU上,與運行AI Agent的主機環境相對獨立,可以持續檢查Agent的請求和響應,並對數據、工具、API和服務進行訪問控制。
輝達表示,如果Agent試圖突破既定的軟件邊界,Sentry可以對其進行隔離。相比單純依賴模型自身遵守安全規則,這一架構增加了額外的運行時和硬體防護層。
Anthropic將Claude接入
Anthropic此次參與的重點是Claude Managed Agents。
Claude Managed Agents能夠將Agent運行循環放置在獨立服務器上,並與執行具體任務的沙箱環境分開。在此基礎上,該服務與OpenShell及BlueField進行整合,為企業提供更細緻的Agent權限控制。
Notion、Rakuten和Asana等企業已經在生產環境中使用Claude Managed Agents。
這意味著,企業部署Claude等AI Agent時,可以在模型之外增加一套獨立的安全控制機制。Agent可以繼續自主執行任務,但其能夠訪問那些資源、使用那些工具,以及出現異常時是否繼續運行,都可以通過額外的軟件和硬體層進行限制。
輝達瞄準AI Agent安全需求
此次發佈也發生在AI Agent安全問題受到更多關注之際。
輝達創始人兼CEO黃仁勳表示,隨著AI能力不斷發展,AI安全能力也需要同步推進,並稱AI安全需要「全棧工程」。
輝達此次並沒有把安全能力侷限於某一個AI模型,而是將其延伸到Agent運行時、服務器以及網絡和計算基礎設施。對於企業而言,這意味著AI Agent的安全邊界可以從模型本身進一步擴展至執行環境。
目前,超過100家機構參與相關技術。除Anthropic外,輝達還披露,SpaceXAI正在將相關平台用於Cursor coding agents和Grok模型,Salesforce和SAP也在推進OpenShell相關整合。
隨著AI Agent從聊天工具逐步轉向能夠調用工具、訪問數據並自主執行任務的企業軟件,圍繞Agent權限、隔離和實時監控的基礎設施需求也在擴大。
輝達此次推出開放式安全平台,並與Anthropic等AI廠商展開合作,正試圖將這類安全能力納入AI基礎設施體系。(華爾街見聞)
