打造最強智能體平台,最大雲巨頭狂堆猛料。
智東西拉斯維加斯12月3日報導,在年度雲端運算盛會AWS re:Invent大會上,AWS Agentic AI副總裁Swami Sivasubramanian發表主題演講,詳細闡述為什麼是亞馬遜雲科技(AWS)建構和運行智能體的最佳選擇,並行布多項智能體(agent)開發新工具。
Strands Agents SDK智能體框架新增對TypeScript和邊緣裝置的支援,讓智能體建構更輕鬆,並拓展至更廣泛的汽車、遊戲、機器人等邊緣領域。
Amazon Bedrock AgentCore智能體平台推出多項創新:策略功能支援團隊為智能體的工具使用設定邊界,評估功能幫助團隊瞭解智能體在實際場景中的表現,情景記憶功能讓智能體能夠從經驗中學習並持續最佳化。
Amazon Bedrock全託管AI平台新增強化微調功能,提供自動化微調能力;Amazon SageMaker AI平台新增模型定製功能,支援深度底層調整,簡化高效AI的建構流程。
Amazon SageMaker HyperPod新增的無檢查點訓練功能則實現了大規模、低成本的訓練,整體目標是最大化客戶在生產環境中這些工作負載的價值和投資回報率(ROI)。
此外,針對建構智能體可靠性的Amazon Nova Act服務,正式版全面可用,有助於實現智能體大規模生產部署。
Strands Agents SDK是一款開源、模型驅動的AI智能體框架,提供模型驅動編排,自發佈以來下載量已達到529.9萬次。
今日,亞馬遜雲科技宣佈兩項新功能:
一是支援TypeScript(預覽版)。TypeScript是全球最受歡迎的程式語言之一,這將讓全端智能體應用的建構變得更加輕鬆。
Strands Agents對TypeScript的核心特性提供全面支援,包括類型安全、async/await非同步語法,以及現代JavaScript/TypeScript程式設計範式。開發者可借助AWS CDK(雲開發工具包),全程使用TypeScript建構完整的智能體技術堆疊。
二是支援邊緣裝置。客戶可通過Strands Agents SDK建構能在小型裝置上運行的自主式AI智能體,落地汽車、遊戲、機器人等領域的智能體應用場景,在現實世界中交付智能服務。
將智能體引入生產困難重重,需要快速規模化部署智能體,記住過去互動和學習,識別和訪問所有智能體和工具的控制,掌握用於執行複雜工作流的智能體工具使用,最後觀察和偵錯問題。
而複雜性會拖慢創新。如何幫助客戶大規模建構、部署安全的生產級智能體?這正是Amazon Bedrock AgentCore的核心價值所在。
Amazon Bedrock AgentCore是一款專為安全、大規模建構和部署智能體而設計的智能體平台,相容各類框架和模型,於今年7月在AWS紐約峰會上首次發佈預覽版,隨後快速迭代,10月已正式全面可用。
企業要將智能體從原型推向生產環境,需要一套安全、可靠、可擴展且適配智能體非確定性特性的專用基礎設施。智能體需要動態擴展的底層支撐,能支援長期運行的工作負載,並可即時、安全地儲存和檢索上下文資訊。
然而,當前早期採用者需要投入大量資源從零建構這類基礎設施,過程耗時費力,嚴重拖慢開發周期。
Amazon Bedrock AgentCore則通過提供全託管服務來解決這一挑戰。它包含一系列關鍵元件,提供了大規模運行生產級智能體所需的種種,包括:
客戶既可以使用Amazon Bedrock Agent建構智能體,也可以結合任何開源智能體建構框架。目前該平台已獲得廣泛採用,迄今開發者下載量已超過200萬次。
在此基礎上,Bedrock AgentCore新增兩項新功能:
一是Policy in AgentCore,策略功能,為智能體的操作設定明確邊界。通過獨立於智能體程式碼的即時確定性控制,主動攔截未授權的智能體操作。
企業只需用自然語言描述規則即可建立精細化策略,可以為智能體定義策略(可訪問的工具和資料、可執行的操作、適用條件等),比如“當報銷金額超過1000美元時,拒絕所有客戶的退款申請” 之類的策略。
這些策略會在智能體執行前進行評估,確保智能體始終在設定的規則邊界內運行。
二是AgentCore Evaluation,評估功能,幫助開發者基於智能體的行為持續檢測其質量,確保其行為符合預期。
AgentCore評估功能無需管理複雜基礎設施,提供了13種預置評估器,覆蓋正確性、實用性、工具選擇精準性、安全性、目標達成率、上下文相關性等常見質量維度。開發者還可靈活使用自己偏好的大語言模型和提示詞,編寫自訂評估器。
三是AgentCore Memory Episodic Functionality,情景記憶功能,自動保存互動過程中的關鍵事件和狀態,助力智能體從過往經驗中學習,提升決策水平。
它包含短期記憶和長期記憶。短期記憶用於記錄當前的互動過程,幫助智能體瞭解與使用者或操作者的即時互動狀態;長期記憶用於追蹤長期的互動歷史。情景記憶則能在這些記憶基礎上,疊加特定互動場景的上下文資訊,讓智能體能夠給出更智能的建議。
舉個實際例子:假設有一個預訂智能體,你第一次使用時,它為你預訂了車輛,並預留了45分鐘的趕航班時間,但你當時因照顧家人和孩子而錯過了航班,不得不重新預訂。借助情景記憶,系統會記錄下這次互動經歷。
當你6個月後再次預訂航班時,智能體將記得你需要更多的準備時間,會自動為你預留2小時的車輛預訂窗口,而非45分鐘。這一功能已深度整合到AgentCore中。
這些功能的核心目標,都是加速智能體從想法到大規模生產落地的處理程序。
隨著智能體應用的普及和生產環境中模型規模的擴大,效率已成為客戶必須關注的核心問題。企業客戶在使用現成模型時面臨一種挑戰:這些模型功能強大,但往往未針對效率和規模進行最佳化,最終導致不必要的成本支出、響應速度變慢以及資源浪費。
而效率並不僅僅關乎成本,它涉及多個關鍵因素:延遲(智能體能否快速響應,實現即時互動)、擴展性(能否應對預期的高負載)、敏捷性(能否根據應用演進和客戶互動快速迭代調整)。
解決這一問題的關鍵在於定製化:通過定製小型專用模型,處理智能體最常執行的工作,以更低成本實現更快、更精準的響應。
但在此之前,強化學習等先進定製技術需要深厚的機器學習專業知識、龐大的基礎設施支援,且開發周期長達數月。
對此,亞馬遜雲科技宣佈Amazon Bedrock與Amazon SageMaker AI推出全新功能,以便開發者運用先進的模型定製技術。
1、Reinforcement Fine-tuning in Amazon Bedrock:強化微調,提升模型精準率
亞馬遜雲科技宣佈Amazon Bedrock的一項新的強化微調功能——Reinforcement Fine-Tuning(RFT)。
該功能簡化了模型定製流程,核心目標是讓客戶無需具備深厚的機器學習和AI模型開發專業知識,就能輕鬆提升模型精準率。
其相比基礎模型平均可提升66%的精準率,幫助客戶無需依賴龐大昂貴的模型,而是通過更小、更快、更具成本效益的模型,獲得更優結果。
操作流程很簡便:開發者選擇基礎模型,指定呼叫日誌或上傳資料集,選擇獎勵函數,然後Amazon Bedrock中的自動化工作流會全程處理微調流程,以最大化獎勵函數的結果。
如此一來,客戶無需專業知識,就能獲得更貼合自身需求的定製化模型。
發佈初期,Amazon Bedrock強化微調功能將支援Amazon Nova 2 Lite模型,後續將逐步相容更多模型。
2、Model Customization in Amazon SageMaker AI:模型速度更快、成本更低、精準率更高
還有一類客戶是領域專家,希望對AI工作流擁有更多控制權。
雖然Amazon Bedrock的強化微調功能非常便捷,但部分客戶希望深入底層進行自訂調整,因此亞馬遜雲科技在用於大規模訓練和定製模型的平台SageMaker AI中新增了Model Customization深度模型定製功能。
SageMaker AI自2017年推出以來,一直是客戶進行AI和機器學習模型開發的核心平台。為了滿足客戶的深度定製需求,亞馬遜雲科技讓這一過程在SageMaker中變得更加簡單:客戶無需管理基礎設施,可為其生成合成資料,助力提升應用效果。
亞馬遜雲科技提供了兩種體驗模式:
一是智能體驅動模式(預覽版):通過智能體引導開發者完成模型定製流程。客戶用自然語言描述需求後,智能體將全程引導完成定製流程,從生成合成資料到模型評估無一不包。
二是自主引導模式:適合喜歡自主操作、希望獲得精細化控制和靈活性的開發者。這種模式無需管理基礎設施,同時提供合適的工具供開發者選擇定製技術,並能調整相關參數。
通過這兩種模式,開發者都能運用先進的定製技術,包括基於AI反饋的強化學習、帶可驗證獎勵的強化學習、監督式微調及直接偏好最佳化。
SageMaker AI新增功能將支援Amazon Nova以及Llama、Qwen、DeepSeek、gpt-oss等熱門開源模型。
亞馬遜雲科技希望通過多樣化的介面,為專業客戶提供所需的全部功能、控制權和靈活性,讓客戶能夠定製模型,以最低成本獲得最佳性能,並根據自身專業水平和偏好的工作模式提供適配的解決方案。
在與客戶合作進行模型定製和訓練的過程中,亞馬遜雲科技意識到仍有改進空間,模型訓練成本高昂且流程繁瑣。
通常,客戶需要運行大型GPU叢集,這些叢集執行階段成本不菲,閒置或故障時損失更大,無法開展有效工作。
為解決這一問題,亞馬遜雲科技開發了Amazon SageMaker HyperPod。
它是SageMaker中的託管訓練功能,是目前大規模模型訓練成本最低的方案之一, 能最大化叢集執行階段間,讓客戶在進行訓練和定製任務時,充分發揮叢集的價值。
Amazon SageMaker HyperPod簡化了模型訓練與部署的基礎設施管理,最高可降低40%成本。當訓練規模擴展至數百或數千個加速器時,可能會出現硬體或軟體故障等問題。
傳統基於檢查點的恢復方式耗時最長可達1小時,不僅成本高昂、佔用儲存資源,還會導致價值數百萬美元的計算叢集在恢復期間處於閒置狀態。
對此,亞馬遜雲科技宣佈SageMaker HyperPod推出Checkpointless Training無檢查點訓練功能。
該功能無需人工干預,即可在數分鐘內自動從基礎設施故障中恢復,使包含成千上萬張AI加速器的叢集訓練效率最高可達95%。
對於大型長期運行的任務,重啟和重跑極其痛苦。而無檢查點訓練徹底改變了這一模式:系統自動記錄所有操作,若發生故障,可在幾分鐘內快速恢復,客戶能迅速繼續工作。
當故障發生時,系統會自動替換故障元件,並通過從鄰近正常加速器進行模型和最佳化器狀態的點對點傳輸來恢復訓練。這一機制大幅縮短了停機時間。
這不僅降低了整體營運成本,還能讓客戶更快地將定製模型部署到生產環境。
它真正實現了,無論客戶需要多大的規模,都能以簡單、經濟、可靠的方式完成訓練。
當智能體應用和這些工作流部署運行後,可靠性就成為了核心要求。
每個企業都有希望自動化的流程,但他們需要的,是可預測、可靠、可規模化的自動化,而這一點靠企業自身很難實現。
為了簡化這一過程,亞馬遜雲科技建構了一套端到端服務Amazon Nova Act,幫助開發者建構、部署和管理大量可靠的智能體,實現生產環境使用者介面(UI)工作流程的自動化。
企業使用智能體進行自動化時,通常都是針對螢幕和介面的自動化操作,而Amazon Nova Act的設計初衷就是讓這類開發更簡單,同時保障可靠性和規模化部署能力。
今年早些時候,亞馬遜雲科技發佈了Amazon Nova Act研究預覽版。為了將智能體投入生產環境,亞馬遜建構了一個完全整合的解決方案,用於實現可用於生產環境的可靠瀏覽器自動化。
今日,Amazon Nova Act正式版即日起全面可用。
該服務與Amazon Nova、Bedrock和AgentCore深度整合,讓客戶能夠輕鬆建構可靠的智能體。它能夠大規模地提供超過90%的任務可靠性,同時與其他AI框架相比,還能更快實現價值,並簡化部署過程。
客戶可在自己選擇的任何開發環境中建構這些應用,系統支援部署大量平行的UI智能體,這些智能體依託模型,具備高可靠性。
Amazon Nova Act基於定製的Amazon Nova 2 Lite模型,能夠出色地驅動瀏覽器、支援API呼叫,並在必要時將問題升級至人工處理。該服務具備Web質量保證(QA)測試、資料錄入、資料提取和結帳流程等核心功能。
如今大多數模型都是獨立訓練的,與執行任務的協調器和執行器分離,這降低了可靠性。Amazon Nova Act採用不同的方法,利用強化學習,讓智能體在模擬真實世界使用者介面的定製合成環境(Web Gym)中運行。
這種模型、協調器、工具和SDK的垂直整合,以及所有元件的同步訓練,實現了規模化下更高的任務完成率。最終得到的智能體系統不僅偶爾有效,而且能夠大規模可靠運行,並具備推理和適應變化的能力。
Amazon Nova Act將適配客戶使用的各種整合開發環境(IDE)。它是一套可擴展的框架,完全適配客戶的開發習慣,同時讓客戶能夠輕鬆實現大規模生產部署。其核心適用場景是任何需要自動化UI的場景。它包含一個動作模型,亞馬遜雲科技還針對該模型開發了大量SDK和工作流,用於操控UI。
亞馬遜雲科技堅信生成式AI是人們正在經歷的關鍵變革之一,將助力客戶實現業務轉型,並在未來數月、數年內普及開來。
當前,這家雲巨頭致力於成為客戶建構智能體、實現業務自動化的最佳平台,不僅讓開發過程更簡單,還提供了安全、高彈性的基礎架構,保障營運的領先性和世界級的基礎設施,讓客戶能夠按需定製所使用的基礎設施和技術堆疊,從而獲得理想的結果。
其平台提供了豐富的AI功能,內建負責任的AI機制,擁有支撐這些技術在現實世界發揮作用所需的資料資源,還依託全球最大的合作夥伴網路,使其客戶可通過市場輕鬆獲取各類智能體。
而亞馬遜雲科技會處理好各種底層複雜工作,助力企業及開發者通過生成式AI應用實現業務變革。 (智東西)