•
【輝達GTC大會】輝達引爆AI PC革命！ RTX GPU給 1億打工人送算力 40系卡秒生百張圖畫質爆表
【導讀】如今炙手可熱的AI PC之戰，輝達也下場了！ RTX GPU給1億打工人加持的算力，已經破了紀錄，生圖、視頻、會議、直播，統統被RTX AI史詩級升級；《黑神話：悟空》《永劫無間》的玩家，更是雙廚狂喜！
昨天深夜，輝達CEO黃仁勳甩出能訓萬億參數大模型的新核彈B200，直接打破了摩爾定律。
同時推出的AI推理微服務NIM，號稱能讓全世界用上AI。
同時，輝達又為1億RTX PC用戶和開發者，更新了AI應用和工具，直接要讓我們快轉到AI PC時代：
- 一台筆記本，Instant ID 15秒就能製作一張影樓級品質的肖像照；
- 一張RTX 4090D，Stable Diffusion更是達到了8張圖/秒的生成速度；
- Sora大火之餘，輝達已經在和剪映，共同探索生成式AI在影片製作上的落地；
- 國產遊戲之光《黑神話：悟空》，在全景光追和DLSS 3.5的加持下，畫面已經得到了史詩級提升。
準備好，一場RTX AI PC的革命之火，已經引爆。
RTX AI PC革命來襲！
早在2018年，輝達就已經在探索AI PC的雛形了。
當時，隨著RTX技術和首款專為AI打造的消費級GPU（GeForce RTX）的推出，輝達加速了向AI運算的轉變。
在RTX GPU上，這些專用的AI加速器，也就是我們所熟知的Tensor Core。
即使運作要求極為嚴苛的工作和娛樂應用，它都能顯著加速AI效能，還能讓PC使用者用上在雲端才能運作的新功能。
從軟硬體到生態加速，輝達正憑藉著實力，有力地證明了這一點：RTX就是AI PC的核心。
硬體方面，新一代GeForce RTX GPU提供的算力，不僅從200 AI TOPS到1300 AI TOPS全覆蓋，還提供了筆記型電腦、桌上型電腦的多樣選擇。 （TOPS即teraops，萬億次運算/秒）
相較之下，沒有獨立GPU的AI PC，算力僅10到45 TOPS。
軟體層面，從2018年到現在，全球搭載輝達RTX GPU的PC已經有超1億的用戶。
如今，它所加持的領域，已經涵蓋了AI繪畫、平面設計、影片編輯/體驗、3D創作，到AI遊戲、遊戲開發，再到AI應用開發、文件助理等等。
地表最快Stable Diffusion
有了RTX AI，創作者可以專注於創意本身，無需在等待系統加載，在乏味的重複性工作上浪費時間。
只用一張RTX 4090D，Stable Diffusion就能在每秒產生8張圖片，快速讓創意成為現實。
NVIDIA TensorRT的引入，徹底改變了遊戲規則。
透過8位元量化成為目前SD最快的加速方法，最快可達120 imgs/s。 （StreamDiffusion）
開啟TRT之後，1分鐘的影片產生比以往快了足足30秒，效率提升了40%。
以及目前已經支援支援SD 1.5 & 2.1、SDXL、SDXL Turbo、LCM以及Stable Video Diffusion等機型的加速。
另外，CUDA也提供了對LoRA、ControlNet、微調、AnimateDiff、InstantID等模型支持
圖像編輯
想要一張品質不錯的肖像照，但只能用電腦攝影機拍一張很糊的照片，怎麼辦？
答案非常簡單：只要上網找一張自己想要的「模板」，再用Instant ID把它和自己的人臉融合在一起，就能得到一張質量不錯的照片了，甚至在影樓還不一定拍出這樣的效果。
而這一整套工作流程，在一台RTX 4090筆電上就能完成。
這，就是真正的生產力，真正針對專業用戶的AI PC應用。
另外，修圖師還可以透過Photoshop快速實現圖片各種細節的處理與編輯。
影片製作
影片剪輯工作者可以更輕鬆地使用AI加持在深度圖生成、表面追蹤、風格轉換等工作流程中的進階效果。
就拿轉描（突出顯示圖中某個元素）來說，如果要靠人工完成，就需要逐幀選出下圖中的“頭戴式耳機”，這無疑會消耗大量時間。
借助AI，只需選擇耳機即可創建蒙版，再讓AI具體裁切出確切的形狀，並且可以跨越不同幀進行追蹤。
與30系相比，RTX 40系顯示卡，直接將此性能提升了70%。
另外，RTX 40系擁有第八代NVENC AV1編碼器，滿足了不同工作者對匯出影片格式的需求。
輝達還在和國內深受使用者喜愛的剪輯軟體剪映專業版，共同探索推動生成式AI在PC端的落地。
目前，已透過TensorRT推動剪映AI藝術字功能上線，並正在透過RTX AI平台加速生成式AI在剪映產品功能中的應用。
AI 3D創作
3D創作者透過UE等AI工具，加速3D創作渲染。
生成式3D材質，也可以用RTX AI來加速。
視訊會議/直播
在視訊會議/直播中，RTX AI還能做到多項串流品質的優化。
例如，這個全新上線的眼神接觸功能，可以輕鬆矯正人物的眼神方向。
別看現在鏡頭裡的人正在看腳本，目光接觸功能一開，他的目光就會立刻看向鏡頭了！
此外，還有虛擬背景、虛光濾鏡、雜訊消除等多項功能。
遊戲開發
毋庸置疑，RTX AI更是強化遊戲體驗的利器。
遊戲開發者可以利用生成式AI創造自己的遊戲MOD、重製遊戲助理、自動捕捉遊戲場景。
可以在NVIDIA Ominiverse中，透過生成式AI重製物件材質。
AI增強的光追技術，能讓遊戲環境更真實。
更重要的是，開發者可以為遊戲製作支援即時光追、DLSS 3/DLSS 3.5的RTX重製版。
不，一些玩家、開發者、創意者們，已經開始使用RTX AI了。
DLSS 3.5：遊戲體驗史詩級提升
剛開幕的輝達遊戲開發者大會，簡直讓玩家們興奮到把拳頭捏爆。
包括多款RTX 遊戲的最新消息：《黑神話：悟空》，《永劫無間》，《星際大戰™：亡命之徒》，《暗黑破壞神IV》，光聽名字，就讓人想起立致敬。
特別值得一提的是：在今年的GDC上，輝達宣布，支持DLSS 3.5的遊戲陣營進一步擴大！
國產遊戲之光、品質和流量的扛鼎之作－《黑神話：悟空》，就將支援全景光線追蹤和DLSS 3.5。
雖然還未正式推出，但這兩年江湖上一直有它的傳說，眾多玩家都在翹首以盼。
果然，玩家們果然沒有白等——在光追和DLSS 3.5的加持之下，無論是場景，光影，還是畫面細節，體驗都全部刷新！
如今，《黑神話：悟空》的B站預告片觀看數已破228萬，網友紛紛追問：這真是實機畫面，不是渲染的？
想像一下這個畫面：打開搭載GeForce RTX 顯示卡的PC，開啟支援光線重建技術的NVIDIA DLSS 3.5 和全景光線追踪，接下來，就是一場視覺盛宴。
為什麼透過DLSS 3.5呈現的畫面如此激動人心？
原因在於，它包含了輝達全新的DLSS光線重建技術（Ray Reconstruction），利用全新統一的AI模型，取代了多個人工設計的光線追蹤降噪器。
因此，光線追蹤效果和全景光線追蹤的影像質量，再次得到了史詩級提升。
而在《黑神話：悟空》中開啟全景光追後，我們就可以更沉浸式地體驗史詩級的遊戲場景。
可以看到，水面上可以反射出周圍所有場景的細節。
水的散焦效果，進一步增加了場景的真實感，光的折射和反射效果，都渲染得更好。
全景光追的全局光照，也讓室內外的光照效果更加完美，即使是因被遮擋而無法照亮的較暗區域，也會透過反射光被照亮。
在光照系統的配合之下，無論是接觸處的硬化陰影，或是光追帶來的柔化陰影，都可以輕鬆投射到各處。
小到葉片和卵石上每一處最小的陰影，大到主角、巨大的怪獸、擁有精緻外表的建築，全部被細緻入微地刻畫了出來。
以下是一波高清大圖，請欣賞：
此外，率先將支援DLSS 3.5的，還有在國內外遊戲社群中人氣超高的國產多人動作競技端遊《永劫無間》。
《永劫無間》會在PVP和PVE模式下的三個地圖中，添加全景光線追踪，之後也將在更多地圖中陸續支持全景光線追踪。
更豐富細緻的全景光線追蹤效果，可以讓全局光照、反射、環境光遮蔽和陰影得到全面優化，而DLSS 3.5的光線重建技術，會讓這些效果進一步增強。
具體來說，DLSS 3.5透過將人工降噪器替換為輝達超級電腦訓練的AI網路（在採樣光線之間產生更高品質的像素），提升了GeForce RTX GPU光線追蹤影像的品質。
同時，DLSS 3.5 AI網路的訓練資料量也是DLSS 3的5倍，可識別不同的光線追蹤效果，從而可使用時間和空間資料做出更明智的決策，並保留高頻資訊以實現更高品質的圖像效果。
此外，光線重建也會從訓練資料中識別光照模式，例如全域光照或環境光遮蔽等，並在遊戲中重新建立。其最終效果比需要人工設計的降噪器更出色。
而DLSS 3.5除了能讓新遊戲帶來更好的性能表現和畫面效果外，還能讓用新技術復刻的老遊戲重新煥發光彩。
《傳送門》RTX版是首款採用NVIDIA RTX Remix打造的遊戲，這是一款變革性的Mod工具，可協助Mod玩家升級和重製經典遊戲。
現在，《傳送門》RTX版也將支援NVIDIA DLSS 3.5，利用AI驅動的光線重建(Ray Reconstruction)技術，提高全景光線追蹤的保真度和全域動態照明效果的反應速度。
在DLSS 3.5加持之下，GeForce RTX 4090的幀率可提升至原來的6.2倍，GeForce RTX 4080 SUPER的幀率可提升至原來的6.7倍，遊戲速度分別可達到100 FPS和70 FPS。
除了這些新鮮出爐的遊戲大作之外，目前已有超500款遊戲和應用程式支援NVIDIA RTX技術，未來還會有更多大作加入。
例如《星際大戰™：亡命之徒》：
《戰國王朝》：
在封建日本的動盪時期，玩家可以建立並成為自己王朝的主宰
《暗黑破壞神IV》：已經支援DLSS 3，將於3月26日支援光線追蹤。
ACE：AI NPC「活了」
除此之外，輝達還利用「世界級數位人技術」讓那些遊戲NPC們活了！
同時，也為商業應用創造了栩栩如生的數位化身。
其中就包括，用於語音和動畫的NVIDIA ACE、用於語言功能的NeMo，以及RTX渲染技術。
這些技術都將成為開發者創建，AI驅動的自然語言互動的數位人的基石。
去年GTC大會上，老黃發表會上直接與遊戲NPC即時對話，網友表示這簡直顛覆了整個遊戲產業。
這一次，輝達直接帶來了更多行業的應用。
在GDC 2024上，輝達與InWorld聯手呈現了全新的技術Demo－Covert Protocol。
有了Covert Protocol，每個玩家的體驗都是獨一無二的。
因為NPC可以在遊戲世界中感知周遭世界，做出決策和行動，突破了遊戲中角色互動的限制。
在這裡，你扮演的是一名私家偵探，將根據與場景中人物的對話結果完成目標。
它們可以學習和適應，表現也會有細微差別，有時會自主發起行動。
針對同一場景，NPC有著豐富的語言表達能力。
具體來說，InWorld引擎整合了NVIDIA Riva自動語音辨識技術，可實現精確的語音轉換文字。
同時NVIDIA Audio2Face提供逼真的臉部表情，增強了動畫效果。
而在InWorld端，開發人員可以針對每個特定的NPC調整各種參數：個性、知識與認知、目標、場景、安全性、長期記憶。
InWorld引擎可以讓遊戲開發人員，增加更多回應玩家的行為「多模態AI智能體敘事」。
它將認知、感知和行為系統整合在一起，在精心製作的環境中呈現令人驚嘆的RTX渲染角色，以實現身臨其境的敘事效果。
另一家遊戲巨頭育碧也開始利用Inworld和NVIDIA ACE技術，探索數位人在遊戲中可能性。
最具代表性的項目是NEO NPC——讓遊戲NPC可以自由即興對話。
Inworld的角色引擎和LLM技術，讓育碧的敘事團隊能為每個NPC建立完整的背景、知識庫和對話風格，而NVIDIA ACE技術套件中的NVIDIA Audio2Face則用於實現即時臉部動畫。
育碧透過三個獨立技術Demo展示了NEO NPC的功能。
每個場景都專注於NPC行為、環境和情境意識的不同面向；一系列即時反應和動畫；以及連續對話、協作和策略決策。
這些實驗發現突破了遊戲設計和沈浸感的界限。
另外，《誅仙世界》、《渾噩》也將Audio2Face 加入了開發流程。
Audio2Face可以精準產生口型同步，讓腳本編寫人員更容易為《誅仙世界》添加新配音內容。
在醫療行業中，數位助理可以為世界各地的患者提供有用、及時和準確的資訊。
新創公司HippocraticA創建了由NVIDIA ACE加持的醫療保健智能體，可以給患者打電話，跟進護理協調任務，提供術前指導，執行出院後管理等。
NVIDIA App：一個應用程式搞定一切
為了讓玩家擁有更流暢無縫的使用體驗，輝達也推出了全新的NVIDIA app——它最大的亮點是：無需登入即可更新驅動。
它也徹底解決了先前GeForce Experience使用體驗卡頓，在後台資源佔用過大的問題。回應速度提升50%，磁碟佔用減少17%。
而且無論是遊戲發燒友或內容創作者，NVIDIA app都能讓用戶更輕鬆及時更新到最新的驅動，讓用戶快速找到並安裝NVIDIA Broadcast和NVIDIA Omniverse等最新應用程式。
GPU「大一統」控制中心：最優遊戲設定+ 驅動配置。
NVIDIA app將GeForce Experience的遊戲設定最佳化功能與NVIDIA控制面板的3D設定整合到統一的介面中。
玩家能在一個集中的應用中查看修改各種最佳化選項，同時調整驅動程式設定。
玩家可以針對遊戲和應用自訂控制中心選項，也可以對所有遊戲和應用程式使用全域設定檔。
全新升級的驅動面板：快速查看概要，取得最新驅動資訊。
在「驅動程式」頁面中，玩家可以快速了解每次驅動更新的重點內容。
如果玩家想要查看具體的更新或是修復細節，也能方便的取得到全部的細節資訊。
全新的遊戲覆蓋介面：即時統計數據顯示，支援120 FPS ShadowPlay錄製。
NVIDIA app也重新設計了遊戲中的浮窗，玩家仍可輕鬆使用「Alt+Z」快速調出Shadowplay錄製工具、Freestyle 遊戲濾鏡、NVIDIA Highlights、照片模式和效能監控工具。
重新設計的統計資訊浮窗，增強了效能監控功能。
玩家可以透過多種選項自訂效能浮窗在遊戲期間的顯示方式，最大限度地減少HUD佔用的空間。
全新的AI影像濾鏡：支援RTX HDR和RTX數位自然飽和度。
透過NVIDIA Freestyle，玩家可以利用即時後製濾鏡為自己喜愛的遊戲打造個人化的視覺效果。
由玩家喜愛的Digital Vibrance（數位自然飽和度）功能改進而來的RTX Dynamic Vibrance（RTX數位自然飽和度）可針對每個應用程式增強視覺清晰度，讓玩家能夠靈活、方便地調整每個遊戲的視覺設定.
它不僅能在螢幕上呈現更多顏色，而且可以在不同的顏色之間實現完美平衡，最大限度地避免顏色崩壞，確保圖像品質和沈浸感。
而RTX HDR是一款新的AI增強Freestyle濾鏡，可以將高動態範圍(HDR) 的艷麗視覺效果無縫引入到原本不支援HDR的遊戲中。
透過RTX HDR濾鏡，現在玩家可以利用相容HDR的顯示器暢玩DX12、DX11、DX9和Vulkan平台上運行的大量遊戲。
NVIDIA app也能讓使用者方便探索輝達的各類前緣應用：包括NVIDIA ICAT、NVIDIA Omniverse等。
ChatRTX：專屬大模型，本地就能跑，還免費開源
輝達在前段時間也上線了自己第一款支援本地運行的大模型技術demo——Chat with RTX。
Chat with RTX（簡稱ChatRTX），使用檢索增強生成、NVIDIA TensorRT-LLM軟體和NVIDIA RTX加速，將本機生成式AI功能引入到支援RTX的Windows系統中。
使用者可快速、輕鬆地將本機檔案作為資料集連接到開源大語言模型，快速查詢與上下文相關的答案。
想要運作Chat with RTX的要求也非常簡單，用戶在搭載NVIDIA GeForce RTX 30 系列或更高版本的GPU（至少8GB 記憶體）進行本地部署，打造個人專屬聊天機器人。
目前，Chat with RTX已經可以支援Mistral、Llama2等多款開源模型。
但很快，Chat with RTX將增加對語音、圖像和新模型的支援。
RTX AI工具：全面加持開發者
LLM龐大的參數規模，讓「部署和推理」的難度和成本一直居高不下。
為此，輝達推出了一款專門用於提升AI推理性能的開源軟體－TensorRT-LLM。
TensorRT-LLM將TensorRT的深度學習編譯器、FasterTransformer的最佳化核心、預處理和後處理以及多GPU/多節點通信，封裝在一個簡單的開源Python API中。
開發者不需要深入的C++或CUDA專業知識，就能夠部署、運作、調試各種大語言模型，還能獲得頂尖效能表現，以及快速客製化的功能。
對於RTX PC和工作站使用者來說，借助輝達定制的TensorRT-LLM for Windows，可以讓模型的推理效能最高提升5倍之多。
這些大語言模型的版本將能夠在任何配備8GB以上顯示記憶體的GeForce RTX 30系和40系GPU上運作。
這意味著即便是最輕的Windows設備，也能快速且精確地實現本機大語言模型處理能力。
除了成本居高不下外，客製化和維護生成式AI專案也需要大量的時間和精力，尤其是在嘗試跨多個環境和平台進行協作和部署時。
針對這個問題，輝達提出了一站式解決方案－AI Workbench。
基於此，開發者可以輕鬆地在PC或工作站上快速建立、測試和自訂預先訓練的生成式AI模型和大語言模型。
2024年伊始，AI PC一躍成為了消費級市場的兵家必爭之地。
就在各晶片廠商和PC品牌商發力之際，輝達憑藉多年佈局，早已不知不覺地走在了AI PC前列。
輝達掀起的這場RTX AI PC革命，必將席捲我們這一代的工作和娛樂，改變一切。（新智元）