5090跑《黑神話》飆200+幀，輝達DLSS也用Transformer了

現在，打個遊戲都用Transformer了？ ！

老黃的DLSS進行了一波大升級，換上了基於Transformer的新大腦。

用上新模型之後，光線重建和超分辨率，效果都變得更細膩了。

而且DLSS 3中的幀生成功能也升級到​​了DLSS 4多幀生成，一次性就能生成最多3幀畫面，把《黑神話：悟空》的幀率拉升到200+。

同時，輝達也上新了一大批AI渲染技術，像是畫面渲染中的重要零件──著色器，裡面也有了AI的一席之地。

這波也算是送了一份「新年大禮包」給遊戲開發者和玩家們了。

“大力水手”全面“換腦”

就像開頭說的，被遊戲玩家們稱為「大力水手」的DLSS，迎來了一次全面更新。

（註：DLSS全名為Deep Learning Super Sampling，即深度學習超級採樣）

DLSS的核心思想，就是用AI運算來取代一部分的渲染計算，從而在加快畫面產生速度的同時提升畫質。

之前的DLSS，主要是透過卷積神經網路（CNN）來實現，現在隨著50系顯卡的上線，“大力水手”也進行了“換腦”，CNN的工作被Transformer取代了。

據介紹，這是Transformer模型首次在圖形領域的即時應用。

相較於過去的CNN，新的Transformer模型擁有兩倍的參數量，產生的像素穩定性更強、重影更少，還擁有更高的運動細節以及更平滑的邊緣。

DLSS的兩個主要功能——光線重建和超分辨率，都已經用上了Transformer。

例如在《心靈殺手2》的光線重建場景，全新的DLSS4相較於上一代以CNN為基礎的演算法，柵欄呈現的連續性明顯更強，兩個場景下的光線也更加真實了。

如果感覺變化不明顯，可以看下靜態畫面的比較：

在超解析度功能當中，畫面細節相比之前的CNN也變得更加細膩。

另外新一代的幀產生功能也不再侷限於單幀，支援一次產生最多3幀畫面。

例如在《Cyber​​punk2077》的場景中，相較於不開啟DLSS，DLSS 4的多幀生成可以在延遲降低超過一半的情況下將幀率從27提升到248，比例將近8倍。

另外，新模型速度提高了40%，使用的VRAM減少了30%，例如在《戰鎚40K：暗潮》中，幀速率提高了10%，同時在4K最大設定下減少了400MB顯存佔用。

另外40系顯示卡中的畫面產生功能也進行了升級，同樣是在提升效能的同時減少了VRAM的使用。

目前DLSS 4已經提供了75款遊戲和應用的Day 0支持，除了多幀生成是50系獨佔之外，基於Transformer的光線重建、超分辨率等功能同時還可以給40、30甚至20系顯卡帶來性能提升。

隨便劇透一下，《黑神話：悟空》也將在Day-0支援DLSS 4多幀生成。

圖形渲染也用上AI了

與新版DLSS一起，輝達也推出了一套神經渲染技術－NVIDIA RTX Kit。

它可利用GPU中的Tensor Core，透過AI完成遊戲中的光線追踪，並渲染具有複雜幾何形狀的場景，可以用高保真度渲染出複雜的開放世界，同時減少偽影、不穩定性並降低VRAM使用。

首先是RTX神經網路著色器（Neural Shader），它把AI引入到了可編程著色器當中，包含了三大關鍵技術：

• 神經網路紋理壓迫（Neural Texture Compression ）：用AI快速壓縮紋理，在相同視覺品質下消耗的VRAM或系統記憶體只有1/7；
• 神經網路材質（Neural Materials）：用AI壓縮複雜著色器程式碼，材質處理速度提高了5倍，可以以遊戲畫面的幀速率渲染電影品質的資源；
• 神經網路輻射緩存（Neural Radiance Cache）：用AI學習多次反射間接照明，利用最初的一到兩次反射即可推斷出無限多次的反射，從而提升了路徑追蹤性能。

來看一組開啟Neural Materials前後的效果對比，開啟之後（分割線右側）畫面中的材質以及藍寶石的反光效果都變得更加真實。

還有像這樣的絲綢材質，Neural Materials開啟後絲綢的光澤被更好地展現，畫面也更細膩了。

對比確實很明顯，不過對於即時畫面渲染來講，這些還算是灑灑水，真正具有挑戰的，是人臉的渲染。

這就涉及了RTX Kit中的另一個元件—— RTX Neural Faces，它利用生成式AI來提高人臉的渲染品質。

Neural Faces採用簡單的光柵化臉部加上3D姿勢資料作為輸入，用AI模型來推斷臉部（而不是蠻力渲染）。

Neural Faces背後的訓練資料包含了不同的角度、光照、情緒和遮擋條件下的數千個臉部影像，可以創造出更柔和、更自然的外觀。

Neural Faces也專門針對皮膚和頭髮專門設計了補充SDK。

其中應用了次表面散射（SSS）技術，可以模擬光線穿透半透明材料表面並在內部散射的過程，從而更好地呈現皮膚質感。

還有線性掃描球體（LSS）加速基元，可以減少渲染頭髮所需的幾何體數量，並使用球體代替三角形來更準確地適應頭髮形狀。

用輝達的話來說，Neural Faces這項技術「跨越了人像渲染的恐怖谷」。

還有針對三角形光線追蹤的RTX Mega Geometry。

在遊戲當中，三角形是構成畫面的重要元素，其數量也隨時間呈現出指數級增長，特別是虛幻引擎5推出新的幾何系統以來，遊戲中的三角形數量已經數以億計。

這對於幀畫面的建構而言是一大噩夢，想要保持足夠的幀速率更難上加難。

Mega Geometry可以在GPU上大量智慧更新三角形簇，從而減少CPU開銷並提高光線追蹤場景中的效能和影像質量，可處理的三角形數量是之前的100倍。

根據輝達介紹，Mega Geometry可以「完全光線追蹤專案中的每個三角形」。

眼見為實，一開始分割線左側的藤蔓未開啟Mega Geometry，非常沒有立體感，景深關係不對，光影也不符合物理規律，看上去就是一個字——假。

但開啟之後，藤蔓的立體感一下子就增強了，而且光影也更加真實，「貼圖感」消失了一大半。

Two More Things

除了畫面質量，延遲也是遊戲玩家關心的重要參數，特別是在競技遊戲中，幾毫秒的輸入延遲可能會決定勝負。

為此輝達推出了Reflex 2，將上一代Reflex的低延遲模式與全新Frame Warp技術相結合，在將渲染幀發送至顯示器前，根據最新的滑鼠輸入信號對其進行更新，可將PC延遲降低高達75%。

為了解決Frame Warp過程中的圖像撕裂問題，輝達還開發了一種優化了延遲的預測渲染演算法，該演算法使用來自先前幀的視角、顏色和深度數據，對這些撕裂進行準確的圖像修復。

在上一屆CES上，輝達展示的AI NPC技術（基於NVIDIA ACE實現）也吸引了不少眼球。

透過ACE，不需要事先準備劇本，就能讓遊戲中的角色像真人一樣與玩家語音對話。

現在這項技術也迎來了升級，應用範圍擴展到了擁有自主意識的遊戲角色，例如AI隊友。

而且能力也更豐富，可以利用AI讓這些角色像真人玩家一樣感知、計劃和行動。

另外，去年的AI NPC的對話內容需要傳輸到雲端處理；

現在50系顯卡運算能力大幅提升，同時輝達也推出了小語言模型，在演算法和算力同時升級之後，對話內容的處理在本地也能完成了。

《絕地求生(PUBG: BATTLEGROUNDS)》中就會透過Ace服務和定製版Mistral小模型，在遊戲中提供一個像真人一樣的虛擬隊友。

它可以和你對話並密切配合你的動作，幫助標記出物品，甚至開車過來和你會合。

中國國產遊戲方面，網易的《永劫無間(NARAKA: BLADEPOINT)》 PC版也將在今年年內發布類似功能。(量子位元)