安全研究人員Trail of Bits發現了一個漏洞，有可能從GPU記憶體中竊取“關鍵數據”，英偉達、蘋果、AMD和高通等多個型號的消費性GPU受到影響。
這個漏洞被命名為“LeftoverLocals”，這個漏洞不只是針對消費者應用程序，而是透過侵入大語言模型（LLM）和機器學習（ML）模型中使用的GPU來完成任務。由於模型訓練涉及敏感資料使用，因此提取資料更危險。
卡內基美隆大學（Carnegie Mellon University）的專家正在對LeftoverLocals進行跟踪，據稱該信息已經被受其影響的主要GPU供應商共享，其中包括英偉達、蘋果、AMD、Arm、英特爾、高通和Imagination等。
在AMD Radeon RX 7900 XT上運行70億參數量模型時，LeftoverLocals漏洞在GPU每一次調用數據時可能會洩漏約5.5MB數據，在llama.cpp上運行7B模型時，每次LLM查詢總共會洩漏約181MB數據。這些資訊足以高精度地重建大語言模型響應。
LeftoverLocals相當依賴GPU如何隔離其內存，而這與CPU框架不同，因此透過可編程介面獲得對GPU共享存取權的攻擊者可以竊取GPU內的記憶體數據，這將帶來多種安全後果。
對於一般消費者來說，LeftoverLocals可能不值得擔心，但對於雲端運算或推理等產業的相關人員來說，會使LLM和ML框架的安全性存在疑慮。（飆叔科技洞察）