輝達高級總監Dion Harris表示，Groq機架將部署在新型雲服務商Nebius的資料中心，並將於今年晚些時候上線。
輝達高管最新宣佈，Groq 3 LPX機架已進入全面量產階段，這標誌著該公司史上最大規模收購案所獲得的技術正式實現商業化。
當地時間周一（8月24日），輝達高級總監Dion Harris表示，Groq機架將與Vera中央處理器和Rubin圖形處理器一同部署在新型雲服務商Nebius的資料中心，並將於今年晚些時候上線。
輝達加速生產Groq晶片並向客戶提供產品，凸顯出低延遲推理的重要性日益提升。低延遲推理能夠讓AI智能體更快響應，避免使用者長時間等待，在程式設計等應用中尤其重要。
Harris說道，雲服務商可以針對這類token（詞元）收取更高費用，“對於那些提供token服務的企業而言，這讓他們能夠為那些對延遲極其敏感的使用者和客戶提供高級服務套餐。”
去年12月，輝達與Groq達成200億美元交易，獲得了Groq的晶片技術授權，多位核心員工也加入了輝達，創始人Jonathan Ross更是擔任了輝達首席軟體架構師。
今年3月，輝達發佈了為Vera Rubin平台研發的推理加速器Groq 3 LPX。Groq架構在晶片裸片上整合了500兆字節的高速靜態隨機記憶體器（SRAM），以減少與記憶體相關的瓶頸。
據瞭解，Groq晶片由三星製造，而輝達的GPU則由台積電生產。每一個LPX機架可整合256顆Groq 3，輝達援引Artificial Analysis的基準測試稱，整合後的機架每秒可處理3400個token。
當下， 這一領域競爭激烈。AMD今年早些時候宣佈，將把其機架級系統與Cerebras的晶片進行整合。Cerebras近期剛剛上市，業務重點同樣是低延遲推理。
近期，OpenAI推出的“Ultrafast”模式承諾每秒可處理750個token，由Cerebras提供支援。
需要指出的是，低延遲晶片並不能取代作為AI晶片主力的GPU。GPU既能夠執行訓練，也能夠進行推理，同時具備足夠的靈活性，可以適應新技術和新模型。
Groq這類低延遲晶片則主要專注於模型服務中的一個環節，即“解碼”（decode）階段。Harris也提到：“這並不是要取代GPU，而是要針對工作負載的不同環節，使用價格合適、處理能力合適的處理器。”
輝達目前正在加快Vera Rubin系統的出貨速度。黃仁勳先前曾預計，到2027年，當前一代Blackwell晶片和新一代Vera Rubin系統的累計銷售額將達到1兆美元。
黃仁勳當時表示，他計畫將面向程式設計應用的資料中心空間中約四分之一分配給Groq晶片。“我的資料中心其餘部分將100%採用Vera Rubin。”(科創板日報)