在高速資料傳輸和計算需求日益增長的今天,PCIe 正在經歷一場前所未有的光互聯革命。2024年,光互連技術發展勢頭迅猛,多家廠商紛紛推出與PCIe相關的解決方案,加速了光互連在資料中心中的應用。光互連技術也越來越有望迅速從實驗室走向資料中心,成為資料傳輸領域的中堅力量。
PCI-Express(PCIe)自2000年誕生以來,憑藉其高頻寬、低延遲等優勢,一直是電腦系統中不可或缺的互連標準。儘管PCIe卡的外形尺寸在過去二十年基本保持不變(很大程度上是為了確保向後和向前相容性),但其訊號傳輸速度卻實現了飛躍式發展。從最初的PCIe 1.0到如今的PCIe 6.0和即將發佈的PCIe 7.0,單個通道的傳輸速率已經提高了32倍,而PCI-SIG將在2025年通過PCIe 7.0將這一速度再次提高一倍,達到512GB/s。
PCIe 7.0的創新還包括四級脈衝幅度調製 (PAM4)、輕量級前向糾錯 (FEC)、循環冗餘校驗 (CRC) 和流量控制單元 (Flits)。PCIe 7.0 技術旨在成為人工智慧/機器學習、資料中心、HPC、汽車、物聯網和軍事/航空航天等資料密集型市場的可擴展互連解決方案。
就當下以及未來的發展來看,大語言模型的快速迭代離不開海量GPU叢集的強勁支援。這個海量已經到了萬卡叢集等級,成為AI標配,萬卡叢集之間的互連通常是基於GPU上原生的PCIe介面。要達到PCIe 7.0及更高速度的資料傳輸,幾乎無法通過PCIe標準的銅纜實現機架間數十米的傳輸,傳統的電氣 PCIe 介面在傳輸資料時受限於電纜和板上的電氣特性,頻寬和距離受限,傳輸距離通常約為一米,使用重定時器(retimer)(關於重定時器可以參看《一顆晶片的新戰爭》一文)或光學傳輸將成為唯一的實際解決方案。
實際上,到PCIe 5.0 和 6.0標準時,銅纜就已經開始吃力了。這也是為什麼PCI-SIG(PCIe標準的制定組織)在2024年5月1日宣佈了新的CopprLink內部和外部電纜規範。CopprLink電纜規範具有相同的外形尺寸,可以提供32.0和 64.0 GT/s 的訊號傳輸,並利用由SNIA維護的完善的行業標準連接器外形尺寸。但是CopprLink的傳輸距離仍然很有限,單個系統內僅為1米,機架到機架連接的最大可達 2米。
再加上考慮到重定時器的使用既複雜、昂貴又耗電,而且有其侷限性,因為每個鏈路只能使用兩個重定時器。接下來,光互連將成為PCIe架構繼續演進的重要一部分。
這點可以從PCI-SIG的動作看出,2023年8月,PCI-SIG成立了一個光學工作組探索光學連接,計畫採用多種光學技術來支援 PCIe,包括可插拔光收發器、板載光學器件、共封裝光學器件和光學 I/O,標準化光纖上PCIe的工作和行為方式。光纖通訊具有更長距離和更高資料速率的潛力,並且與日益耗電的銅線傳輸相比,可以顯著降低功耗。
總的來說,PCI-SIG正在採取兩條腿走路的策略:一方面在為 128.0 GT/s 的 PCIe 7.0 架構開發 CopprLink 電纜;另一方面,在積極推動PCIe光纖互連的工作,PCIe光互連對於將基於PCIe的GPU叢集擴展到多個機架和行、提高AI模型性能和提高GPU利用率至關重要。PCI-SIG希望CopprLink電纜和光學互連能夠相互補充。
在實現光互連的路上,已經有越來越多不同產業鏈的廠商參與進來,這為光互聯的發展起到了很大的推動作用。
1連接技術公司
在2024年的光纖通訊會議 (OFC) 大會上,Alphawave與多家光學供應商合作開展了一項非重定時光學研究,使用Alphawave PipeCORE PCIe 6.0子系統 IP(適用於PCIe和CXL)在評估板上運行,以驅動使用PCIe 6.0資料的光學系統,並始終實現小於 1×10 -9的 BER ,這至少是性能裕度的3個數量級。Alphawave是一家提供用於資料中心、通訊和人工智慧應用的高速連接技術,專注於開發和製造高速介面晶片和解決方案,如 PCIe、CXL 和 Ethernet連接器。
6 月 11 日,專用連接解決方案廠商Astera Labs首次展示了資料中心 GPU 叢集的端到端 PCIe 光纖傳輸技術。在演示中,他們組裝了兩種常見組態以擴展覆蓋範圍:從頭節點到 GPU 叢集,以及從頭節點到遠端分散的記憶體系統。系統通過單模光纖實現了全速率 PCIe傳輸,總頻寬達到128GB/s,覆蓋範圍為 20 米。不過根據實際應用需求,該覆蓋範圍可以輕鬆擴展至 50 米或更長。
2 IP廠商:新思科技 & Cadence
從最簡單的建構塊(如 GPIO)到最先進的高速介面,IP子系統是晶片製造生態系統的命脈。目前,新思科技和Cadence這兩家業界領先的EDA公司正積極投入到PCIe 7.0光纖介面的研發中,力求為高速互聯提供更具創新性的解決方案。
新思科技和OpenLight在OFC 2024期間展示了世界上首個採用線性驅動方法的PCIe 7.0光纖資料速率演示。該演示展示了端到端鏈路 BER 性能比 FEC 閾值高出幾個數量級,證明了以128Gbps PAM4運行的PCIe 7.0光纖的可行性。值得一提的是,新思科技推出了首個PCIe 7.0 IP,通過正在進行的互操作性演示和 PCIe 7.0 資料速率和基於光纖的 PCIe 6.x 的出色現場結果,有助於降低整合和風險,並使一次通過矽片成功成為可能。
Cadence在2024 年 PCI-SIG 開發者大會(PCI-SIG DevCon 2024)上演示了全球首個 PCIe 7.0 光纖連接方案。Cadence成功使用線性可插拔光學元件(LPO)演示了傳輸速度達128GT/s的光纖PCIe 7.0訊號收發,無需DSP/Retimer。
3 晶片廠商:Intel
英特爾是光互連的多年研究者,在2024 OFC上,英特爾推出了其首款與計算處理器共同封裝的光輸入/輸出 (I/O) 晶片組,該晶片組支援 64 個 PCIe 5.0 通道,每個通道雙向傳輸速度為 32 GT/s,總計4Tbps,使用光纖傳輸距離可達100米。而且其功耗很低,據英特爾稱,該晶片組使用密集波分復用 (DWDM) 波長,每位元僅消耗5皮焦耳,比每位元消耗約 15 皮焦耳的可插拔光收發器模組節能得多。
雖然PCIe是一個出色的互連技術,但是近年來,隨著AI和機器學習的迅猛發展,對計算、記憶體和互連都提出了新的要求,一種基於PCIe的全新的高速互連標準——CXL,正在成為AI時代的“運力”引擎。
CXL(Compute Express Link)是由英特爾於2019年發起的一項開放性行業標準,可增強處理器、記憶體擴展和加速器之間的通訊。CXL建立在PCIe框架之上,從技術上看,CXL是通過PCIe物理層傳輸訊號,但在協議層面上引入了新的特性和改進,以顯著提升系統中處理器、加速器和記憶體裝置之間的資料交換效率和一致性,使得資源共享具有更低的延遲,減少了軟體堆疊的複雜性,並降低了整體系統成本,為高性能計算和大規模資料處理提供了更為強大的支援。
Rambus近期成功演示了CXL與光纖的無縫對接。Rambus利用Samtec Firefly光纜技術,將CXL端點裝置與Viavi Xgig 6P4訓練器連接,成功建構了一個遠端“CXL記憶體擴展”模組。具體而言,Rambus的被測裝置(DUT)搭載了CXL 2.0控製器,以四通道16 GT/s的速度運行。Viavi Xgig 6P4則模擬根復合裝置,通過支援16 GT/s速率的Samtec Firefly PCUO G4光纜與DUT連接。測試結果表明,DUT在四倍速率下穩定運行,達到了預期性能。更重要的是,在裝置發現階段和CXL 2.0合規性測試中,DUT表現出色,順利通過了所有標準測試。
國內方面,2024年8月2日,曦智科技與紫光股份旗下新華三集團合作,成功將曦智科技片間光網路技術(Optical inter-chip Networking, oNET)應用於新華三集團CXL-O光互連解決方案,實現伺服器作為主機讀寫掛載於CXL 2.0交換機後的記憶體資源,並順利完成了相關頻寬、延時和壓力等測試內容。曦智科技自成立以來,專注於光伏混合算力新範式,oNET是曦智科技原創核心技術之一。
作為近幾年才誕生的互聯技術——CXL,發展迅速,據Yole Intelligence稱,CXL市場預計從 2022年的170萬美元增長到2026年的21億美元,其中 70%(即 15 億美元)將由 CXL 記憶體解決方案構成
值得一提的是,8月初,Kioxia(鎧俠)推出了具有光學介面的寬頻SSD,通過用光學介面取代電線介面,該 SSD 技術顯著增加了計算和儲存裝置之間的物理距離,減少了接線,同時保持了能源效率和高訊號質量。目前,Kioxia已經能夠將儲存驅動器放置在距離CPU最遠40米的距離,但計畫在未來將這一距離增加到100米。
長遠來看,PCIe 架構在中長期內在各種高增長垂直領域依然展現出強大的增長潛力。根據 ABI Research 的《PCI Express市場垂直機會》報告,汽車和網路邊緣領域為 PCIe 技術提供了最高的增長機會,預測期內的總潛在市場 (TAM) 和復合年增長率 (CAGR) 分別達到 53% 和 38%。
汽車行業能夠從 PCIe 技術的廣泛應用中獲得巨大價值,因為它可以整合電氣/電子 (E/E) 系統,並幫助解決自動駕駛汽車在安全性和效率方面的挑戰。而在資料中心等高性能應用領域,對新 PCIe 技術的需求將保持長期的持續增長。PCIe 技術的前向和後向相容性為決策者提供了靈活性,縮短了價值實現時間並降低了部署風險,這也促使 AI 行業的採用率不斷提升。除了性能之外,PCIe 技術的關鍵驅動因素還包括能效、安全性和“價值實現時間”。
而PCIe的未來演進路線中,光學必然是一塊重要的拼圖。光學PCIe的發展契合了當前巨量資料、人工智慧等領域對高性能計算的需求。在高速資料傳輸的需求驅動下,光學技術不僅在理論上展現出巨大潛力,更在實踐中不斷突破極限。隨著更多廠商的加入和技術的不斷演進,未來的資料互聯將會迎來更加高效和高速的新時代。 (半導體行業觀察)