高頻寬記憶體 (HBM)在實現生成式人工智慧方面發揮了關鍵作用，它通過克服人工智慧加速器元件中的記憶體瓶頸，顯著提升了性能。然而，隨著超大規模人工智慧叢集越來越多地整合數千個 GPU 和 HBM 堆疊，一個新的瓶頸出現了：頻寬牆，它限制了系統間的資料傳輸。
在此背景下，SK海力士及其全球研究團隊在《自然·電子學》雜誌上發表了一篇論文。 該論文探討了用於高性能計算和人工智慧的共封裝光學器件（CPO）的開發，指出了關鍵的技術挑戰，並概述了下一代光互連技術的發展軌跡。
SK 海力士人工智慧基礎設施團隊負責人洪承勳和弗吉尼亞大學（UVA）電氣與電腦工程系李奎相教授擔任通訊作者，領導了一項與伊利諾伊大學厄巴納-香檳分校（UIUC）、南洋理工大學（NTU）、麻省理工學院（MIT）和延世大學的研究人員合作的研究。
從更廣泛的層面來看，該論文提出了一個全面的技術路線圖，闡述了記憶體器、先進封裝和光計算互連（OCI）應如何協同演進以支援下一代人工智慧系統。至關重要的是，它還展示了SK海力士如何超越HBM創新，在系統層面幫助定義下一代人工智慧基礎設施的架構。
從晶片到系統，CPO是關鍵
超大規模人工智慧模型不再在單個晶片或伺服器上進行訓練，而是運行在由機架和節點組成的大型網路中。在這種架構中，系統整體性能不僅取決於處理器、記憶體和人工智慧加速器之間的連接，還取決於資料在機架之間傳輸的效率。
實際上，計算吞吐量每兩年增長三倍，而互連頻寬同期僅增長了1.4倍，這使得頻寬瓶頸成為一個日益嚴峻的挑戰。傳統的銅基電互連負責將資料傳輸到晶片封裝之外以及機架之間，但隨著傳輸距離的增加，訊號損耗和功耗也會迅速上升。因此，它們越來越被視為下一代人工智慧資料中心的一個限制因素。
“即使計算晶片的性能越來越強，如果晶片間的資料傳輸速度跟不上，整體系統性能也無法提升，”李奎相教授說。“用光鏈路取代存在固有物理限制的銅互連，是實現未來可擴展性的最有希望的途徑。”
隨著頻寬瓶頸日益成為人工智慧基礎設施的根本制約因素，該論文將CPO定位為克服這一挑戰的核心。SK海力士人工智慧基礎設施團隊負責人Seunghoon Hong這樣描述這項技術：“CPO將光收發器（TRx）整合到與處理器相同的封裝中，使晶片能夠使用光而非長距離的電氣互連來交換資料。這從根本上改變了資料在人工智慧系統中傳輸的方式，消除了計算擴展的最大障礙之一。”
傳統銅互連在短距離傳輸中仍然是一種經濟高效的解決方案。然而，隨著傳輸速度的提高和通訊距離的增加，它們需要越來越複雜的補償電路，從而導致更高的功耗和更大的資料傳輸延遲。CPO 通過在封裝內整合光引擎，最大限度地縮短了高速電訊號的傳輸距離，並使用光鏈路完成剩餘的傳輸路徑。這使得高速通訊能夠跨越晶片、機架和模組進行擴展，同時保持高頻寬密度、卓越的能效和強大的訊號完整性，並具有更強的抗電磁干擾能力。
基於此架構，研究人員為下一代人工智慧基礎設施設定了明確的技術目標，包括每個節點超過 100 Tb/s 的頻寬、低於 1 pJ/bit 的能耗以及小於 10 納秒的晶片間延遲。該論文還提出了一個全面的技術路線圖，概述了從基於 2D 和 2.5D 中介層的配置到 3D 異構堆疊的演進過程，以及商業部署必須解決的關鍵技術挑戰。
將光互連擴展到記憶體器，以最佳化資料傳輸
從長遠來看，CPO 的發展有望將光互連擴展到記憶體器介面。這種以光為中心的架構突破了傳統封裝的物理限制，利用光子中介層直接連接記憶體器和處理器，從而最大限度地提高系統資料傳輸效率。
借助這種架構，多個 AI 加速器可以共享一個大型記憶體池，從而實現更靈活的系統級資料移動，同時隨著模型的不斷增長，AI 基礎設施能夠更高效地擴展。
李教授表示：“光互連技術有望成為未來人工智慧基礎設施的基礎連接技術。這項技術已經走出實驗室，進入商業化的早期階段。儘管仍面臨諸多挑戰，例如整合低功耗光子器件、開發相干協議以及提高系統可靠性等，但關鍵在於將記憶體器件和控製器、光子元件和封裝技術協同設計為一個單一的整合系統。而這正是與SK海力士合作意義非凡之處。”
洪補充道：“此次合作意義非凡，因為它彙集了學術界的專業知識和行業經驗，共同描繪了人工智慧基礎設施的未來願景。我們將繼續擴大開放式合作，為我們的客戶和更廣泛的人工智慧生態系統帶來切實價值。”
論文作者訪談
Q1. 請簡要介紹一下你們自己，包括你們的主要研究領域？
李教授：我是弗吉尼亞大學（UVA）電子與電腦工程系的教授。我的研究方向是異構整合技術，特別是將超薄光子器件和電子器件整合到單個封裝中，用於下一代計算系統。基於這項研究，我主導撰寫了本文，全面概述了用於人工智慧和高性能計算的光互連和CPO技術。
洪：我的職業生涯始於半導體工程師，之後在記憶體器行業的多個領域積累了豐富的經驗，包括戰略和人力資源。目前，我負責人工智慧時代記憶體器行業的長期戰略規劃。我的工作重點是將記憶體器視為驅動客戶人工智慧競爭力的更廣泛系統架構的一部分，而非孤立的元件。通過與業內合作夥伴的協作，我致力於從系統層面創造新的價值。
Q2. 您的論文發表在著名科學期刊《自然電子學》上，您有何感想？
李教授：能夠與世界領先的半導體公司之一SK海力士共同取得這一里程碑式的成就，意義尤為重大。這篇論文並非僅僅展示單一器件的進步，而是為人工智慧基礎設施的未來發展描繪了一幅藍圖。看到這項工作在學術界和產業界都引起共鳴，我深感欣慰。我希望它能夠幫助更多人關注這項技術的重要性，並衷心感謝所有參與合作的科研人員，是他們的付出成就了這項工作。
洪：我們非常高興能夠與世界各地的頂尖研究人員合作，取得這一里程碑式的成就。這篇論文展現了將學術專長與行業經驗相結合的價值，從而為人工智慧基礎設施的未來描繪出共同的願景。SK海力士將繼續努力，為我們的客戶和更廣泛的行業生態系統創造切實價值。
Q3. 學術界和產業界的合作如何加強了這項研究？
李教授：我們對如何將一項技術從技術上可行的轉化為商業上可部署的成果有了共同的理解。學術界擅長突破性能極限，而產業界則瞭解大規模部署技術的實際要求，包括生產良率、成本、冷卻和供應鏈等方面的考量。將這兩種視角結合起來，使我們能夠為人工智慧基礎設施的未來制定切實可行的路線圖。
洪：當學術界對下一代技術的追求與產業界的實際經驗相結合時，不僅能提升技術水平，還能增強商業化潛力。此次合作進一步鞏固了我們共同的信念，即產學研合作是助力客戶成功和推動人工智慧生態系統創新發展的關鍵基礎。
Q4：論文認為光連接最終應該擴展到記憶體器介面。這樣做會帶來那些優勢？
李教授：將光互連擴展到記憶體介面可以克服計算晶片的物理限制，消除記憶體容量和電氣連線量的限制。它還可以讓多個人工智慧加速器共享一個大型記憶體池，從而使人工智慧基礎設施更具適應性，以應對人工智慧模型規模的不斷增長。
洪：最大的優勢在於，它通過提高資料傳輸效率，使人工智慧系統能夠更靈活地擴展。最終，這將為客戶提供更強大的基礎，從而更高效地營運人工智慧基礎設施。
Q5. 什麼因素會使 CPO 成為未來 AI 基礎設施的關鍵技術？你們的研究下一步將走向何方？
李教授： CPO 具有成為未來人工智慧基礎設施基礎標準的潛力，因為它具備四大關鍵優勢：高頻寬密度、卓越的能量-距離效率、可擴展的平行連接以及強大的訊號完整性和極強的抗電磁干擾能力。我們將繼續與行業夥伴合作，探索通過超薄光子材料整合和基於微型LED (µLED) 技術的大規模平行光互連等技術，進一步提升能源效率的途徑。
洪：隨著客戶不斷建構更大規模的人工智慧系統，光互連的重要性只會與日俱增。記憶體器公司正在從單純的元件供應商轉型為合作夥伴，通過CPO等技術幫助客戶提升整個系統的競爭力。展望未來，我們將繼續擴大與客戶和生態系統合作夥伴的開放式合作，加速人工智慧基礎設施領域的創新。 (半導體行業觀察)