清華天眸芯登Nature封面！世界首個類腦互補視覺晶片問世，或開拓AGI新路

時隔3年，清華團隊的研究再次登上Nature封面。剛剛，世界首個類腦互補視覺晶片Tianmouc重磅發布，靈感來自人類視覺系統。它能以極低頻寬和功耗擷取影像訊息，突破了傳統的視覺感知挑戰，自如應對開放世界中極端場景難題。

就在剛剛，清華團隊發布世界首款類腦互補視覺晶片——「天眸芯」。

這是一種基於視覺原語的互補雙通路類腦視覺感知新範式，標誌著我國在類腦計算和類腦感知兩個重要方向，取得的重大突破！

研究《開放式世界感知具有互補路徑的視覺晶片》（A Vision Chip with Complementary Pathways for Open-world Sensing）一經發布，即登上Nature封面。

團隊由清華大學施路平教授領銜，依托清華精密儀器系的類腦計算研究中心。

論文網址：https://www.nature.com/articles/s41586-024-07358-4

而且，這已經是該團隊第二次登上Nature雜誌封面了。上一次登上Nature的，是異構融合類腦運算「天機芯」。

「天眸芯」的成功研製，意味著智慧感知晶片領域的一個重大突破。

它不僅為智慧革命的發展提供了強大的技術支持，也為自動駕駛、具身智慧等重要應用，開闢了新的道路。

「天眸芯」的重大意義，在於它突破了視覺感知的瓶頸。

在複雜多變、不可預測的環境中，實現高效、精確、穩健的視覺感知，挑戰非常間艱鉅。傳統的視覺感知晶片因為「功耗牆」「頻寬牆」，應對極端場景時往往會失真、失效、高延遲。

而施路平教授團隊提出的新範式，借鏡了人類視覺系統的基本原理，形成了兩個優勢互補、資訊完整的視覺感知路徑。

而「天眸芯」，在極低的頻寬（相對傳統高速成像技術降低90%）和功耗代價下，只需單一晶片即可實現每秒10000幀的高速、10bit的高精度、130dB的高動態範圍的視覺資訊採集！

結合團隊在「天機芯」、類腦軟體工具鏈、類腦機器人等方面已有的落地技術積累，從此類腦智能生態將進一步完善，有力推動人工通用智能的發展。

「人類視覺系統」啟發全新範式

隨著AI加速發展，無人駕駛、具身智慧等「無人系統」在現實中的應用更加廣泛，並引領新一輪科技產業革命。

在這些智慧系統中，視覺感知作為獲取資訊的核心途徑，發揮著至關重要的作用。

就以自動駕駛舉例，在真實的開放世界中，系統不僅需要處理龐大的數據，還需要處理各種極端事件。

例如，惡劣天氣環境、駕駛中突發的危險，夜間強烈閃光幹擾等各種長尾問題，為AI系統帶來了極大的挑戰。

這時，如果採用傳統的視覺感知晶片，會受到「功耗牆」和「頻寬牆」的限制，無法同時應對以上駕駛中出現的邊緣情況。

更進一步說，傳統視覺晶片在面對這些場景時，往往會出現失真、失效或高延遲的問題，嚴重影響了系統的穩定性和安全性。

為了克服這些挑戰，清華團隊聚焦類腦視覺感知晶片技術，提出了一個全新的典範——

基於視覺原語的互補雙通路類腦視覺感知範式。

這個範式借鑒了人類視覺系統（HVS）的基本原理。因為與現有的影像感測器相比，HVS在開放世界中更具優勢。

人類視覺系統（HVS）的互補性。視網膜由桿狀細胞和錐狀細胞組成，它們以相反的方式運作以擴大感知範圍。在下一個層－外膝體（LGN）中，M通路和P通路以互補的方式編碼訊息。 LGN輸出的訊息由在初級視覺皮層V1被重新組織成一系列視覺原語，包括顏色、方向、深度和運動方向等。最後，這些「視覺原語」分別傳遞到腹側通路和背側通路，以促進物體辨識和視覺引導行為

具體講，新範式包括了「基於視覺原語的表徵」，以及「兩個互補視覺通路」（CVP）。

在這個範式中，借鏡人視覺系統中的視覺原語的概念，它將開放世界的視覺訊息拆解為「視覺原語」。這些視覺原語各自描述了視覺訊息的一個基本要素。

接著透過有機組合這些原語，借鏡人視覺系統的特徵，形成兩個優點互補、資訊完整的視覺感知通路，如下圖所示。

其中，視覺原語包括但不僅限於顏色、資料精確度、靈敏度、空間解析度、速度、絕對強度、空間差（SD）和時間差（TD）。

CVP包括兩個不同的路徑：認知導向路徑（COP）和行動導向路徑（AOP）。與HVS中的腹側通路（Ventral stream）和背側通路（Dorsal stream）相類似。

「認知導向通路」使用色彩、強度、高空間解析度和高精度等視覺原語，來實現精確認知，最大限度地減少空間混疊和量化誤差。

相較之下，「行動導向通路」使用SD、TD、速度等視覺原語，來實現穩健、高稀疏的快速反應，從而解決資料冗餘和延遲問題。

這兩種方法在建構正常情況，以及邊緣情況的表徵時相互補充，從而實現了高動態範圍，並緩解了語義錯位和分佈外物體檢測問題。

首款類腦互補視覺晶片誕生

互補視覺晶片設計

基於這個範式，清華團隊設計出世界第一款名為「天眸芯」（Tianmouc）的類腦互補視覺晶片。

那麼，這款晶片的設計架構是怎麼樣的呢？

使用傳統影像感測器架構實現互補感測範式，將面臨許多挑戰。

首先，設計像素陣列時，需確保其能夠在同一焦平面（focal plane）上，同時進行光電資訊轉換。

此外，兩條讀出路徑的架構，必須包含能夠處理不同資料分佈和模態的異質模組。

如上圖a所示，「天眸芯」採用90奈米背照式CMOS（Back-illuminated sensor）技術製造，包含了兩個核心部分：

一是，用於將光學資訊轉換為電訊號的混合像素陣列；另一個是，用於建構兩個CVP的平行和異構讀出架構。

受感光細胞（photoreceptor cell）啟發，混合像素陣列由錐體啟發，以及桿體啟發的像素組成，具有不同的特性，如顏色、反應模式、解析度和靈敏度。

這些像素可以將視覺訊息，解析為特定的顏色（紅、綠、藍），以及白色光譜，以作為顏色對立視覺原語。

它們還可以通過，高或低的電荷到電壓轉換增益，調整為四種不同的靈敏度，從而利用高增益模式的低雜訊和低增益模式的高飽和容量，以實現高動態範圍。

受錐體啟發的像素，設計為4微米精細間距，用於絕對強度感應。

而視桿細胞啟發的像素則有兩個較大的感受野，分別為8微米和16微米，用於感應TD和SD。

時空連續像素架構，透過使用高密度像素內存，進而實現TD和SD計算。

具體而言，視桿細胞啟發的像素以乒乓操作（ping-pong behaviour）緩衝歷史電壓訊號，以便在AOP讀出中連續計算TD。

對於跨區塊的視桿細胞啟發像素中相同的內存，可以重新組織以計算SD，如下圖b中的操作階段所示。

總而言之，完整的混合像素陣列包括320×320個視錐細胞啟發像素和160×160個視桿細胞啟發像素。

此外，沿著兩條路徑傳輸的電訊號會表現出不同的特性，包括資料分佈和稀疏性的差異。

這就要求，採用不同方法以適當速度和精度，將訊號編碼為數位資料。

為了解決這個挑戰，「天眸芯」便採用了平行和異構讀出架構。

對於認知導向路徑（COP），絕對強度訊號到密集矩陣的準確轉換至關重要。這是透過單斜率模數（single-slope analog-to-digital）架構實現的。

相較之下，行動導向路徑（AOP）需要，對具有對稱拉普拉斯分佈和稀疏性特徵的「時空差異訊號」快速編碼。

因此，研究人員特意採用了專門的讀出架構（如下圖c）。

其中，可程式閾值濾波器用於最小化計算的TD和SD訊號中的冗餘和噪聲，同時保留關鍵資訊。

隨後，這些訊號使用具有可配置精度的，快速極性自適應“數位類比轉換器”進行量化。

此外，數據打包器用於實現稀疏可變精度TD和SD訊號的無損壓縮，並採用統一協議（如圖d所示——顯示了「天眸芯」整體佈局的光學顯微照片）。

這種方法提供了自適應能力，以減少頻寬並進一步提高AOP的操作速度。

“天眸芯”測試結果

研究者對「天眸芯」的效能指標，包括量子效率、動態範圍、反應速度、功耗和頻寬等，進行了全面評估。

a.配備晶片的測試板；b.處理晶片輸出資料的完整系統

在COP和AOP中，它都表現出高量子效率，在530nm時AOP達到最大72%，COP達到最大69%。

透過結合互補的COP和AOP中不同增益模式的動態範圍，它實現了高動態範圍。

測試晶片特徵的實驗裝置如下。

a.基於EMVA1288的晶片評估實驗裝置；b.光學裝置的照片；c.晶片評估系統，包括晶片測試板、FPGA板、主機、高速ADC採集卡；d.動態範圍測量的光學裝置；e.用於動態範圍測量的光學裝置照片

如上圖b所示，透過檢測最低功率密度2.71×10^−3 μW/cm^2，和最高功率密度8.04×10^3 μW/cm^2，總動態範圍達到130dB，這就符合了一個公認的標準。

而「天眸芯」的互補路徑，實現了高空間解析度與精度。

並且，它在不可預測的環境中具有高魯棒性。

為了消除AOP引起的空間混疊和量化誤差，「天眸芯」互補地使用了空間解析度和精度。

可以看到，儘管上圖c中由AOP-SD捕獲的標準西門子星圖，可能因其低解析度而顯得失真，但COP準確地記錄了它。

如上圖d所示，在一個有水平快速移動和旋轉物體以及變化光照條件的場景中，一道突然的閃光擾亂了AOP-TD，但AOP-SD不受影響。

透過結合COP影像與AOP-TD和AOP-SD，逐幀重建高速視訊可以恢復高速運動。

使用AOP，「天眸芯」展示了快速的響應，可重新配置的速度範圍從757fps到10,000fps，精度從±7bit到±1bit。

這就補充了COP的相對較慢速度，維持了30fps和10bit解析度的持續反應。

評估「天眸芯」的高速能力，可以透過瞬態閃電測試來完成。

如下圖e所示，「天眸芯」能夠在50mV閾值水平下，以±1bit的精度，在10,000fps下捕捉快速閃電。

值得注意的是，由於高度的稀疏性，AOP在瞬態現象期間的峰值頻寬消耗僅約50MB/s，相比於具有相同時空分辨率和精度的傳統相機（640×320×10,000×2）減少了90%。

下圖中，是更多晶片高速響應和時間抗鋸齒的示範。

a.高速記錄機器擊出的、不可預測、快速移動的乒乓球；b.晶片的功能，左半部是不同模組的分佈，包括像素、類比、數位和介面電路，展示了不同模式下的總功耗；c.車輪旋轉的坑鋸齒重建；d.晶片的AOP能夠捕捉COP錯過的閃電，並記錄紋理細節

為了評估「天眸芯」的整體表現，研究者使用了一個綜合的優值（FOM）。

這個FOM包含了用於開放世界感測的關鍵效能指標，將最大取樣率（Rmax）和動態範圍整合到一個統一的指標中（Rmax × 動態範圍）。

在下圖f中，FOM分別比較了各種感測器的功耗和頻寬。

「天眸芯」的功耗根據操作模式變化，在典型模式下（±7位，1,515fps無閾值）平均為368mW。

可以看到，「天眸芯」達到了先進的FOM，超越了現有的神經形態感測器和傳統影像感測器，同時仍能保持低功耗和低頻寬消耗。

在開放世界中的表現

所以，「天眸芯」在開放世界的表現是怎麼樣的？

它的互補感測範式，提供了廣泛的設計可能性，並為感知演算法提供了卓越的資料來源。

為了評估它在開放世界場景中的表現，研究者開發了一種整合了「天眸芯」的汽車駕駛感知系統。

對於「天眸芯」的評估，是在開放式道路上進行的。

因此，測試中會涉及各種邊緣情況，包括閃光幹擾、高動態範圍場景、領域轉移問題（異常物體）和包含多個邊緣情況的複雜場景。

並且，為了充分利用「天眸芯」架構的優勢，研究者刻意設計了多路徑演算法，專門用來利用AOP和COP的互補特性。

重建管線a.整個重建網絡的結構b.從SpyNet修改的輕量級光流估計器，使用多尺度殘差流計算c.自監督訓練管線，使用兩個彩色圖像和這兩個圖像之間的差異資料來提供兩個訓練樣本d.在推理階段，調整輸入資料量以獲得任意時間點的高速彩色影像

在感測層面，原始訊息的完整性讓它能夠重建原始場景，並適應極端光照條件。

同時在感知層面，AOP提供了對變化、紋理和運動的即時感知，而COP則提供了精細的語義細節。透過同步這些結果，就實現了對場景的全面理解。

下圖b顯示了第一個場景。在這個場景中，涉及了突然閃光的感測能力，這種閃光會導致照明快速變化，從而可能影響感測器的穩健性。

而「天眸芯」，對此類閃光錶現出了非凡的適應能力，而且在正常情況下，它也能保持高感知性能。

對於即時的高動態範圍感知，兩條路徑的互補靈敏度，能使「天眸芯」在不犧牲速度的情況下，感知高亮度對比。

在感知層面，異常檢測能力可以透過AOP上的異常光流檢測器來補充。

其中，AOP-TD和AOP-SD的協作，能夠精確計算出運動方向和速度，從而識別出異常。

而在下圖e中，展示了一個相當複雜的場景。

這個場景中有昏暗的自然光照、混亂的交通環境，甚至是來自人造光的突然幹擾。

這就需要在取樣速度、解析度和動態範圍方面，具備多樣的感測能力。

好在，CVP上的演算法提供了互補和多樣的結果，為這些場景中的進一步決策，提供了充足的空間。

下面的長條圖顯示，相較於僅使用單一路徑，CVP在測試的所有案例中，都表現出了更優越的性能。

尤其值得注意的是，它是在不到80MB/s和平均功耗為328mW的情況下，達到這種性能的！

實驗顯示，「天眸芯」能夠高效適應極端光照環境，並提供領域不變的多層次感知能力。

總之，「天眸芯」與傳統的感測範式不同，清華施教授團隊的新方法，克服了同質表徵造成的低效率，可以適應開放世界中的各種極端情況。

在極端環境中，例如經過隧道，閃光燈幹擾，以及汽車前方有人走過，依然能保持快速和穩健的反應。

這種視覺感知的突破，將為自動駕駛、具身智慧等重要應用，翻開全新的篇章。(新智元)

參考資料：

https://www.nature.com/articles/s41586-024-07358-4

https://www.nature.com/nature/volumes/629/issues/8014