一種全新的神經網路架構KAN，誕生了！

與傳統的MLP架構截然不同，且能用更少的參數在數學、物理問題上取得更高精度。

例如，200個參數的KANs，就能復現DeepMind用30萬參數的MLPs發現數學定理研究。

不僅準確性更高，並且還發現了新的公式。要知道後者可是登上Nature封面的研究啊~

在函數擬合、偏微分方程求解，甚至處理凝聚態物理的任務都比MLP效果好。

而在大模型問題的解決上，KAN天然就能規避掉災難性遺忘問題，並且注入人類的習慣偏差或領域知識非常容易。

來自MIT、加州理工學院、東北大學等團隊的研究一出，瞬間引爆一整個科技圈：Yes We KAN！

甚至直接引出能否取代Transformer的MLP層的探討，有人已經準備開始嘗試…

有網友表示：這看起來像是機器學習的下一步。

讓機器學習每個特定神經元的最佳激活，而不是由我們人類決定使用什麼激活函數。

也有人表示：可能正處於某些歷史發展的中間。

GitHub上也已經開源，也就短短兩三天時間就收穫1.1kStar。

跟MLP最大、也是最直觀的不同就是，MLP活化函數是在神經元上，而KAN把可學習的活化函數放在權重上。

在作者看來，這是一個「簡單的更改」。

從數學定理方面來看，MLP的靈感來自於通用近似定理，也就是對於任意一個連續函數，都可以用一個足夠深的神經網路來近似。

而KAN則是來自於Kolmogorov-Arnold 表示定理(KART)，每個多元連續函數都可以表示為單變數連續函數的兩層嵌套疊加。

正是受到這定理的啟發，研究人員以神經網路將Kolmogorov-Arnold 表示參數化。

為了紀念兩位偉大的已故數學家Andrey Kolmogorov和Vladimir Arnold，我們稱之為科爾莫格羅夫-阿諾德網絡（KANs）。

而從演算法層面上看，MLPs 在神經元上具有（通常是固定的）激活函數，而KANs 在權重上具有（可學習的）激活函數。這些一維激活函數被參數化為樣條曲線。

在實際應用過程中，KAN可以直觀地視覺化，提供MLP無法提供的可解釋性和互動性。

不過，KAN的缺點就是訓練速度較慢。

對於訓練速度慢的問題，MIT博士生一作Ziming Liu解釋道，主要有兩個面向的原因。

一個是技術原因，可學習的激活函數評估成本比固定激活函數成本更高。

另一個則是主觀原因，因為體內物理學家屬性抑製程式設計師的個性，因此沒有去嘗試優化效率。

對於是否能適配Transformer，他表示：暫時不知道如何做到這一點。

以及對GPU友善嗎？他表示：還沒有，正在努力中。

神經縮放規律：KAN 的縮放速度比MLP 快得多。除了數學上以Kolmogorov-Arnold 表示定理為基礎，KAN縮放指數也可以透過經驗來實現。

在函數擬合方面，KAN比MLP更準確。

而在偏微分方程求解，例如求解泊松方程，KAN比MLP更準確。

研究人員還有個意外發現，就是KAN不會像MLP那樣容易災難性遺忘，它天然就可以規避這個缺陷。

好好好，大模型的遺忘問題從源頭就能解決。

在可解釋方面，KAN能透過符號公式揭示合成資料集的組成結構和變數依賴性。

人類用戶可以與KANs 交互，使其更具可解釋性。在KAN 中註入人類的歸納偏差或領域知識非常容易。

研究人員利用KANs也重新復現了DeepMind當年登上Nature的結果，並且還找到了Knot理論中新的公式，並以無監督的方式發現了新的結不變式關係。

Deepmind的MLP大約300000 個參數，而KAN大約只有200 個參數。 KAN 可以立即進行解釋，而MLP 則需要進行特徵歸因的後期分析。且準確性也更高。

對於運算需求，團隊表示論文中的所有例子都可以在單一CPU上10分鐘內重現。

雖然KAN所能處理的問題規模比許多機器學習任務要小，但對於科學相關任務來說就剛好。

例如研究凝固態物理中的一種相變：安德森局域化。

好了，那麼KAN是否會取代Transformer中的MLP層呢？

有網友表示，這取決於兩個因素。

一點是學習演算法，如SGD、AdamW、Sophia 等—能否找到適合KANs 參數的局部最小值？

另一點則是能否在GPU上有效率地實現KANs層，最好能比MLPs跟快。

【導讀】無需懷念MLP，新網路KAN基於柯爾莫哥洛夫-阿諾德定理，帶著更少的參數、更強的性能、更好的可解釋性來了，深度學習架構革新進入新時代！

一夕之間，機器學習範式要變天了！

現今，統治深度學習領域的基礎架構是，多層感知器（MLP）－將活化函數放置在神經元上。

那麼，除此之外，我們是否還有新的路線可走？

就在今天，來自MIT、加州理工、東北大學等機構的團隊重磅發布了，全新的神經網路結構－Kolmogorov–Arnold Networks（KAN）。

研究人員對MLP做了一個簡單的改變，即將可學習的活化函數從節點（神經元）移到邊（權重）上！

論文網址：https://arxiv.org/pdf/2404.19756

這個改變乍聽之下似乎毫無根據，但它與數學中的「逼近理論」（approximation theories）有著相當深刻的聯繫。

事實證明，Kolmogorov-Arnold表示對應兩層網絡，在邊上，而非節點上，有可學習的激活函數。

正是從表示定理得到啟發，研究者用神經網路顯式地，將Kolmogorov-Arnold表示參數化。

值得一提的是，KAN名字的由來，是為了紀念兩位偉大的已故數學家Andrey Kolmogorov和Vladimir Arnold。

實驗結果顯示，KAN比傳統的MLP有更優越的效能，提升了神經網路的準確性和可解釋性。

而最令人意想不到的是，KAN的視覺化和互動性，讓其在科學研究中具有潛在的應用價值，並能幫助科學家發現新的數學和物理規律。

研究中，作者用KAN重新發現了紐結理論（knot theory）中的數學定律！

而且，KAN以更小的網路和自動化方式，復現了DeepMind在2021年的結果。

在物理方面，KAN可以幫助物理學家研究Anderson局域化（這是凝聚態物理中的一種相變）。

對了，順便提一句，研究中KAN的所有範例（除了參數掃描），在單一CPU上不到10分鐘就可以復現。

KAN的橫空出世，直接挑戰了一直以來統治機器學習領域的MLP架構，在全網掀起軒然大波。

有人直呼，機器學習的新紀元開始了！

GoogleDeepMind研究科學家稱，「Kolmogorov-Arnold再次出擊！一個鮮為人知的事實是：這個定理出現在一篇關於置換不變神經網路（深度集）的開創性論文中，展示了這種表示與集合/GNN聚合器建構方式（作為特例）之間的複雜聯繫」。

一個全新的神經網路架構誕生了！ KAN將大幅改變人工智慧的訓練和微調方式。

還有網友用通俗的語言，將KAN和MLP的區別，做了一個形象的比喻：

Kolmogorov-Arnold網路（KAN）就像一個可以烤任何蛋糕的三層蛋糕配方，而多層感知器（MLP）是一個有不同層數的客製化蛋糕。 MLP更複雜但更通用，而KAN是靜態的，但針對一項任務更簡單、更快速。

論文作者，MIT教授Max Tegmark表示，最新論文表明，與標準神經網路完全不同的架構，在處理有趣的物理和數學問題時，以更少的參數實現了更高的精度。

接下來，一起來看看代表深度學習未來的KAN，是如何達成的？

柯爾莫哥洛夫-阿諾德定理（Kolmogorov–Arnold representation theorem）指出，如果f是定義在有界域上的多變量連續函數，那麼該函數就可以表示為多個單變量、加法連續函數的有限組合。

對於機器學習來說，該問題可以描述為：學習高維函數的過程可以簡化成學習多項式數量的一維函數。

但這些一維函數可能是非光滑的，甚至是分形的（fractal），在實踐中可能無法學習，也正是由於這種「病態行為」，柯爾莫哥洛夫-阿諾德表示定理在機器學習領域基本上被判了「死刑」，即理論正確，但實際無用。

在這篇文章中，研究人員仍然對該定理在機器學習領域的應用持樂觀態度，並提出了兩點改進：

1.原始方程式中，只有兩層非線性和一個隱藏層（2n+1），可以將網路泛化到任意寬度和深度；

2、科學和日常生活中的大多數函數大多是光滑的，並且具有稀疏的組合結構，可能有助於形成平滑的柯爾莫哥洛夫-阿諾德表示。類似於物理學家和數學家的區別，物理學家更關注典型場景，而數學家更關心最壞情況。

柯爾莫哥洛夫-阿諾德網絡（KAN）設計的核心思想是將多變量函數的逼近問題轉化為學習一組單變量函數的問題。在這個框架下，每個單變數函數可以用B樣條曲線來參數化，其中B樣條是一種局部的、分段的多項式曲線，其係數是可學習的。

為了把原始定理中的兩層網絡擴展到更深、更寬，研究者提出了一個更「泛化」的定理版本來支持設計KAN：

受MLPs層疊結構來提升網路深度的啟發，文中同樣引入了一個類似的概念，KAN層，由一個一維函數矩陣組成，每個函數都有可訓練的參數。

根據柯爾莫哥洛夫-阿諾德定理，原始的KAN層由內部函數和外部函數組成，分別對應於不同的輸入和輸出維度，這種堆疊KAN層的設計方法不僅擴展了KANs的深度，而且保持了網路的可解釋性和表達能力，其中每個層都是由單變量函數組成的，可以對函數進行單獨學習和理解。

雖然KAN的設計概念看起來簡單，純靠堆疊，但優化起來也不容易，研究人員在訓練過程中也摸索了一些技巧。

1.殘差激活函數：透過引入基底函數b(x)和樣條函數的組合，使用殘差連接的概念來建構激活函數ϕ(x)，有助於訓練過程的穩定性。

2.初始化尺度（scales）：激活函數的初始化設定為接近零的樣條函數，權重w使用Xavier初始化方法，有助於在訓練初期保持梯度的穩定性。

3.更新樣條網格：由於樣條函數定義在有界區間內，而神經網路訓練過程中活化值可能會超出這個區間，因此動態更新樣條網格可以確保樣條函數始終在適當的區間內運轉。

3.每個樣條函數是基於G個區間（G+1個網格點）定義的，k階（通常k=3）

#KAN 你可以在這裡找到鉅亨號中所有使用「KAN」為關鍵字所發布的內容