AI領域迎來重要時刻!76歲的“教父”Hinton和91歲的Hopfield獲2024年諾貝爾物理學獎



2024年度的諾貝爾物理學獎正式揭曉。

台北時間10月8日下午,瑞典皇家科學院宣佈,2024年諾貝爾物理學獎授予兩位科學家:美國普林斯頓大學教授約翰·霍普菲爾德 (John J. Hopfield )和加拿大多倫多大學教授傑弗裡·辛頓(Geoffrey E. Hinton),表彰他們通過人工神經網路實現機器學習的基礎性發現和發明。

兩位科學家將共享1100萬瑞典克朗獎金(約合人民幣744.46萬元)。

這是AI學術領域的重要時刻。現年91歲的霍普菲爾德於41年前發明了聯想神經網路,即霍普菲爾德網路,而76歲的辛頓更進一步,在1986年發表了兩篇具有里程碑意義的論文,推廣了被稱為“反向傳播”的演算法,也讓深度學習技術成為了 AI 時代的關鍵要素,也因此獲得重要的圖靈獎。如今辛頓的研究幾乎是從電腦視覺系統到大語言模型的基礎,也促使OpenAI開啟了新一輪生成式 AI 革命。

AI有望在學術界掀起新一輪革命。

AI學術界狂歡! 兩位高齡科學家推動機器學習和AI技術爆發,讓物理學和AI相互成就


霍普菲爾德於1933 年 7 月 15 日出生於美國伊利諾伊州芝加哥,父親是波蘭物理學家約翰·約瑟夫·霍普菲爾德,母親是物理學家海倫·霍普菲爾德。海倫是霍普菲爾德的第二任妻子。他是霍普菲爾德的第六個孩子。

小時候,霍普菲爾德在這樣一個學術家庭中接觸到了物理學,他於 1954 年獲得斯沃斯莫爾學院文學士學位,並於 1958 年獲得康奈爾大學物理學博士學位,師從知名物理學家阿爾伯特·奧弗豪澤 (Albert Overhauser ) 。霍普菲爾德在貝爾實驗室的理論小組工作了兩年,隨後在加州大學伯克利分校(物理學)、普林斯頓大學(物理學)、加州理工學院(化學和生物學)任教,並再次回到普林斯頓大學,成為霍華德·A·普賴爾 (Howard A. Prior) 分子生物學名譽教授。

1980 年,霍普菲爾德離開了普林斯頓大學,他的研究興趣讓他遠離了物理學同事們的研究領域,他接受了加州理工學院(位於南加州帕薩迪納)的化學和生物學教授職位。在那裡,他可以免費使用電腦資源進行實驗並行展他的神經網路思想。

然而,霍普菲爾德並沒有放棄物理學的基礎,1986 年,霍普菲爾德與他人共同創立了加州理工學院計算與神經系統博士項目,並行現了聯想神經網路技術,現今通常稱為“霍普菲爾德網路”。



事實上,許多人都體驗過電腦如何翻譯語言、解釋圖像甚至進行合理的對話。但可能不太為人所知的是,這種技術長期以來對研究非常重要,包括對大量資料的分類和分析。機器學習的發展在過去15到20年裡呈爆炸式增長,它利用了一種稱為人工神經網路的結構。如今,當我們談論 AI 時,我們通常指的就是這種技術。

因此,1956年誕生的人工智慧,其核心的機器學習技術方向就是“模仿大腦”。

儘管電腦無法思考,但機器現在可以模仿記憶和學習等功能。霍普菲爾德和辛頓利用物理學的基本概念和方法,開發了利用網路結構處理資訊的技術。

不同於傳統軟體,在機器學習中,電腦通過示例進行學習,使其能夠解決過於模糊和複雜而無法通過分步說明進行管理的問題。一個例子是解釋圖片以識別其中的物體,

而物理學激發了霍普菲爾德去理解由許多小元件共同作用的系統如何產生新的有趣現象。他特別受益於對磁性材料的瞭解,這些材料由於原子自旋而具有特殊的特性——這種特性使每個原子都成為一個微小的磁鐵。相鄰原子的自旋相互影響;這可以形成自旋方向相同的域。

霍普菲爾德團隊利用描述自旋相互影響的材料,發展物理學,建立一個具有節點和連接的模型網路。

簡單來說,如果我們可以將神經網路節點想像成像素,霍普菲爾德網路利用物理學來描述材料由於原子自旋而產生的特性,從而將整個網路的描述方式相當於物理學中自旋系統的能量,並通過尋找節點之間連接的值來進行訓練,以便保存的圖像具有較低的能量。當霍普菲爾德網路被輸入扭曲或不完整的圖像時,它會有條不紊地儲存、處理節點並更新它們的值,從而降低網路的能量。因此,網路逐步找到與輸入的不完美圖像最相似的保存圖像。

霍普菲爾德建構的網路節點都直接連接在一起。每個節點都可以儲存一個單獨的值——在霍普菲爾德的第一篇論文中,這個值可以是 0 或 1,就像黑色 (0) 或白色 (1) 圖片中的像素一樣,從而推測出像素接近的顏色、數值等關鍵資訊,使得人工智慧能夠準確預測能力。另外,霍普菲爾德網路還可用於重新建立包含噪聲或已被部分刪除的資料。

霍普菲爾德 1982 年發表的聯想記憶網路文章當中提到,他使用了一個有 30 個節點的網路。如果所有節點都相互連接,則有 435 個連接。節點有自己的值,連接有不同的強度,總共有不到 500 個參數需要跟蹤。他還嘗試過一個有 100 個節點的網路,但考慮到他當時使用的電腦,這太複雜了。我們可以將其與當今的大型語言模型進行比較,這些模型被建構為可以包含超過一兆(一百兆)參數的網路。



這時,當霍普菲爾德發表關於聯想記憶的文章時,辛頓正在美國匹茲堡的卡內基梅隆大學工作。他想知道,機器是否能學會以類似於人類的方式處理模式,找到自己的類別來對資訊進行分類和解釋。基於霍普菲爾德網路,辛頓與他的同事利用統計物理學的思想對其進行擴展,建構出神經網路當中的核心技術——玻爾茲曼機器(the Boltzmann machine)。



出生在英國的辛頓,之前曾在英格蘭和蘇格蘭學習過實驗心理學和人工智慧,於1970年獲得劍橋大學實驗心理學學士學位;1976年受聘為蘇塞克斯大學認知科學研究項目研究員;1978年獲得愛丁堡大學人工智慧學博士學位。1978年至1980年擔任加州大學聖地亞哥分校認知科學系訪問學者;1980年至1982年擔任英國劍橋MRC應用心理學部科學管理人員;1982年至1987年曆任卡內基梅隆大學電腦科學系助理教授、副教授;1987年受聘為多倫多大學電腦科學系教授;1998年至2001年擔任倫敦大學學院蓋茲比計算神經科學部創始主任;2001年至2014年擔任多倫多大學電腦科學系教授;2016年至2023年擔任Google副總裁兼工程研究員;2023年從Google辭職。

基於霍普菲爾德網路,20世紀90年代,辛頓與他的同事特倫斯·塞諾夫斯基利用統計物理學的工具,建立了一個採用不同方法的新網路:玻爾茲曼機。它可以學習識別給定類型資料中的特徵元素,通過輸入機器執行階段很可能出現的示例來訓練機器。玻爾茲曼機可用於對圖像進行分類,或建立訓練模式類型的新示例。

同時,作為學術開拓者,2006年,辛頓與同事 Simon Osindero、Yee Whye Teh 和 Ruslan Salakhutdinov 開發了一種使用一系列逐層疊加的玻爾茲曼機對網路進行預訓練的方法。這種預訓練為網路中的連接提供了更好的起點,從而最佳化了其訓練以識別圖片中的元素。

多份研究成果顯示,辛頓幫助機器學習和 AI 技術開啟了新的發展時代。

目前已經有許多研究人員都圍繞機器學習開發和應用,如今風靡全球的人工智慧聊天機器人ChatGPT,也都基於辛頓和霍普菲爾德的研究成果。憑藉自20世紀80年代以來的工作,兩位科學家為機器學習和 AI 革命奠定了重要基礎。

兩位大家也因相關研究獲得了諸多榮譽。

霍普菲爾德於1973年當選為美國國家科學院院士,1975年當選為美國藝術與科學學院院士, 1988年當選為美國哲學學會院士。1985年,霍普菲爾德獲得美國成就學院金盤獎。2005年,他獲得了阿爾伯特·愛因斯坦世界科學獎。2006年,他擔任美國物理學會主席。霍普菲爾德與迪帕克·達爾共同獲得了2022年統計物理學玻爾茲曼獎章。

辛頓則是反向傳播演算法和對比散度演算法(Contrastive Divergence)的發明人之一,也是深度學習的積極推動者,被譽為“深度學習教父”。辛頓因在深度學習方面的貢獻與約書亞·本希奧(Yoshua Bengio)和楊立昆(Yann Le Cun)一同被授予了2018年的圖靈獎。同時,目前他還是加拿大皇家學會院士,美國國家科學院外籍院士,多倫多大學名譽教授。

諾貝爾物理學獎委員會主席 Ellen Moons 表示,“兩位獲獎者的工作已經產生了巨大的效益。在物理學領域,我們將人工神經網路應用於廣泛的領域,例如開發具有特定屬性的新材料。”

實際上,物理學為機器學習的發展貢獻了工具,同時,物理學作為一個研究領域也受益於人工神經網路。近年來,神經網路技術也開始用於計算和預測分子和材料的特性,例如計算決定其功能的蛋白質分子結構,或確定那種新材料可能具有最佳特性,以用於更高效的太陽能電池,當然也包括大模型領域。

不過,作為“AI教父”,2023年5月,辛頓表示其後悔研發人工智慧,擔心人工智慧會為世界帶來嚴重危機。

實際共224人獲諾貝爾物理學獎, 董宇輝提到的居里夫人還曾獲諾貝爾化學獎


據悉,諾貝爾物理學獎是諾貝爾獎的六個獎項之一,由瑞典皇家科學院每年頒發給在物理科學領域做出傑出貢獻的科學家。

據瑞典著名化學家、企業家、發明家諾貝爾(Alfred Nobel)的遺願,該獎由諾貝爾基金會管理,由瑞典皇家科學院選出5名成員組成一個委員會來評選出獲獎者。諾貝爾物理學獎於1901年首次頒發給德國的威廉·倫琴。

諾獎官網顯示,從1901年至2023年,諾貝爾物理學獎共頒發了117次,沒有頒發的六年分別是1916、1931、1934、1940、1941和1942年。共225人次獲獎,實際獲獎個人為224人,因為美國物理學家John Bardeen於1956年和1972年兩次獲獎。

117次頒獎中,47次為單獨獲獎者,32次為2人共享,38次為3人共享。

其中,最年輕的獲獎者是英國物理學家Lawrence Bragg,1915年因“用X射線對晶體結構的分析所作的貢獻”與父親一起獲獎,時年25歲;最年長的獲獎者是美國物理學家Arthur Ashkin,2018年因“在雷射物理學領域所作出的開創性發明”獲獎,時年96歲。

224位諾貝爾物理學獎得主中,有5位女性。分別是1903年的居里夫人(居里夫人另外還獲得1911年的化學獎)、1963年的Maria Goeppert-Mayer、2018年的Donna Strickland,2020年的Andrea Ghez,以及2023年的法國/瑞典科學家Anne L’Huillier。

此前董宇輝在直播講解諾貝爾獎獲得者居里夫人時,出現多個事實性錯誤。他稱居里夫人發現了鈾,發明了X光機,並獲得諾貝爾文學獎等。事實上,居里夫人曾兩次獲得諾貝爾獎,但都不是諾貝爾文學獎。1903年,居里夫婦和貝克勒爾由於對放射性的研究而共同獲得諾貝爾物理學獎。1911年,居里夫人因發現元素釙和鐳獲得諾貝爾化學獎。



而諾獎史上的“家庭”諾獎當中,夫婦層面,Marie Curie和Pierre Curie夫婦獲得1903年的諾貝爾物理學獎;父子中,William Bragg和Lawrence Bragg父子獲得1915年的諾貝爾物理學獎;Niels Bohr獲得1922年諾貝爾物理學獎,其子Aage N. Bohr獲得1975年諾貝爾物理學獎;Manne Siegbahn獲得1924年諾貝爾物理學獎,其子Kai M. Siegbahn獲得1981年諾貝爾物理學獎;J. J. Thomson獲得1906年諾貝爾物理學獎,其子George Paget Thomson獲得1937年諾貝爾物理學獎。

過去10年諾貝爾物理學獎得主名單:

2023年——美國科學家Pierre Agostini、德國科學家Ferenc Krausz和法國/瑞典科學家Anne L’Huillier,以表彰他們“開發了產生阿秒光脈衝的實驗方法,用於研究物質中的電子動力學”。

2022年——法美奧三位科學家Alain Aspect、John F. Clauser和Anton Zeilinger獲獎,獲獎理由是“進行了糾纏光子的實驗,確立了貝爾不等式的違反,並開創了量子資訊科學”。

2021年——美德意三位科學家因“對人們理解複雜物理系統的開創性貢獻”而獲獎。美籍日裔科學家Syukuro Manabe、德國科學家Klaus Hasselmann的獲獎理由是“物理模擬地球氣候,量化變化和可靠地預測全球變暖”;義大利科學家Giorgio Parisi的獲獎理由是“發現從原子到行星尺度的物理系統的無序和波動的相互作用”。

2020年——英國科學家Roger Penrose獲獎,獲獎理由是“發現黑洞形成是廣義相對論的一個有力預測”;另外兩位獲獎者是德國和美國科學家Reinhard Genzel、Andrea Ghez,獲獎理由是“在銀河系中心發現了一個超大質量的緻密天體”。

2019年——美國科學家James Peebles獲獎,獲獎理由是“在物理宇宙學的理論發現”;另外兩位獲獎者是瑞士科學家Michel Mayor和Didier Queloz,獲獎理由是“發現了一顆圍繞類太陽恆星運行的系外行星”。

2018年——美法加三位科學家Arthur Ashkin、Gerard Mourou和Donna Strickland獲獎,獲獎理由是“在雷射物理學領域所作出的開創性發明”。

2017年——三位美國科學家Rainer Weiss、Barry C. Barish和Kip S. Thorne獲獎,獲獎理由是“對LIGO探測器和引力波觀測的決定性貢獻”。

2016年——英美三位科學家David J. Thouless、F. Duncan M. Haldane和J. Michael Kosterlitz獲獎,獲獎理由是“理論發現拓撲相變和拓撲相物質”。

2015年——日本科學家Takaaki Kajita和加拿大科學家Arthur B. McDonald獲獎,獲獎理由是“發現了中微子振盪,表明中微子具有質量”。

2014年——日本科學家赤崎勇、天野浩和美籍日裔科學家中村修二,以表彰他們在藍色發光二極體(LED)方面的發現。 (鈦媒體AGI)