#自我進化
GoogleDeepMind發佈AlphaEvolve:AI界的“演算法設計進化大師”誕生
GoogleDeepMind剛剛又往前拱了一大步,宣佈推出 AlphaEvolve智能體 ,目標直指更上游,用於通用演算法的設計發現和最佳化簡單說,AlphaEvolve就像個AI界的“演算法育種大師”。它把自家Gemini大模型(Gemini Flash負責廣撒網,洞察力強的Gemini Pro負責深挖)和一套“自動化考官”(負責驗證演算法靠不靠譜、效率高不高)結合起來,再套上一個“進化論”的框架,讓好演算法能一代更比一代強AlphaEvolve工作流程:工程師設定框架,AI通過“提示採樣器”給LLM喂招,LLM出新招(程序),“考官”打分,好招進“兵器譜”,並用來啟發下一輪出招。去年DeepMind就秀過肌肉,證明LLM能生成程式碼函數來搞定科學問題。但AlphaEvolve的野心是進化一整個程式碼體系,去啃那些更複雜的演算法硬骨頭。AlphaEvolve已經在Google內部“上崗”了AlphaEvolve已經在Google的多個核心業務裡默默發光發熱了:1.改善資料中心調度:AlphaEvolve給Google龐大的資料中心Borg系統發現了一種簡單卻極其有效的啟髮式方法。這套方案上線一年多,平均給Google全球計算資源摳回了0.7%的算力2.設計晶片 (TPU Circuit Design):在Google的AI晶片TPU設計中,AlphaEvolve直接上手改起了Verilog(晶片設計語言)。它最佳化了一個矩陣乘法關鍵電路,去掉了冗餘。改動通過了嚴格的“體檢”,確認功能沒問題,已經被用在了下一代TPU裡3.給AI訓練和推理再提提速:AlphaEvolve找到了更巧妙的方法來拆解大矩陣乘法,讓Gemini架構裡的這個核心“零部件”快了23%,最終給Gemini模型的訓練省了1%的時間。對大模型訓練這種“吞金獸”來說,1%也是肉。工程師們也從幾周的苦哈哈最佳化,變成了幾天的自動化實驗,能更快搞創新了它甚至還能最佳化底層的GPU指令。對於Transformer模型裡常用的FlashAttention,AlphaEvolve給整出了最高32.5%的加速。這塊通常是編譯器啃的硬骨頭,人一般不輕易動不止搞工程,數學前沿它也敢闖AlphaEvolve的目標不只是最佳化現有系統,它還想在更基礎的數學和演算法發現上取得突破:矩陣乘法新演算法:給定一個基礎程式碼框架,AlphaEvolve設計出了一種新穎的基於梯度的最佳化過程,發現了多個矩陣乘法新演算法。例如,它找到了一個用48次標量乘法計算4x4複數矩陣乘積的演算法,優於自1969年以來已知的Strassen演算法。這比DeepMind之前的AlphaTensor(專攻矩陣乘法,但對4x4矩陣只在二元算術上找到改進)又進了一步攻克公開數學難題:DeepMind用AlphaEvolve嘗試了超過50個來自數學分析、幾何、組合學和數論的公開問題,在約 75% 的案例中,它重新發現了當前已知的最優解。在約20%的案例中,它改進了已知的最優解!例如,在困擾了數學家300多年的“接吻數問題”(Kissing Number Problem,即一個中心球最多能同時接觸多少個不重疊的等大球體)上,AlphaEvolve在11維空間中發現了一個包含593個外層球的構型,刷新了該維度下的已知下界對數學成果感興趣的,DeepMind也放了些結果在Google Colab上,地址:https://colab.research.google.com/github/google-deepmind/alphaevolve_results/blob/master/mathematical_results.ipynb寫在最後大語言模型的編碼能力還在進化,AlphaEvolve也會跟著變強。Google目前推出了早期試用計畫,先給學術圈的朋友們嘗嘗鮮,想嘗鮮的可以去DeepMind官網填個表https://docs.google.com/forms/d/e/1FAIpQLSfaLUgKtUOJWdQtyLNAYb3KAkABAlKDmZoIqPbHtwmy3YXlCg/viewform (AI寒武紀)
Google推出AlphaEvolve實現演算法自我進化,將顛覆數學與電腦科學!
演算法自我進化革命已經悄然開始!Google DeepMind剛剛發佈了AlphaEvolve系統,這是一個革命性的Gemini驅動編碼代理,不僅能設計演算法,而且能通過進化框架持續最佳化這些演算法!它已經發現了更快的矩陣乘法演算法,解決了開放性數學問題,並最佳化了Google的資料中心、晶片設計和AI訓練。這不是簡單普通的AI工具發佈,而是演算法發現範式的根本轉變!AlphaEvolve的技術架構:三大核心能力從技術角度解析,AlphaEvolve的突破性在於它獨特的系統架構,結合了三大關鍵元件的協同工作:大語言模型整合:AlphaEvolve利用最先進的Gemini模型組合,包括高效的Gemini Flash用於最大化探索的廣度,以及強大的Gemini Pro提供深度洞察。這些模型負責綜合分析問題資訊、歷史解決方案,並用電腦程式碼形式提出演算法實現。自動化評估系統:AlphaEvolve實現了一套客觀量化的評估指標,能夠自動驗證、運行並評分每個提出的程序。這種方法在所有能夠明確衡量進步的領域(如數學和電腦科學)中表現出色。評估系統為進化過程提供了精確的適應度函數。進化演算法框架:系統實現了一個適應性進化框架,它不僅迭代改進現有最佳演算法,還通過重組不同解決方案中的思路找到更優解。這種進化策略能夠跨越局部最優解,在更大的解空間中搜尋。BensenHsu對論文進行了詳細解讀,指出了AlphaEvolve的關鍵創新:論文介紹了AlphaEvolve,一個使用最先進大語言模型的編碼代理,通過進化過程迭代改進演算法。AlphaEvolve旨在解決科學和計算領域的挑戰性問題。它發現了新穎、可證明正確的演算法,在數學和電腦科學中的一系列問題上超越了現有最先進的解決方案,如找到更快的矩陣乘法演算法並改進各種數學不等式的界限。最佳化Google計算基礎架構的具體實踐過去一年,AlphaEvolve發現的演算法已經部署在Google的整個計算生態系統中,形成了一個多層次的最佳化體系:資料中心調度演算法革新AlphaEvolve在Borg資料中心編排系統中實現了突破性最佳化。它設計了一種新型啟髮式演算法,在全域資源分配決策中引入了動態權重調整機制。這個生產環境中運行超過一年的解決方案,持續回收了Google全球計算資源的平均0.7%。技術上的關鍵在於,AlphaEvolve生成的程式碼不僅性能卓越,還具有可解釋性、可偵錯性和可預測性,這在超大規模分佈式系統中至關重要。與黑盒最佳化方法不同,它生成的解決方案能夠被工程師理解並進一步改進。晶片設計中的電路最佳化在硬體層面,AlphaEvolve提出了矩陣乘法關鍵電路的Verilog程式碼重寫方案。它識別並移除了精心最佳化的算術電路中的冗餘位,同時保證了電路功能的正確性。這種修改已經整合到Google即將推出的 Tensor Processing Unit(TPU) 晶片中。這一應用的技術創新在於,AlphaEvolve能夠使用硬體描述語言(HDL)提出修改,促進了AI系統與硬體工程師之間的協作。每一個建議都必須通過嚴格的驗證方法,以確保修改後的電路維持功能正確性。AI訓練和推理的多層次加速在軟體和演算法層面,AlphaEvolve實現了AI性能和研究速度的雙重提升:矩陣乘法子問題分解最佳化:通過發現更智能的方法將大型矩陣乘法操作分解為可管理的子問題,AlphaEvolve將Gemini架構中的關鍵核心加速了23%,導致Gemini訓練時間減少了1%。考慮到生成式AI模型的計算資源需求,這種最佳化轉化為顯著的資源節約。GPU指令級最佳化:AlphaEvolve還最佳化了底層GPU指令,這是一個通常由編譯器處理而不被工程師直接修改的複雜領域。它在基於Transformer的AI模型中為FlashAttention核心實現了高達32.5%的速度提升。核心最佳化工程時間降低:從工程效率角度看,AlphaEvolve將核心最佳化所需的時間從專家數周的努力縮短到了幾天的自動化實驗,顯著加速了研究創新速度。AI Wave(@aiwaveco)對這一技術突破進行了深刻評價:我們從「提示詞+程式碼」發展到了「開放問題+演算法+最佳化」。AlphaEvolve玩的是完全不同的遊戲。數學和演算法設計的演算法定理機AlphaEvolve在純數學和演算法設計領域的成就同樣驚人,它正在成為一個"演算法定理機",能夠自動發現和證明演算法性質。矩陣乘法演算法的突破性創新AlphaEvolve在矩陣乘法這一電腦科學基礎問題上取得了顯著進展。它設計了一種全新的基於梯度的最佳化過程,能夠發現多種新型矩陣乘法演算法。具體而言:技術上,AlphaEvolve提出了一個小型程式碼框架,然後自主設計了新型梯度最佳化過程的多個元件它找到了使用48個標量乘法計算4×4復值矩陣的演算法,超越了Strassen在1969年提出的演算法(此前被認為是該設定下的最佳演算法)相比之前的AlphaTensor模型,AlphaEvolve採用了更泛化、更高效的方法,在4×4矩陣上實現了超越,而AlphaTensor僅在二進制算術上取得了改進在演算法進化過程中,AlphaEvolve進行了15次變異,跨越了最佳化器、權重初始化、損失函數和超參數掃描等多個元件,顯示出其驚人的演算法設計能力。開放性數學問題的系統化攻克DeepMind團隊將AlphaEvolve應用於超過50個分析、幾何、組合學和數論領域的開放性問題,實驗設定僅花費數小時就完成,充分展示了系統的靈活性。研究成果展示了AlphaEvolve的演算法能力:在約75%的情況下,它獨立重新發現了當前已知的最先進解決方案在20%的情況下,它改進了此前最佳已知解決方案,在相應的開放問題上取得了進展尤為突出的是AlphaEvolve在「親吻數問題」(kissing number problem)上的成就。這個已經困擾數學家300多年的幾何挑戰,研究的是與公共單位球體相切的非重疊球體的最大數量。AlphaEvolve發現了593個外部球體的構型,並在11維空間中建立了新的下界,這是一個重要的數學突破。AI Notkilleveryoneism Memes(@AISafetyMemes)分享了一張表達對AlphaEvolve數學能力複雜感受的圖片:演算法進化的未來:跨領域應用前景從技術角度看,AlphaEvolve展示了演算法發現領域從特定領域解決方案向通用複雜演算法開發的飛躍。其核心技術優勢在於其架構的普適性——只要問題的解決方案能夠被描述為演算法並通過自動化方式驗證,AlphaEvolve就有可能應用。技術架構的未來發展路徑隨著大語言模型能力的不斷提升,特別是編碼能力的增強,AlphaEvolve的進化框架預計會得到相應的提升。研究團隊特別指出,隨著Gemini模型在編碼方面能力的增強,AlphaEvolve的演算法發現能力將同步提升。從軟體工程角度,DeepMind團隊與People + AI Research團隊已經建構了互動介面,使研究人員能夠更直觀地與AlphaEvolve互動。他們計畫推出早期訪問計畫,並探索更廣泛部署的可能性。跨領域應用前景AlphaEvolve的演算法進化方法預計將在多個科學與技術領域產生深遠影響:材料科學:自動設計和最佳化材料配方演算法,加速新型材料的發現過程。藥物發現:最佳化分子對接演算法,加速候選藥物的篩選和評估過程。可持續發展:設計更高效的資源分配演算法,最佳化能源使用和減少碳排放。技術與商業應用:針對特定業務流程自動設計最佳化演算法,提高營運效率。Uncertain Systems(@uncertainsys)提出了一個重要的商業應用問題:它能發現新的SaaS嗎?這一問題暗示了AlphaEvolve可能對軟體服務創新產生的影響,演算法進化可能催生全新類型的軟體服務。jzv(@jzvtrades)則提出了更深層次的技術問題:但它能發明模型突破嗎?這反映了研究界對AI系統能否實現元級創新的思考——能否設計出全新的AI架構和模型,而不僅僅是最佳化現有演算法。演算法進化已經從理論走向實踐,我們正在見證電腦科學和數學研究模式的變革,這預示著人類與AI系統在科學發現領域的新型協作關係。 (AGI Hunt)
破解300年數學難題,智能體大突破!Google發佈超強AI Agent
今天凌晨,GoogleDeepmind在官網發佈了,用於設計高級演算法的程式設計AI Agent——AlphaEvolve。AlphaEvolve與Google的大模型Gemini實現深度整合,用於自動評估通用演算法的發現與最佳化,可以幫助開發人員快速設計出最好、高效的矩陣演算法。簡單來說,大模型擅長生成各種想法和演算法,但是沒人知道這些到底行不行,而AlphaEvolve相當於“質檢員”,能夠按照特定標準來衡量這些想法是否可行。AlphaEvolve超強能力Google在展示AlphaEvolve的能力時,就特意找了一道300多年的數學難題——親吻數問題。這道題的歷史最早可以追溯到1694年,牛頓還和別人辯論、研究過。其難點在於給定維度的空間中,最多可以有多少個相同大小的球體同時接觸一個中心球體,這些球體之間不發生重疊。而AlphaEvolve發現了由593個外層球體組成的結構型,並在11維空間中建立了新的下界,超越之前數學家們創造的記錄。AlphaEvolve還能為複雜的數學問題提出新的解決方法。基於極簡程式碼框架,AlphaEvolve設計了一種基於梯度的新型最佳化程序的諸多元件,並行現了多種用於矩陣乘法的新演算法。AlphaEvolve找到了一種用於4x4復值矩陣乘法的演算法,該演算法僅需48次標量乘法,改進了Strassen在1969年提出的演算法,後者此前被認為是該場景下的最佳演算法。這一發現表明,與Google之前專注於矩陣乘法演算法的研究成果AlphaTensor相比,取得了重大進展。此外,Google使用AlphaEvolve來增強大模型的訓練和推理。AlphaEvolve將大規模矩陣乘法運算拆解為更易於處理的子問題,使Gemini模型架構中的核心計算效率提升了23%,整體訓練時間縮短了1%,節省大量成本。AlphaEvolve還能對GPU底層指令進行最佳化。這是一個極其複雜的領域,通常編譯器已對其進行了深度最佳化,所以,人類工程師一般不會直接對其進行修改。AlphaEvolve實現了基於Transformer的人工智慧模型中FlashAttention核心計算最高達32.5%的加速。這類最佳化有助於專家精準定位性能瓶頸,並能輕鬆地將最佳化成果整合到程式碼庫中,極大提高了工作效率。AlphaEvolve架構簡單介紹任務定義與評估模組是AlphaEvolve的核心之一,主要負責明確使用者的需求,包括評估標準、初始解決方案以及背景知識。通過一個自動化的評估機制來衡量生成的解決方案的質量,這一機制以函數的形式存在,將解決方案對應到一組標量評估指標上。這些指標通常是最大化的目標,例如,在數學問題中,如果目標是找到滿足特定屬性的最大可能圖,評估函數將呼叫進化程式碼生成圖,檢查屬性是否成立,然後返回圖的大小作為得分。大模型整合與提示採樣模組負責建構上下文提示,這些提示包括明確的上下文資訊,例如,問題的詳細描述、方程式、程式碼片段或相關文獻;隨機格式化,通過機率分佈提供人類編寫的替代方案以增加多樣性;渲染的評估結果,包括程序、執行結果以及評估函數分配的分數;以及元提示進化,由大模型本身在額外的提示生成步驟中建議的指令和上下文,這些內容與解決方案程序在單獨的資料庫中共同進化,為大模型提供了豐富的資訊,使其能夠生成更準確和有效的程式碼修改建議。創造性生成與程式碼修改是AlphaEvolve另外一個核心模組,主要利用大模型的能力來生成程式碼修改建議。這些大模型能夠處理豐富的上下文資訊,並根據過去的嘗試和想法提出新的改進方案。當AlphaEvolve要求大模型修改現有程式碼時,它會請求以特定格式的差異塊提供更改,這種格式允許對程式碼的特定部分進行針對性的更新。在某些情況下,如果程式碼非常短,或者需要完全重寫,AlphaEvolve可以配置為直接輸出整個程式碼塊,而不是使用差異格式。評估與反饋模組負責跟蹤AlphaEvolve的進展,並選擇在後續代中傳播那些想法。每個由大模型提出的新解決方案都會被自動評估,這一過程本質上是簡單地在生成的解決方案上執行使用者提供的評估函數。AlphaEvolve支援一些可選機制,使評估更加靈活和高效,例如,評估級聯,使用者可以指定一系列難度遞增的測試用例,只有在所有早期階段都取得足夠有希望的結果時,新解決方案才會進入下一個階段;大模型生成的反饋,用於評估那些難以在使用者提供的評估函數ℎ中精確捕捉的解決方案特性;以及平行化評估,通過非同步呼叫評估叢集來分配這項工作,從而提高評估效率。進化與資料庫管理負責儲存和管理在進化過程中生成的解決方案。這些解決方案儲存在一個進化資料庫中,其主要目標是在後續代中最佳地重新出現先前探索的想法。設計這種資料庫的一個關鍵挑戰是平衡探索和利用,以持續改進最佳程序,同時保持多樣性以鼓勵整個搜尋空間的探索。AlphaEvolve的進化資料庫實現了一種演算法,該演算法受到MAP精英演算法和基於島嶼的種群模型的啟發。分散式運算管道模組使AlphaEvolve能夠作為一個非同步計算管道運行。每個計算在等待另一個尚未完成的計算結果時都會阻塞。整個管道針對吞吐量進行了最佳化,而不是任何特定計算的速度,以最大化在特定總體計算預算內可以提出和評估的想法數量。目前,有興趣的小夥伴可以去GoogleDeepmind官網申請使用AlphaEvolve,尤其是對於科研、數學、設計領域的小夥伴幫助很大。 (AIGC開放社區)