•
蘭德：2025人工智慧演算法進展：進步調查與近期未來預測報告
蘭德公司(RAND)發佈的《人工智慧演算法進展：進步調查與近期未來預測》研究報告由Carter C. Price、Brien Alkire和Mohammad Ahmadi撰寫，於2025年初完成。該報告對人工智慧演算法改進進行全面調研，分析了演算法進步的關鍵管道和未來發展趨勢。
報告主要內容包括：人工智慧演算法改進的定義與維度、數值分析與運籌學中演算法進步機制分析、大型語言模型性能提升的關鍵因素，以及對近期AI發展的預測。研究發現兩個高影響力的演算法改進管道是：資料合成與最佳化，以及提高資料效率的改進演算法。報告還探討了三種可能的近期發展情景：資料限製成為瓶頸、演算法無法有效擴展，或演算法與資料協同發展。
值得注意的是，2024年12月問世的DeepSeek-V3語言模型成為演算法改進的重要實例，展示了混合專家系統架構的優勢。該報告為政策制定者提供了基於證據的預測，幫助理解AI技術發展軌跡及其安全影響。
演算法改進的本質與維度
什麼才算是演算法的改進？這個問題並沒有一個標準答案。從本質上講，當演算法變化能夠在特定任務上帶來更好的性能表現或減少所需的計算資源（或兩者兼具）時，我們可以稱之為演算法的改進。這種改進可能是主觀的（如對人類偏好的樣本統計），也可能是客觀的（如減少執行數學運算所需的浮點運算次數）。
演算法改進可以從不同維度來描述。從強度邊際來看，改進包括減少輸入需求（如訓練資料、訓練計算量或模型參數）或在相同或更少輸入的情況下獲得更好的性能。本質上，強度邊際關注的是效率。而廣度邊際的改進則包括新能力或應用領域的擴展，比如解決之前模型無法解決的新問題類別。
演算法改進也可以發生在不同階段：訓練階段、訓練後調整階段或推理階段。訓練階段的改進尤為重要，因為訓練需要前期投入大量成本，這可能成為未來模型發展的障礙。某些演算法變化可能會在多個維度上帶來改進，或者在一個維度上的改進是以犧牲另一個維度為代價的。
人工智慧演算法進步的歷史與現狀
縱觀人工智慧演算法的發展歷史，我們可以看到演算法改進在人工智慧性能提升中扮演了關鍵角色。研究表明，在各種問題類型的性能進步中，演算法進步貢獻了50%到100%的改進。特別是在大型語言模型領域，從2012年到2023年，預訓練後的語言模型性能提升中，有5%到40%歸功於演算法改進。
兩個關鍵創新帶來了大部分性能提升：Transformer架構的引入和來自Hoffmann等人(2022)的縮放定律。Transformer作為深度學習架構，徹底改變了自然語言處理領域。而縮放定律則揭示了模型大小、訓練計算量和模型性能之間的經驗關係，為模型設計提供了重要指導。
然而，關於演算法進步的速度和方向，目前並沒有明確共識。一些研究認為，人工智慧系統的性能正趨於穩定並接近人類水平，而另一些研究則預測演算法每年會帶來大約半個數量級的模型改進，如果這一趨勢持續到2027年，人工智慧系統將能夠承擔人工智慧研究者的工作。
演算法改進的主要管道
通過對數值分析、運籌學和電腦科學領域演算法的廣泛研究，我們可以識別出幾個可能的演算法改進管道，並探討它們對人工智慧發展的影響。
高影響潛力的管道
兩個可能帶來高影響的演算法改進管道涉及：
- 資料合成與最佳化：生成合成資料或精簡現有資料，以生成更適合訓練人工智慧的資料集。隨著高品質資料資源的日益稀缺，如何高效利用現有資料或創造新資料將成為關鍵。
- 資料效率提升：改進演算法以提高計算效率，例如開發比Transformer計算成本更低的演算法（如Mamba），或者每次迭代效果比Transformer更好的演算法（如Kolmogorov-Arnold網路）。這兩種改進也可能同時發生。
潛在突破性管道
一個可能帶來突破的管道是開發更符合商業實用性能衡量標準的替代訓練標準（本報告中鬆散稱為目標函數）。當前的訓練方法主要基於預測下一個標記的交叉熵損失函數，但這可能與商業上有意義的性能衡量標準不完全匹配。
演算法進步的案例：DeepSeek-V3
值得一提的是2024年12月問世的DeepSeek-V3語言模型，它是演算法改進的重要實例。根據DeepSeek的介紹，該模型"優於其他開源模型，達到與領先閉源模型相當的性能...僅需2.788M H800 GPU小時完成全部訓練"。
DeepSeek-V3採用了專家混合(MoE)架構，通過採用多頭潛在注意力機制和架構變更，實現了高效推理和經濟高效的訓練。此外，它還實施了新的負載平衡策略，並執行多標記預測訓練目標以獲得更強性能。模型訓練後，還進行了監督微調(SFT)和強化學習階段，以使其性能與人類偏好保持一致。
人工智慧演算法的近期未來發展
基於對高影響管道的分析，我們可以展望人工智慧演算法在近期可能的發展趨勢。根據不同管道的進展程度，可能出現三種近期未來情景：
1. 資料限製成為瓶頸
如果無法獲取額外資料，可能會阻止模型繼續高效擴展，這可能導致小型、專注的人工智慧系統主導市場。在這種情況下，研究人員將更加專注於如何從有限資料中提取最大價值，比如通過更高效的訓練演算法或更精確的資料篩選方法。
2. 演算法無法有效擴展
如果可以通過合成生成獲得額外資料，但新演算法無法通過包含這些額外資料有效提取有意義的性能提升，那麼大型模型的工作可能會繼續，但小型人工智慧系統可能會在市場上佔據主導地位。這種情況下，研究重點可能會轉向如何最佳化現有演算法以更好地利用新資料。
3. 演算法和資料協同發展
如果能夠生成額外資料，並且有新演算法能夠高效利用這些資料，那麼大型模型可能會繼續主導市場，並且可能出現性能上的實質性突破。這種情景下，我們可能會看到人工智慧能力的快速提升，開闢全新的應用領域。
人工智慧進展的指標與政策思考
如何評估人工智慧演算法的進展？Stanford人類中心人工智慧研究所的2024年人工智慧指數報告指出，人工智慧性能已經接近或超過人類在九個技術性能基準上的表現。然而，最近幾年這些基準的性能已經趨於穩定，這可能表明人工智慧能力已經達到平台期，或者研究人員正轉向更複雜的研究挑戰。
對於政策制定者而言，瞭解演算法進步的方向和速度至關重要，這有助於預測人工智慧技術的發展軌跡，並制定相應的政策措施。例如，如果資料成為限制因素，政策制定者可能需要關注資料隱私和資料共享的規定；如果演算法擴展成為挑戰，則可能需要增加對基礎研究的投資。
值得注意的是，隨著人工智慧技術的發展，安全和倫理問題也變得越來越重要。確保人工智慧系統的安全、可靠和符合人類價值觀是一個複雜的挑戰，需要技術和政策層面的共同努力。例如，強化學習與人類反饋(RLHF)的研究正致力於將人工智慧系統的行為與人類偏好和價值觀保持一致。
結語
人工智慧演算法的進步是一個複雜而動態的過程，涉及多個維度和管道。通過理解演算法改進的機制和管道，我們可以更好地預測人工智慧技術的未來發展方向，並為政策制定提供依據。
在可預見的未來，資料合成與最佳化以及資料效率提升將是推動人工智慧發展的關鍵因素。如何在保障安全的前提下，最大限度地發揮這些技術的潛力，將是研究人員、產業界和政策制定者共同面臨的挑戰和機遇。
隨著人工智慧技術不斷演進，我們需要保持警惕和適應性，既要抓住技術進步帶來的機遇，也要應對可能出現的風險和挑戰。只有這樣，我們才能確保人工智慧的發展真正造福人類社會。
人工智慧演算法的進步不僅僅是技術問題，也是關乎社會、經濟和倫理的重大議題。通過跨學科的合作和全球範圍的對話，我們可以共同塑造一個人工智慧技術為人類服務的未來。在這個未來中，演算法不僅僅追求效率和性能，也要體現公平、透明和負責任的價值觀。這將是人工智慧發展的終極目標，也是我們共同的責任。 (歐米伽未來研究所2025)