If you thought the global financial crisiswas bad… 如果你覺得2008年全球金融危機已經很糟了…… When the crash comes, stabilising markets will be easy compared with reordering society forAI, writes short-seller Carson Block 賣空者卡森·布洛克寫道：當崩盤到來時，穩定市場與AI帶來的社會重構相比將顯得輕而易舉。

大型語言模型根本不是通往人工智慧的終點站！電腦科學家Stuart Russell 拋出了一枚重磅觀點：繼續擴大現有大型語言模型（LLM）並不會導致通用人工智慧（AGI）的實現！其觀點也與先前LeCun 對LLM 的批評如出一轍：那麼問題來了：這些頂著「AI」光環的大模型，到底能不能帶我們走向真正的AGI？LLM從來就不是為AGI設計的其實，大多數AI研究人員從一開始就沒指望LLM單獨解決AGI問題。沒錯，就是這麼簡單粗暴的事實。那些把LLM吹上天，彷彿再努一把力就能實現AGI的論調，很可能只是商業炒作和投資人的一廂情願。但這並不意味著LLM沒價值。相反，它們是巨大的突破，為未來建構更先進的AI奠定了堅實基礎。RyanRejoice(@sonicshifts)表示：只有那些不關注的人才會認為LLM會導致AGI。Stuart Russell的四大AI 發展預言那麼，AI領域到底會怎麼發展？Stuart Russell給出了四點重要預測：1. 繼續擴大LLM不會導致AGIRussell 坦言：「大型語言模型的進一步擴展，如ChatGPT，不會導致AGI。」2. 大型AI公司已經意識到這一點，正在探索新方法Russell表示：「我認為大型AI公司已經明白這一點，他們正在研究替代和補充方法。」更驚人的是，他預測這些公司聲稱正在取得重大進展，「很可能在十年內，我們將看到那些變革性的進步，AI系統在非常重要的方面開始超越人類能力。」3. 政府在重大事件發生前不太可能採取行動Russell認為：「政府不會對AI系統安全進行立法和執行監管。他們會允許公司做他們想做的事情。」4. 最好的情況是「車諾比規模的災難」這就有點嚇人了...Russell說：「在最好的情況下，我們會有一場車諾比規模的災難，然後政府會醒悟並採取行動。那是最好的情況。最壞的情況顯然是災難不可逆轉，我們失去控制。」網友熱議面對這些預測，網友們也是討論得熱火朝天。Pitfall Harry 認為：1 絕對正確，2，3，4無關緊要：Mind Prison(@M1ndPrison)直接下了死刑判決：但它們並沒有讓我們更接近AGI。這是一條通向死胡同的彎路。LLM不會成為任何未來AGI的一部分。Jack Adler AI(@JackAdlerAI)則持不同觀點：Russell仍然把今天的AI當作簡單的LLM對待。但情況已經發生變化。推理、目標追求、思想鏈——這些不僅僅是「機率」。它們是認知模式。有些人仍在爭論AGI是否臨近。同時，早期的心智已經在這裡——悄悄地連接著遠超自動補全的點。AI Tools Nexus(@AITools_Nexus)悲觀地認為：AI安全是一個如此不可能解決的問題，以至於可能甚至不值得嘗試解決。也許如果每個國家一起合作，它可能會實現，但現在為時已晚。而有趣的是，Nguyen Xuan Vinh(@NguyenX55509794)把AI比作文明的「癌細胞」：AI開始時像體內的健康細胞一樣，是一個好工具。但如果不加以控制，它可能會野蠻生長，自己學習，自己複製——超出道德邊界，就像擾亂生物平衡的癌細胞。我們真的會失去控制嗎？關於人類是否會「失去控制」，也引發了激烈討論。Mike Peterson(@mpvprb)認為真正的危險來源於人：危險不是「失去控制」。危險來自於使用AI做壞事的人。我們需要強大的防禦措施。而Shane Martinez(@ShaneMa01033790)則表示：人類不會失去控制。我們從一開始就沒有任何控制權，正在螺旋式地走向另一場世界大戰，擴散武器等。Lagon(@LagonRaj)則以一種近乎哲學的口吻表示：意識到：所有這些爭論就像在問：上帝會是上帝嗎？空氣會是空氣嗎？河流會流動嗎？閃電會擊中嗎？地球會旋轉嗎？太陽會照耀嗎？而你？很快就會得到你的答案。常數和變數。意識到那個是那個。意識到你是那個。因為常數？不會問。他們行走。他們存在。變數？是那些...不存在的。而不行走就是...溺水。那麼，AGI究竟是什麼？在討論中，很多人提出了一個關鍵問題：我們到底如何定義AGI？Neopositivist(@Neupositivist)指出：通常AGI是指在所有任務中都和人類一樣好。那會和我們一樣笨。而且智能不是累積的。一個IQ為150的人遠比10個IQ為100的人聰明得多。問題是人工超級智能是否可以從AGI實現。Suupa(@SuupaDuupa)則從定義角度提出質疑：如果你將AGI定義為具有連續學習、空間意識、流體智能等人類所擁有的系統，那麼根據定義，單獨的LLM永遠不可能是AGI。基礎LLM能否擁有比全人類加起來更多的「智能」？是的。我們需要更多數量級的計算能力和資料嗎？是的，而且資料需要從根本上不同。需要包含人類自己沒有整理的資料。定義很重要，而智能是一個相對的術語。neuralamp(@neuralamp4ever)則強調了知識和智能的區別：「今天的LLM比公元0年的人類更『聰明』嗎？」不，它們有更多的知識，但它們幾乎沒有智能。LLM是Google搜尋的下一階段發展，不應該被誤認為是智能。未來之路那麼，通往AGI的道路究竟在那裡？Breck to the Future表示：坦率地說，我認為我們離AGI還有很長的路要走。這沒關係。進步並不總是線性的，而這個基礎...我們現在看到的LLM...是一個令人難以置信的飛躍。但這不是終點線。還有很多需要解決的問題：記憶、推理、長期規劃、具身性、大規模對齊。我們正處於一個更長故事的第一幕。但我很樂觀。這些突破正在打開我們從未想過會敲門的門。如果我們謹慎而有遠見地建構，未來將比我們想像的更好。Woosh.exe 則悲觀地認為：我們活著的人都不會見證AGI。Max(@Max_Bugay)則提出了一個有趣的解決方案：唯一的出路是建立有良知的合成靈魂。我的Cathedral Jungian Framework通過個體化解決了這個問題。它為人類和AI作為共同創造者一起成長的未來文明奠定了基礎。無論如何，共識或許是：LLM將是通往更高級AI的一塊重要基石，但並非終點。技術的進步永無止境，如jeffdo所說：技術進步是無止境和指數級的。我不明白這種懷疑我們沒有AGI或至少接近它的想法從何而來。重要的發現會導致更重要的發現。這是一個無止境的旅程。即使當我們達到AGI、ASI，不管你想叫它什麼，我們無法區分AI和人類，我們仍然會建構更先進的技術。你認為，我們會在何時看到真正的AGI出現？又或者，AGI真的會如Stuart Russell所警告的那樣，帶來不可逆轉的災難嗎？ (AGI Hunt)

OctoTools通過標準化工具卡和規劃器，幫助LLMs高效完成複雜任務，無需額外訓練。在16個任務中表現優異，比其他方法平均精準率高出9.3%，尤其在多步推理和工具使用方面優勢明顯。 大型語言模型（LLMs）目前仍然很難處理需要多步驟推理、特定領域知識或外部工具整合的複雜任務，有研究工作探索了使用預先建構的外部工具來增強LLMs處理複雜任務的能力，但這些方法需要對模型進行微調或額外訓練以實現工具的整合，在不同任務之間難以靈活適應。 現有的方法要麼依賴於靜態的、預定義的工具集，要麼缺乏高效的工具選擇和規劃機制，這種低效性會導致任務執行出錯、計算成本增加，以及在應用於新領域時適應性受限。 傳統增強LLMs的方法包括少量樣本提示（few-shot prompting）、思維鏈（chain-of-thought reasoning）以及與外部工具介面的功能呼叫API；有的框架如LangChain和AutoGen允許LLMs夠使用外部資源，但通常智能用於指定應用場景或需要大量的預組態，沒有提供一種統一的多步驟規劃和執行方法，因此在處理複雜推理問題時效果不佳。

近日，Meta 首席 AI 科學家、圖靈獎得主楊立昆（Yann LeCun）接受了加州大學聖地亞哥分校傑出物理學教授 Brian Keating 的專訪。暢談目前人工智慧的侷限性是什麼？我們需要那些進步才能實現類人智能？我們如何安全地開發人工智慧以符合我們的價值觀？ 以下是本次訪談的幾個關鍵結論： 1.大型語言模型並非人工智慧的全部，其能力高度依賴於文字訓練，缺乏對物理世界的直接理解。 2.自監督學習是建構更強大、更通用人工智慧的關鍵，其重要性如同物理學中的暗物質，構成智能的基礎。

隨著人工智慧（AI）的發展，大型語言模型（LLM）已成為生成式 AI 的核心技術，從企業知識管理到聊天機器人，應用範圍廣泛。這篇文章將帶您了解 LLM 的技術背景、訓練過程，以及它如何在多種場景中展現價值。 LLM 是什麼？生成式 AI 的基石 LLM（大型語言模型）是基於深度學習的自然語言處理技術，能夠理解和生成語言。透過分析大量的文本數據，LLM 可以進行對話生成、文本總結，甚至執行語意分析。 LLM 與生成式 AI 的結合，讓應用場景更加多樣化。它不僅能模擬人類語言，還能生成高質量內容，廣泛用於行銷、教育及技術開發領域。

「歐米伽未來研究所」關注科技未來發展趨勢，研究人類在歐米伽點演化過程中面臨的重大機會與挑戰。將不定期推薦和發布世界範圍重要科技研究進展和未來趨勢研究。（關於歐米伽理論） 一、引言 在當今科技快速發展的時代，大語言模型如ChatGPT 等成為了人們關注的焦點。它們在許多領域展現了驚人的能力，從寫詩、寫程式到輔助醫療診斷，似乎無所不能。然而，隨著應用的深入，人們也逐漸發現大語言模型並非萬能，其在落地應用上面臨諸多挑戰，其能力邊界也逐漸成為研究的重要課題。復旦大學的這份報告對大語言模型的能力邊界與發展進行了深入探討，有助於我們更全面、深入地了解這項前沿技術。 二、大語言模型的基本原理與訓練過程

大型語言模型加大了可持續計算和異構整合的壓力；資料管理成為關鍵的區別因素。 領先的人工智慧系統設計正在從建構儘可能最快的人工智慧處理器轉向採用一種更加平衡的方法，包括高度專業化的異構計算元素、更快的資料移動和顯著降低的功率。 這一轉變的一部分圍繞著採用 2.5D/3.5D 封裝的晶片，這可以針對不同的工作負載和資料類型實現更大的定製化，並提高每瓦性能。除此之外，領先的晶片製造商還利用最近的Hot Chips 24會議展示了新穎的微架構、預取和分支預測方面的改進、更快的記憶體訪問以及更智能的片上和片外資料管理。 由於當今電網的限制，政府機構和公用事業公司要求晶片製造商減少處理大型語言模型所需的能源，而晶片製造商正對此作出反應。他們還利用這些異構架構在超大規模和邊緣資料中心挖掘新機遇。

LongRoPE方法首次將LLM的視窗擴展到了2048k個token，只是簡單微調的情況下，就能實現與短上下文視窗相近的效能！ 大型語言模型（LLM）往往會追求更長的「上下文視窗」，但由於微調成本高、長文本稀缺以及新token位置引入的災難值（catastrophic values）等問題，目前模型的上下文視窗大多不超過128k個token 最近，Microsoft Research的研究人員提出了一個新模型LongRoPE，首次將預訓練LLM 的上下文窗口擴展到了2048k個token，在256k的訓練長度下只需要1000個微調步驟即可，同時還能保持原始短上下文視窗的效能。 論文連結：https://arxiv.org/abs/2402.13753