大模型目前的主導地位只是暫時的，在未來五年甚至十年內都不會是技術前沿。這是新晉圖靈獎得主、強化學習之父Richard Sutton對未來的最新預測。就在剛剛的新加坡國立大學建校120周年（NUS120）之際，Sutton受邀發表演講——塑造AI和強化學習的未來。其實，這已經不是Sutton第一次在公開場合表達類似的觀點，早在他19年的著作《痛苦的教訓》中，他就明確提出：讓AI尤其是LLM模仿人類思維方式，只能帶來短期的性能提升，長期看只會阻礙研究的持續進步。在他4月份新發表的論文《歡迎來到體驗時代》也再度強調了這點，同時他表示，擴展計算才是正解。本次NUS120演講長達一個多小時，可謂是乾貨滿滿、資訊量超大。讓我們一起來看看完整演講內容。LLM主導是暫時的Sutton首先提及當前人類處於資料時代，像ChatGPT這類大語言模型，都是靠分析人類產生的大量資料（如文字、圖像、視訊）進行訓練。但始終追逐人類思維方式，至多也只能達到“人類水平”。在數學、科學等領域，人類資料裡的知識已經接近極限，AI難以突破現有認知，純靠模仿已經很難再有創新。AI需要新的資料來源，且要隨著AI增強而改進，靜態資料集顯然不足。因此他認為AI終將從依賴人類資料，轉向通過Agent與世界的第一人稱互動，以獲取“體驗資料”的學習。AlphaGo在與李世石對弈的第二局中，下出的神之一手——第37手，在人類標準下完全非常規的走法，就充分展現了AI在這種體驗學習下的思考潛力。也就是說，AI將會在自主體驗中，完成自己的更新迭代，產生更高級的資料並反哺自身，構成一個“越學越強”的循環。還能不受人類現有知識限制，自由探索人類未涉及的領域，比如全新的科學理論、材料設計等。Sutton舉了個例子：一個蹣跚學步的嬰兒會通過不斷探索周圍環境主動學習，然後隨著認知增長，每一次互動方式都會隨著經驗有所不同。因此AI的未來將屬於通過互動和經驗學習的“體驗時代”，Agent需要從經驗中學習，而這遠遠超出了LLM的能力範疇。即使現有LLM在連接全球知識上表現出色，但通往這一未來的核心路徑始終是強化學習。強化學習正是圍繞著經驗學習構造，但要發揮強化學習全部潛力，還需具備持續學習能力的深度學習演算法。而這背後要靠對大規模算力的充分利用來支撐，繼續基於搜尋和學習擴展算力，以適應AI性能需求增加。可以說，從長遠看，真正的突破還是來自規模計算。不同Agent去中心化互利共贏談及Agent的前景，Sutton提出對不同目標的Agent可以尋求去中心化合作。他認為每個Agent的獎勵訊號都各不相同，且都試圖最大化自己的回報，那麼只需要讓不同Agent各自實現其目標，再通過互動，就能實現互利共贏。這就類似於人類社會中的經濟運轉，得益於自然語言和貨幣的發明，儘管人們擁有不同的目標和能力，但在過程中相互協調配合，也能產生出不錯的效果。但還是有不少人主張集中控制AI，甚至呼籲暫停AI。Sutton認為這種聲音更多的是來源於對未知的恐懼，要接受個體目標的多樣性，建立合作化秩序，AI的潛力恰恰就在去中心化合作。另外，Sutton還提到了“設計時代”的概念，當前的機器越來越類生命化，而生命也被視作生物機器。但生命與技術之間存在本質差異，生命是在無意識下被覆制產生，而技術則先經設計師意識想像再落地創造，這是一個設計過程，且設計產物也更易改進。因此人類發展AI，就是為了將設計做到極致——設計出能自主設計的Agent，而人類將會在設計時代扮演催化劑和創造者的角色，將AI視作推動發展的機遇，而非單純的技術產物。One More ThingSutton的言論一出，很快在社區引起了激烈討論。支持者認為技術的突破往往來自未知與偶然，技術已趨向成熟的LLM似乎即將觸及領域天花板。而反對者則認為技術的發展在於不斷改進，也許LLM不是AI的最終形態，但它也必定在AGI發展過程中佔據重要作用。 (量子位)

一、引言報告標題為“機器行為與具身智能”，該報告由西安交通大學教授鄭南寧在中央政治局第二十次集體學習上進行講解，主要圍繞機器行為與具身智能的相關內容進行深入探討。二、機器行為模仿與解釋1. 人工智慧技術的發展階段‌第一階段‌：專家學習系統，將領域知識和規則交給機器去搜尋。‌第二階段‌：特徵工程，將事先定義的特徵和答案交給機器去學習。‌第三階段‌：利用深度神經網路讓機器自動學習特徵，機器在語音和圖像識別與分類能力方面超過人類。‌第四階段‌：探索具有人類意識的人工智慧系統，實現通用人工智慧，具備自我意識、自主思考、學習計畫、解決問題以及理解複雜概念的能力。2. 解釋行為的困難性解釋行為比產生行為更為困難，因為幾乎人類所有的行為都是從環境中學來的。通用人工智慧在模仿人類行為時，必須清晰地給出潛在概括，並與普遍原理聯絡，這是認知過程的理解。三、機器行為面臨的挑戰1. 技術挑戰‌條件問題‌：不可能列舉出一個行為的所有先決條件。‌分枝問題‌：不可能列舉出一個行為有可能產生的所有隱性結果。2. 道德倫理、社會和法律挑戰傳統的人工智慧理論框架無法為所有對象或行為建立模型，且如何讓人工智慧系統具有合作性行為是一大挑戰。例如，理解兒童幫助他人開門的行為，並讓機器人具備這樣的智能性、靈活性與合作性行為。四、機器行為的研究範圍1. 研究內容機器行為生成的人工設計。智能體如何憑藉經驗產生行為。機器行為的可解釋性。2. 機器行為研究的重要性機器行為一旦失去監督，可能帶來潛在危害，與智能體和人工智慧行為的信任密切相關。3. 行為研究的四個工具（Tinbergen的演化思維）‌行為生成的機制‌：利用可解釋性技術理解特定行為模式背後的機制。‌行為的發展‌：研究機器如何獲得特定個體或機體行為。‌行為的功能‌：瞭解特定行為如何影響智能體全生命周期功能。‌行為的進化‌：關注智能體的進化，機器行為可在發展中與所處環境和人不斷互動，朝著特定方向進化。4. 機器行為發展的三個途徑‌人類通過演算法直接賦予‌。‌利用特定的互動訓練，刺激、塑造‌。‌機器通過自身的經驗獲得‌。五、人與智慧型手機器的行為關聯‌機器塑造了人類行為‌：智慧型手機器具有改變社會結構的潛力。‌人類塑造了機器行為‌：人類通過訓練來塑造機器行為。‌人機混合協同行為‌：人工智慧演算法在複雜系統中與人類共存，分析人機互動的屬性（合作、競爭、協調）至關重要。六、具身智能和行為生成1. 具身智能的定義具身智能是機器自主感知環境、學習和理解行動的能力，強調智能生物的智能化程度和它的身體結構存在強相關性。2. 非具身學習與具身學習的對比‌非具身學習‌：演算法的學習獨立於硬體與環境，性能取決於模型的泛化能力。‌具身學習‌：在虛擬環境中訓練大模型得到常識表徵，在具體場景中通過強化學習完成模型進化，模型可在特定環境中自主適配。3. 具身智能行為生成的兩大部分‌人機互動‌：人與自然語言或圖文資訊的形式將任務需求輸入多模態大模型中，模型完成任務理解和概念推演，生成知識和決策，最後由機器人生成相應行為。‌系統與環境互動‌：機器人利用感測器完成情境感知，根據大模型學習結果產生行為，完成輸出。七、基於表徵學習與因果推理的具身智能計算框架為使機器具有類人認知能力，需建立事件模型，將知識有效表徵，建構持續學習系統。在解決任務時，機器根據感知資料、意識先驗、表徵學習、知識庫進行推理，尋找最優策略。八、動態開放環境中的人機協同的具身智能在動態開放環境中強化人機協同，使具身智能更像人類智能。引入人在回路的決策學習，實現行為決策的類人化。1. 自動駕駛面臨的挑戰‌周密感知‌：在所有條件下檢測道路特徵。‌預行為理解‌：理解人類駕駛員的行駛意圖。‌應對意外遭遇‌：簡單的基於規則的自動駕駛無法提前為每個場景編碼。‌網路安全‌：如軟體漏洞或駭客惡意行為。2. 自動駕駛行為生成系統結合經驗與常識、場景理解、交通態勢評估，進行預訓練，生成導航路徑。基於具身智能完成運動規劃，生成合理的、可執行的駕駛行為。3. 自動駕駛行為決策將複雜未知的現實世界變換成有限空間環境的語義理解，尋找可行駛區域。4. 建構自動駕駛環境的“認知地圖”包括車輛、交通標識、障礙物、行人等基本屬性，以及高級認知屬性，形成實踐上的認知地圖訓練，使自動駕駛系統理解交通場景的動態隨機變化。5. 自動駕駛模擬技術提供高效率、低成本的自動駕駛測試，關注異常交通場景的感知與處理，生成多樣性交通場景來評價自動駕駛系統在不同場景下的駕駛性能。九、總結報告深入探討了機器行為與具身智能的多個方面，包括人工智慧技術的發展階段、機器行為面臨的挑戰、研究範圍、人與智慧型手機器的行為關聯、具身智能和行為生成、基於表徵學習與因果推理的計算框架，以及動態開放環境中的人機協同具身智能。最後，以自動駕駛為例，展示了具身智能在實際應用中的挑戰與前景。以下為報告全文：大家好，今天我報告的題目是“機器行為與具身智能”。首先，我們來看一個相對簡單的十字路口場景，場景中有行人、有非機動車和機動車，我們看一看它的動態場景是如何構成的？十字路口的交通場景是不可預測的，但場景中的每個對象或稱之為Object直覺的判斷和他們對相互之間的行為關係的理解，形成了這樣一個相互關聯的穩定系統。人在這些場景中能夠迅速的理解和判斷各個對像在空間及其行為的關聯性。而自動駕駛也必須要能夠抽象和表述這種關聯性，才能做出精準地判斷，而事實上我們要讓機器機基於規律對交通場景的動態變化進行事先編碼是做不到的，我們需要研究在這種互動場景中，多個自主體的自適應行為。舉例來看，在F1比賽中，工作人員利用團隊協作可以迅速地完成車輛輪胎的替換工作，如何利用機器人叢集協作完成某項任務並給出科學的解釋，是一個值得探討的問題。討論1：機器行為模仿與解釋解釋行為是一個比產生行為更為困難的任務，因為幾乎人類所有的行為都是從環境中學來的，即刺激反應的結果。並不都像思維和情感這樣的內部事件，一台圖靈機能以一種無法與人類區別的方式活動，但產生出這樣的行為模仿並不足以模擬人的智能，因為兩者是一個完全不同的問題。解釋必須儘可能清晰地給出潛在的概括，並將它們與某些普遍的原理聯絡起來，這就是認知過程的理解。如果我們從人工智慧技術的發展來看，我們可以把人工智慧技術的發展分為如下階段：第一階段，統稱之為“專家學習系統”，專家系統是將領域知識和規則交給機器去搜尋。第二階段，簡稱為“特徵工程”，所謂特徵工程是講事先定義的特徵和答案交給機器去學習。第三階段，是將原始資料和標籤交給機器，利用深度神經網路讓機器自動學習特徵。在這一階段人工智慧取得了驚人的發展，特別是機器在語音和圖像識別與分類能力方面超過了人類。當前人工智慧發展朝著第四階段的方向發展，人類只需要將任務和目標交給機器，機器就可以像人類一樣感知和理解世界，人與人之間或社會會與物理世界自然互動，也就是說在這一階段探索具有人類意識的人工智慧系統，像人類一樣在廣泛的任務和環境中進行學習和適應，實現通用人工智慧。通用人工智慧理論上是具有自我意識、自主思考、學習計畫、解決問題以及理解複雜概念的能力，它可以在新的未曾遇到的情景下適應並執行任務，這需要廣泛的背景知識和常識，還有抽象思維和判斷等人類智能所有的關鍵特徵，這是一個充滿著不確定性的未來目標。討論2：機器行為面臨的挑戰人工通用智能現在不僅僅在技術上面臨著重大挑戰，而且還面臨著道德倫理、社會和法律等一系列重大問題。研究複雜動態不確定環境中的機器行為，存在著兩個基本問題：一、條件問題，是我們不可能列舉出一個行為的所有先決條件；二、分枝問題，是我們不可能列舉出一個行為有可能產生的所有隱性結果。傳統的人工智慧基本理論框架是建立在演繹邏輯和語義描述與形式化方法的基礎上，形式化的方法不可能為所有的對象或行為建立模型。機器行為研究面臨的挑戰，就是如何使人工智慧系統具有合作性的行為。德國心理學家設計了一個兒童心理學實驗，實驗中一位一歲半的兒童和媽媽坐在同一個房間的角落裡，一位成年人走進房間想打開櫃門，他一遍遍的撞擊著櫃門，這時神奇的場景發生了，並沒有人直接向這位孩子求助，也沒有人向他發出指令，但一歲半的孩子搖搖晃晃走過來，幫助這個成年人打開了櫃門。該實驗試圖想證明孩子可以自發的幫助別人，但這個實驗卻對人工智慧提出了一個重大挑戰，我們能否通過理解這個一歲半孩子的腦內所想，讓機器人也能具有這樣的智能性、靈活性與合作性行為？這個實驗告訴我們，智慧型手機器不能從工程機器的角度去理解它們，而且要將其視為一系列有自己行為模式及生態反應的個體或機器群體。另外一個實例，給出一段西安絕句“海棠不惜胭脂色、獨立濛濛細雨中”。讓電腦語言理解的程序和人，分別從一個圖像資料庫中找出最貼切這段詩的圖像。電腦找出了這樣一幅圖，海棠上掛滿著雨滴，正真是“海棠不惜胭脂色、獨立濛濛細雨中”。而人卻給出右邊這幅圖，一位亭亭玉立的少女在濛濛的細雨中沒有打傘，行走在幽靜的小道上。被測試的人在內心把這位少女比作海棠，在這樣的雨天這位少女全然不顧風雨的存在。人類理解詩歌往往是在內心深處將想像力帶入現實，通過自身的認知去欣賞。這首西安絕句是宋代詩人陳與義所寫的《春寒》，當時金兵入侵，南宋小朝廷處於山河破碎風飄絮，詩人南渡避難，借助在巴陵友人的後院，自號“園公”。2月的巴陵幾乎天天下雨，料峭的春寒還未結束，此時詩人流離失所，漂泊無依，不由地聯想起自身的境遇進行感懷，寫下了這首詩。在這裡，我們看到一幅圖像到了人類觀察者的腦中，在他的內心深處將想像力帶入了現實，圖像變成了生動的場景故事。這裡簡單的語言與圖像的聯想，說明許多重要的AI應用，例如機器視覺和自然語言理解需要大量對世界的認識資訊。為此，電腦需要掌握知識，這是幾乎所有AI研究者都同意的觀點。想像是人的一種虛構的能力，也就是人可以想像不存在事物的能力，但如何更加有效地把知識傳授給機器人，依然是我們今天面臨的一大挑戰。討論3：機器行為的研究範圍諾貝爾獎獲得者西蒙教授，在《人工科學》這本書中指出：自然科學是關於自然體和自然現象的科學知識，也有人工科學關於人工物體和人工現象的知識。如今，大量的智慧型手機器應用於人類社會的各個角落，幾乎所有層面。機器行為研究關注的是智慧型手機器，而非傳統的機械。它的研究範圍有：機器行為生成的人工設計，智能體如何憑藉經驗產生行為。還有機器行為的可解釋性，智能體如何根據場景響應機器行為。機器行為一旦失去監督所帶來的潛在危害是什麼？這些問題與智能體和人工智慧行為的信任是密切關聯的。諾貝爾獎得主、荷蘭動物學家Tinbergen提出：想要全面地理解一個演化出來的特性，我們需要回答四個問題：1、行為生成的機制，智能體生成行為的機制基於其演算法和執行環境的特點，我們利用可解釋性技術可以來理解特定行為模式背後的特定機制；2、行為的發展，智能體的行為是隨著時間的推移而發展，這就需要研究機器是如何獲得特定個體或機體行為。行為發展可以是工程選擇的結果，也可能是來自智能體的經驗；3、行為的功能，行為分析需要瞭解特定行為是如何影響智能體全生命周期功能，研究行為對智能體特定功能的影響；4、行為的進化，智能體容易受到進化歷史和與其他智能體互動的影響，從這個角度來看，研究機器行為需要關注智能體的進化。以上這四個問題就構成了演化思維的四個工具，需要強調的是發展並不僅僅意味著一種行為的出現，而是發展過程中行為機制的變化。討論智能個體如何獲得特定的行為，即機器行為的發展。這裡有三個基本的途徑：第一個途徑：人類通過演算法直接賦予機器行為的發展；第二個途徑：利用特定的互動訓練，刺激、塑造機器行為；第三個途徑：機器通過自身的經驗獲得某些行為，比如說機器可以通過記憶或強化學習等方式自主獲得某種行為的能力。機器行為的進化過程中，機器行為可以在發展中與所處環境和人不斷地互動，朝著環境和人特定的方向進化。同時由於機器不同於生命體，它的進化可以突破某種生命體的侷限性，而且可進化的機器行為可以傳播至群體廣泛的機器行為存在，也可能受到某些限制，阻止其傳播，機器可表現出非常不同於有機進化的軌跡。比如進化後的無人駕駛演算法，可以共享至無人駕駛汽車群體，實現行為能力的傳播。對此，我們對人與智慧型手機器的行為關聯做一個小結：1、機器塑造了人類行為：在社會系統中引入智慧型手機器可以改變人類行為的方式，智慧型手機器具有改變社會結構的潛力。2、人類塑造了機器行為：人類通過對人工智慧系統進行主動輸入或被動行為觀察的訓練來塑造機器行為，使用演算法直接來改變機器的行為。3、人機混合協同行為：大多數人工智慧演算法在複雜的混合系統中與人類共存的領域發揮著重要作用，如何分析和刻畫這類複雜系統中人機互動的屬性和行為，包括合作、競爭和協調都是至關重要的問題。討論4：具身智能和行為生成具身智能是一種機器自主感知環境、學習和理解行動的能力，從生物進化的角度來看，地球上所有智力活動都是生物通過自己的身體與環境互動後，通過自身學習與進化遺留下來的智力遺產。智能是具身化和情境化的，具身智能強調智能生物的智能化程度和它的身體結構存在著很強的相關性，也就是說身體不是等待載入演算法的機器，而是身體本身應該參與演算法的進化。非具身學習和具身學習對比是有差異的。非具身學習一般通過“大模型無監督預訓練+小樣本有監督微調”範式訓練神經網路，訓練得到的深度學習模型可以直接部署到不同的硬體環境，即演算法的學習獨立於硬體與環境，性能表現完全取決於模型的泛化能力。而具身學習通過在虛擬環境中訓練大模型得到常識表徵，在具體場景中通過強化學習來完成模型的進化，模型可以在特定的硬體和環境中完成自主的適配。由於大模型利用了超大規模的訓練資料，並且包含大量參數，使得它具備了超強的泛化能力與優秀的應用性能。大模型的具身智能行為生成可以分為兩大部分：一、人機互動；二、系統與環境的互動在人機互動部分，人與自然語言或圖文資訊的形式，將任務需求輸入到多模態大模型中，模型對不同形式的輸入進行特徵的嵌入後，完成任務理解和概念推演，並生成知識和決策，最後由機器人生成面向任務指令的相應行為。在系統與環境互動部分，機器人首先利用自身感測器，完成對情境的具身感知，然後根據大模型的學習結果對情境產生行為，最終完成行為的輸出。討論5：基於表徵學習與因果推理的具身智能計算框架要想使機器具有類人的認知能力，首先要建立事件模型，將物體、事件、事實等知識進行有效表徵，進而建構一個持續學習的系統，在解決一個具體任務時，機器根據感知資料、意識先驗、表徵學習、知識庫進行推理，尋找完成任務的最優策略。意識先驗的概念比較抽象，當你處在一個情景中，試圖去理解它，你會意識到它某些現實層面的情景或過去的經歷。意識先驗是在原始輸入和某些更高級表徵基礎上形成的抽象層次。討論6:動態開放環境中的人機協同的具身智能為了讓具身智能表現的更像人類智能，還需要在動態開放的環境中強化人機協同。以往的運動策略學習傾向於把人排除在外，僅由試錯、搜尋獲得儘可能大的長期累積回報的策略，無法適應開放動態的環境。而人在回路的決策學習，由任務、目標引導搜尋，實現行為決策的類人化。此外，還可以通過嵌入式視覺學習、模仿學習和互動學習，引入人的作用。動態開放環境中人機協同具身智能的一種基本框架。人在回路的人機協同決策可以使具身智能向人類學習。自動駕駛系統通過行為克隆向人類駕駛員學習，自動駕駛系統通過10個小時的學習已具有基本的駕駛行為，但仍然無法避障和應對突發事件。自動駕駛面臨著那些挑戰？自動駕駛是開放環境中一類重要典型具身智能系統，在複雜交通環境下，自動駕駛安全要有可靠的駕駛行為。首先，它需要解決複雜交通場景中的“周密感知”，無論天氣或照明情況如何，必須在所有條件下檢測道路特徵。其次，它需要進行“預行為”的理解，因為人類駕駛員都是根據預行為傳達行駛意圖。再次，它需要對“意外遭遇”做出應對，而簡單的基於規則的自動駕駛不可能提前為每個場景編碼。最後，“網路安全”，如軟體的漏洞或駭客的惡意行為等等。自動駕駛行為是如何生成的？首先，系統結合經驗與常識、場景理解以及交通態勢評估，並利用模型對結構化道路場景和非結構化道路場景進行預訓練，生成導航路徑。隨後，基於具身智能完成目標狀態採樣、待選運動路徑生成和最優運動路徑選擇，進行運動規劃，最後生出合理的、可執行的駕駛行為。重點討論自動駕駛行為決策，將思維抽象為符號計算對人工智慧的發展產生了重大的推動作用，但為所有的交通對象建立模型是不可能的。帶來這些困難的一個直接原因是：許多交通場景的複雜性和動態性，並不都是可觀測和可控的，行駛過程中對異常情況的處理能力，是無法通過事先大量樣本訓練得到，而且也無法獲得大量的負樣本，交通事故就是一大類負樣本，而人類駕駛員開車是將車外的無窮狀態空間約簡為動態變化的“可行駛”的“二域狀態空間”，自動駕駛行為決策就是要尋找一個可行駛區域。因此，從認知層面要解決的問題，就是如何把複雜未知的現實世界，變化成有限空間環境的語義理解，我們把它稱之為一種直觀的理解。怎樣定義自動駕駛這個問題？需要把場景感知和情景認知區別開來。所謂場景是指某個交通場合在一個特定的時間和特定的空間中，具體情景或景象，可以定義為一種實體，當然這種實體的描述是通過感測器的資料來獲得的。情境是指某一段時間和空間許多具體情形的概括，情境的境是指構成和隱含在場景中，相互交織的因素及其相互之間的關係，所以情境計算是對場景中各個對像在空間的行為互動關係解釋，交通場景中各種物體或對象空間關係和行為的描述在自動駕駛中就顯得非常重要了。如何發展一種具有進化的、自主學習的自動駕駛系統？需要從認知的角度去瞭解人類駕駛員是如何注意並獲取交通環境資訊的。而交通環境資訊是如何在大腦中儲存和加工的，特別是在產生駕駛行為的背後存在怎樣的內部表徵。首先，我們來看看人類駕駛員如何注意並獲取交通環境的資訊。在交通場景認知的選擇性注意中，目標的重要性是一種高級屬性，它包含目標的物理屬性、運動屬性、行為屬性。其次，我們以交通場景的注意、記憶和學習過程為例，簡單討論人類對交通場景認知的加工機制。人的大腦對感覺記憶中的一些特定資訊的注意即選擇，對注意到的資訊進行組織，再通過學習在短期記憶中建立聯絡，將長期記憶的資訊傳遞到短期記憶，以連接傳入的資料，即整合。最後將短期記憶的內容進行編碼，轉換為長期記憶。在組織、整合與編碼之間存在著互動機制，實際上人在知道發生了什麼之前，他的注意力已被顯著性對象所捕獲，人類駕駛員對交通場景的理解是在記憶和先驗知識的基礎上進行的模式匹配。自動駕駛演算法需要在一定程度上引入人類對交通場景認知的加工機制，人類對變化非常敏感，突然變化，比如說顏色、紋理、大小、位置、運動，對注意力影響最大。注意機制已經成為建構自動駕駛AI架構的靈感來源。產生駕駛行為的背後存在怎樣的內部表徵問題？人類駕駛員在駕駛過程中是將車窗外無窮狀態空間約簡為動態變化的“可行駛”和“不可行駛”的“二域狀態空間”，並根據常識和交通規則，以及對交通場景的感知來產生相應的駕駛行為。因此，自動駕駛需要對交通環境進行分層的認知表徵，它們分別是空間定位層、行為模型層、知識策略層和任務驅動層，這樣就可以從認知的層面將複雜、未知的現實世界變換成有效的自覺物體的語義推理。如何建構自動駕駛環境的“認知地圖“？建構自動駕駛認知地圖需要包括車輛、交通標識、障礙物、行人等構成的可行駛區域的基本屬性。同時要有遞迴網路所學習到的關於預注意機制、駕駛意圖等高級認知屬性，把車輛當前狀態與交通知識作為認知地圖的一部分。要根據場景動態的變化，來形成實踐上的認知地圖的訓練。依賴認知地圖就可以使自動駕駛系統從類人的角度去理解交通場景正在發生的動態隨機變化。這裡進一步給出一種具有選擇性注意機制的自動駕駛認知計算實現架構。在這個計算架構中，利用摺積神經網路提取場景的顯著性空間特徵，這些特徵與先驗知識相結合，形成一種對時間可視化認知地圖，通過長短期記憶的注意機制，界定認知地圖中物體間的關聯，然後通過價值迭代模型將對環境的認知對應到行為空間，給出行駛決策。模擬測試也是自動駕駛重要的關鍵技術之一，自動駕駛汽車在大規模商業化應用前需要進行大量的測試，相關研究報告指出：在不犯錯誤的情況下，自動駕駛汽車需要行駛4.4億公里，才能證明其在車禍致死率和人類駕駛員的水平相當。假設由100輛自動駕駛汽車，每天測試24小時，一年測試365天，測試平均時速60公里每小時，需要耗時8.37年。相當於一輛車在地球與月球之間往返572次，顯然採用實際道路測試將耗費大量時間。而模擬測試可以提供一種高效率、低成本的自動駕駛測試。作為自動駕駛重要的關鍵技術，模擬測試需要關注的一大挑戰為異常交通場景的感知與處理，由於異常交通場景出現機率低、缺乏測試資料，因此需要利用圖形學、電腦視覺生成多樣化測試資料，在模擬環境中對自動駕駛車輛進行充分快速的測試驗證。這裡我們給出了一種基於大模型的自動駕駛模擬技術的基本框架，應用機器學習可以生成多樣性交通場景來評價自動駕駛系統在不同交通場景下的駕駛性能，如安全性、舒適性、協調性，以及演算法的可靠性，以及是否遵守相關法律法規。該基本框架由資料集包括注入的真實感測器資料、機器場景描述、測試場景分類、典型場景選擇與表徵、典型場景生成，包含一些副樣本等五大部分組成。這裡是自動駕駛模擬系統測試生成多樣性交通場景，如前車變道，對交通場景標識識別，夜間會車，以及前方突然出現行人。我們團隊開展自動駕駛研究二十餘年，走到今天我們取得了很大的進步，但實現完全自動駕駛依然是一個令人興奮而又望而生畏的艱難挑戰。最後給出一個移動智能體在開放環境下基於視覺和雷射雷達生成導航路徑的短影片。今天我的報告就到這裡，謝謝大家！ (在行人)

清華大學航天航空學院、柔性電子技術實驗室張一慧教授課題組在國際上首次研製出具有仿生三維架構的新型電子皮膚系統，可在物理層面實現對壓力、摩擦力和應變三種力學訊號的同步解碼和感知，對壓力位置的感知解析度約為0.1毫米，接近於真實皮膚。該成果日前在國際學術期刊《科學》雜誌上發表。 圖為裝有仿生三維電子皮膚的機械手與人手互動。（受訪者供圖） 張一慧介紹，皮膚之所以能敏銳感知力學訊號，是因為其內部有很多高密度排列且具有三維空間分佈的觸覺感受細胞，能精準感知外界刺激。在電子皮膚研製中，要能同時識別和解碼壓力、摩擦力和應變訊號，實現精準的觸覺感知，極具挑戰。 團隊首次提出具有三維架構的電子皮膚設計概念，研製出的仿生三維電子皮膚由“表皮”“真皮”和“皮下組織”構成，各部分質地均與人體皮膚中的對應層相近。感測器及電路在皮膚內深淺分佈，其中部分感測器更靠近皮膚表面，對外部作用力高度敏感，分佈於深處的感測器則對皮膚變形更為敏感。

OpenAI機器人理解力雖強，卻無法進行非語言溝通。最近，哥倫比亞大學華人團隊打造了全新的機器人Emo，不僅可以事先預測和模擬人類表情，還可以進行眼神交流。 此前，人形機器人Ameca「大夢初醒」的神情，已讓許多人感受到了真正的「恐懼」。 隨著ChatGPT橫空出世，得到加持的人形機器人雖擅長語言交流，但是在非語言交流，特別是面部表情，還差得很遠。 未來，如果人類真的要生活在一個充滿機器人的世界中，機器人必須要有像人類一樣能自主透過臉部表情獲取人類的信任的能力。