人形機器人跨溝拉滿1.2米!華人團隊提出TAGA框架讓宇樹G1學會“瞄準”落腳點

人形機器人要在各類複雜崎嶇地形實現靈活敏捷的移動,既需要大範圍環境感知能力,也得精準掌握局部地形幾何結構。

受人類走路時會針對性注視腳下關鍵地形區域這一行為啟發,日前,來自新加坡國立大學MarmotLab實驗室、浙江大學交叉力學中心、華南理工大學的一組華人科研團隊提出TAGA框架,這是一套面向注意力機制人形機器人控制、具備地形感知能力的主動視線學習框架。

該框架融合視覺、本體感知與運動指令資訊,引導模型預判環境特徵,主動聚焦高度地形圖中的關鍵區域,篩選高價值有效資訊供給下游網路運算。

在機載算力資源受限的前提下,這套機制可自適應提升觀測資訊的有效密度,使人形機器人能夠在更大範圍地形中完成精細化感知行走。

最終訓練得到的運動策略無論是在模擬環境還是實體硬體平台上均展現出強魯棒性與泛化能力,實測機器人能夠自主跨越溝壑的最大距離達到1.2米,為現有公開最優水平。

融合兩種步態控制方案

當下各類動作追蹤演算法已經可以讓人形機器人實現跳舞、後空翻、人體動作復刻等全身動態運動,看上去很厲害,但幾乎都是在機械復現預先儲存的運動軌跡,而地形行走的難點在於,需要機器人主動感知周邊環境、判斷地形可通行性,並即時調整運動策略。

機器人既要提前預判前方路況,又要精準獲取局部地形幾何資訊,才能穩妥規劃落腳位置。

現有的感知型步態控制方案大體可分為兩類:基於地圖建模的方法與純視覺驅動方法。

基於地圖建模的方案將點雲或重建高度地形圖作為精簡地形表徵,用於步態規劃,這類方案雖然效果可靠,但感知探測範圍越大,計算開銷就會急劇升高。

與之相對,視覺驅動方法直接把原始深度圖像對應為動作指令,減少對顯式地形重建的依賴,但前置深度相機拍攝的畫面常會缺失機器人腳邊、腳底附近的地形資訊;並且循環記憶模組很難在長距離行進過程中持續保留精細的地形幾何細節。

簡單來說,這項研究提出的TAGA框架,能夠自適應融合上述兩類訊號,依託分層視線調控機制:視覺負責遠距離地形預判,高度掃描圖輸出高精度局部幾何資料,通過訓練得到的主動視線策略,選擇性聚焦對行走最關鍵的區域,形成資訊互補,增強機器人跨越障礙的能力。

多地形適配能力最強

研究人員在Isaac Lab模擬平台上訓練TAGA模型,使用四塊輝達RTX 5090顯示卡平行開啟8000個模擬環境,運動策略先完成3萬輪迭代訓練,再經過1萬輪微調,整體算力消耗約17個RTX 5090顯示卡工作日。

實體真機測試環節中,TAGA部署在宇樹G1人形機器人上,僅依靠機載輝達Jetson Orin晶片完成本地推理運算。

測試中,在溝壑、踏石、窄梁、台階以及戶外地形場景中均取得當前最優(SOTA)性能,尤為突出的是,機器人可跨越120釐米寬溝壑,比此前公開最優成績高出50%,可順利通過間距50–70釐米高度落差10釐米的稀疏踏台。

面對兩種分佈外地形測試工況時,TAGA通行成功率分別達到93.70%93.90%

消融實驗資料顯示:TAGA性能與讀取完整高度圖的TAGA-FullScan基本持平,但訓練算力開銷相比後者降低65.2%

研究人員進一步在複雜度逐級提升的真實環境中測試運動策略:先在可控室內搭建定製複雜地形開展實驗,再到戶外場景測試,戶外場景包含感測精度衰減、多變地形與物理外力擾動等工況。

在現有公開方案裡,TAGA適配的實地地形種類最為豐富,其溝壑跨越距離創下新高,同時可通行稀疏落腳點地形,這兩項關鍵指標均大幅超越此前最優(SOTA)成果。

在戶外與弱光照環境下,場景地面材質多樣,感知條件惡劣:光照動態變化、背景雜物繁雜、深度感測精度下降、感測器噪聲干擾,高草叢與狹小空間還會遮擋落腳點。

即便存在諸多不利因素,搭載TAGA的機器人在各類地形下依舊行走平穩,對真實環境中的感知噪聲、著地接觸變化具備良好魯棒性,可穩定落地真實場景部署。

下一步的改進方向

這項研究的一作LI Peizhuo目前是新加坡國立大學在讀博士,研究方向為強化學習與足式機器人,此外,他有在銀河通用實習的經歷,還曾在浙大機器人與機器智能實驗室、交叉力學中心做訪問學生,指導老師為朱秋國、王宏濤。

同等貢獻作者Mingfeng FAN是新加坡國立大學MarmotLab實驗室的博士後研究員,Hongyi LI則是浙大交叉力學中心寧波研發中心系統部經理。

TAGA可完成爆發式跳躍、精準落足定位、動態平衡恢復等高機動動作,但長時間持續運行會給執行器帶來巨大熱負荷,實驗發現,執行器的逐步升溫過熱,會慢慢降低控制精度,出現跳躍距離變短、落腳失誤等問題。

此外,複雜地形下高度掃描成像質量不佳,也會引發步態異常甚至行走失敗。

研究人員表示,後續還有很多最佳化方向值得探索,包括:借助線上自適應演算法提升系統對執行器性能衰減的耐受度;最佳化高度掃描重建效果;引入不確定性感知控制方案,讓機器人在硬體老化、感測性能下降時依舊精準選定落足點。 (頭部科技)