0
| 本文作者： 陳淑瑜 | 2026-04-22 18:32 | 專題：ICRA 國際機器人與自動化會議 |
把盤子垂直插入碗架的窄槽、將花莖穩穩放入花瓶——這些對人類來說近乎本能的高精度操作，卻是機器人至今難以跨越的門檻。北京大學董豪團隊在ICRA 2026上提出的Imagine2Act框架，讓機器人先“想象”出任務完成時的理想狀態，再據此規劃動作，在多項精細操作任務上取得了顯著突破。
家庭服務機器人要真正幫人類干活，光會“抓取-放置”遠遠不夠。面對“把筆插進筆筒”“將碗放入碗架”這類關系性重排任務，機器人既要理解物體間的語義關系，更要滿足嚴格的幾何約束——偏差幾毫米就可能導致任務失敗。
當前主流方法存在兩大瓶頸：一是傳統3D模仿學習缺乏對物體間幾何關系的顯式推理，在高精度對齊任務上表現不穩；二是利用生成模型的方法往往直接將生成的物體變換當作動作執行，生成噪聲會在執行過程中不斷累積，導致誤差放大。
Imagine2Act的核心思路是讓機器人在動手前先“想象”任務完成時的場景，再將這個想象目標作為幾何先驗來引導動作學習。整個框架包含兩大模塊：
1. 語義幾何約束生成模塊：給定當前觀測和語言指令，系統先用圖像編輯模型生成一幅“任務已完成”的場景圖像，再通過分割和3D重建提取前景物體的點云，最后將前景點云與背景點云對齊拼接，得到一幅與真實場景幾何一致的“想象目標點云”。這一步相當于給機器人一張“正確答案”的草圖。
2. 物體-動作一致性學習模塊：從想象目標中計算出可移動物體從初始姿態到目標姿態所需的剛體變換，將其編碼為“變換Token”輸入動作生成網絡。同時設計了一個軟姿態一致性損失函數：僅在機器人手部運動與物體理想變換之間的偏差超過容忍閾值時才施加懲罰。這種雙重對齊機制既利用了物體運動的強信號，又容忍了生成模型帶來的小誤差。
上圖為 Imagine2Act 兩大核心模塊的詳細執行流程圖。
創新點一：“先想象、再動手”的新范式。不同于傳統方法直接從觀測映射到動作，Imagine2Act通過生成模型顯式構造出符合語義和幾何約束的“心理圖像”，讓機器人像人類一樣在腦中預演任務完成狀態，從而大幅提升動作規劃的準確性。
創新點二：物體-動作一致性建模。首次將物體的剛體變換與末端執行器軌跡進行顯式關聯，通過變換Token和軟損失函數建立起內在的幾何約束，使得策略在未見過的物體姿態或場景布局下仍能保持高精度操作能力。
創新點三：對生成噪聲的魯棒設計。軟姿態一致性損失避免了硬約束帶來的訓練不穩定，使得系統即便在使用不完美的生成模型時也能有效工作，更貼近真實應用場景。
實驗證明，在RLBench仿真環境的7個高難度任務上，Imagine2Act平均成功率達0.79，顯著優于基線模型；在真實Franka機器人上的6個日常操作任務中，平均成功率也達到0.68，遠超對比方法的0.43。這一工作為提升機器人的精細操作能力提供了全新思路。
雷峰網(公眾號：雷峰網)
上述內容包含AI輔助生成，更詳細信息參見兩個鏈接
論文鏈接：https://arxiv.org/abs/2509.17125
論文解讀：https://mp.weixin.qq.com/s/IudCZqnBIPFIXtqGwk6Q2Q
專題
