0
| 本文作者： 林軍 | 2026-05-02 10:29 |
近日，由浙江人形機(jī)器人創(chuàng)新中心聯(lián)合香港中文大學(xué)、浙江大學(xué)等多家高校與科研機(jī)構(gòu)共同完成的機(jī)器人空間智能研究 “A retrieval-augmented framework enabling VLM spatial awareness for object-centric robot manipulation”發(fā)表于國際頂級機(jī)器人學(xué)術(shù)期刊《Science Robotics》。該研究提出名為RAM（Retrieval-Augmented Manipulation）的三維空間理解與操作模型，為提升機(jī)器人在復(fù)雜長程任務(wù)中的操作可靠性提供了新的技術(shù)路徑。
技術(shù)背景：大模型時(shí)代，機(jī)器人的空間智能難題
以視覺語言大模型（VLM）為代表的 AI 技術(shù)正在提升機(jī)器人理解自然語言指令和分解復(fù)雜任務(wù)的能力。但從“聽懂指令”到“完成動作”之間，仍存在關(guān)鍵鴻溝：機(jī)器人需要在三維空間中理解物體的位置、朝向、尺度、可操作區(qū)域及相互關(guān)系，并將這些信息轉(zhuǎn)化為可執(zhí)行的運(yùn)動約束。
現(xiàn)有大模型多依賴二維圖文數(shù)據(jù)訓(xùn)練，缺乏直接的物理世界經(jīng)驗(yàn)，在推理物體位姿和空間關(guān)系時(shí)容易產(chǎn)生不符合物理規(guī)律的判斷。如何讓模型獲得可驗(yàn)證、可遷移的三維空間知識，并將高層語義規(guī)劃與底層物理執(zhí)行連接起來，是具身智能和機(jī)器人操作領(lǐng)域的重要問題。
研究成果：RAM框架，用“知識檢索”讓機(jī)器人讀懂三維世界
針對這一挑戰(zhàn)，RAM 借鑒檢索增強(qiáng)生成（RAG）的思想，為大模型配備可查詢的外部三維知識庫。機(jī)器人執(zhí)行任務(wù)時(shí)，模型可以按需檢索物體類別、幾何屬性、功能平面、抓取點(diǎn)等空間先驗(yàn)信息，從而彌補(bǔ)視覺語言模型自身三維空間理解不足的問題。與將知識隱含在模型參數(shù)中不同，RAM 的空間知識更加顯式、可解釋，也便于擴(kuò)展。
RAM框架整體流程示意圖
RAM 由三個(gè)模塊組成。首先是物體類別級知識引擎，研究團(tuán)隊(duì)為每類物體建立標(biāo)準(zhǔn)化三維模板，并標(biāo)注姿態(tài)、尺寸、對稱性、抓取點(diǎn)和功能平面等信息。實(shí)驗(yàn)顯示，這類模板可遷移到不同形狀、尺寸和紋理外觀的同類物體實(shí)例上，減少對每個(gè)具體物體逐一建模和標(biāo)注的依賴。
第二個(gè)模塊是三維視覺接地模型，負(fù)責(zé)把知識庫中的標(biāo)準(zhǔn)化先驗(yàn)遷移到真實(shí)場景中的具體物體上。該模型基于視覺基礎(chǔ)模型 DINO 構(gòu)建，結(jié)合二維圖像特征與三維點(diǎn)云信息，建立觀測物體與模板之間的對應(yīng)關(guān)系，從而獲得物體姿態(tài)、抓取方式和功能平面等信息。該模塊主要基于合成數(shù)據(jù)訓(xùn)練，并在真實(shí)場景實(shí)驗(yàn)中展現(xiàn)出對多種未見物體實(shí)例的泛化能力。
三維空間知識向真實(shí)場景物體的遷移示例
面向鉸接物體的三維空間知識遷移示例
第三個(gè)模塊是檢索增強(qiáng)任務(wù)規(guī)劃器。它將接地后的空間信息以結(jié)構(gòu)化文本形式注入大模型上下文，使大模型在分解復(fù)雜指令時(shí)能夠生成帶有明確空間約束的操作步驟。例如，對于“把碗放在盤子上”，系統(tǒng)會將“底面與頂面平行對齊”“中心點(diǎn)在水平方向?qū)R”等約束納入規(guī)劃，再轉(zhuǎn)化為機(jī)器人的運(yùn)動軌跡。
實(shí)機(jī)驗(yàn)證：從指令執(zhí)行到自主決策，檢驗(yàn)空間智能
為檢驗(yàn) RAM的空間智能水平，研究團(tuán)隊(duì)在真實(shí)機(jī)器人平臺上設(shè)計(jì)了三個(gè)層次遞進(jìn)的系統(tǒng)實(shí)驗(yàn)，涵蓋 14 項(xiàng)空間操作任務(wù)、31 個(gè)物體實(shí)例和 11 個(gè)物體類別。
第一類實(shí)驗(yàn)面向語言指令驅(qū)動的空間操作，包括單物體單步、多物體單步和多物體多步任務(wù)，測試機(jī)器人對位置、朝向、空間關(guān)系和長程規(guī)劃的理解能力。在總計(jì) 120 次重復(fù)測試中，RAM 取得 89.17% 的平均成功率。
空間語言指令驅(qū)動的機(jī)器人操作結(jié)果評估
第二類實(shí)驗(yàn)面向圖像引導(dǎo)的空間操作。以看圖擺放餐具為例，機(jī)器人需要從二維參考圖中推理物體的三維相對位置和朝向，并映射到當(dāng)前工作空間中順序執(zhí)行。在多種參考圖和隨機(jī)初始位置測試中，RAM 取得 92.00% 的平均成功率。
圖像引導(dǎo)的機(jī)器人操作任務(wù)示例
第三類實(shí)驗(yàn)面向基于空間推理的自主決策。研究團(tuán)隊(duì)通過改變臺面高度和物品尺寸構(gòu)造約束場景，檢驗(yàn)系統(tǒng)能否根據(jù)物理?xiàng)l件選擇合適策略。當(dāng)直接操作受限時(shí)，RAM 能規(guī)劃借助中間工具的間接操作方案，體現(xiàn)了其對空間約束的自適應(yīng)規(guī)劃能力。
基于空間約束的自適應(yīng)任務(wù)決策
此外，團(tuán)隊(duì)構(gòu)建了面向機(jī)器人操作場景的空間理解問答評測集，從相對位置、旋轉(zhuǎn)方向、操作可行性、任務(wù)規(guī)劃和尺寸估計(jì)等維度評估模型的空間認(rèn)知能力。結(jié)果顯示，在該評測集覆蓋的多類空間推理任務(wù)中，RAM 整體表現(xiàn)優(yōu)于多種代表性視覺語言大模型。
機(jī)器人空間理解問答評測
除核心任務(wù)外，RAM 還展現(xiàn)出一定通用性與擴(kuò)展性。在模型層面，它可適配 GPT、Claude 和 Qwen-VL 等主流大模型；在操作對象上，從剛體擴(kuò)展到鉸接物體和可變形物體；在硬件平臺方面，也已在包括配備五指靈巧手的人形機(jī)器人等多個(gè)平臺上完成驗(yàn)證。
算法賦能平臺，為人形機(jī)器人注入空間智能
人形機(jī)器人要走向真實(shí)應(yīng)用場景，不僅需要硬件本體、靈巧手和運(yùn)動控制能力，也需要理解三維環(huán)境、判斷物理約束并規(guī)劃可執(zhí)行動作的算法能力。RAM 所展示的空間智能路徑，與浙江人形機(jī)器人創(chuàng)新中心長期關(guān)注的人形機(jī)器人平臺建設(shè)、靈巧操作和具身智能方向高度相關(guān)。
目前，中心圍繞關(guān)節(jié)模組、執(zhí)行器、整機(jī)系統(tǒng)、五指靈巧手和運(yùn)動控制系統(tǒng)等方向開展研發(fā)，同時(shí)在視覺感知、三維重建、運(yùn)動規(guī)劃、軌跡優(yōu)化和大模型驅(qū)動的具身智能算法方面持續(xù)布局，為前沿算法的部署、測試和工程驗(yàn)證提供平臺基礎(chǔ)。
產(chǎn)業(yè)布局：從前沿技術(shù)到多元場景落地
空間智能技術(shù)的研究也為人形機(jī)器人未來走向復(fù)雜應(yīng)用場景提供了支撐。圍繞平臺建設(shè)與場景需求，浙江人形機(jī)器人創(chuàng)新中心正持續(xù)關(guān)注三維感知、任務(wù)規(guī)劃、靈巧操作和具身智能等關(guān)鍵能力的融合發(fā)展，推動相關(guān)技術(shù)在工業(yè)制造、家庭服務(wù)、智能康養(yǎng)等場景中的探索驗(yàn)證與逐步落地。
面向智能康養(yǎng)等更具挑戰(zhàn)性的場景，機(jī)器人需要在與人近距離交互的環(huán)境下完成物品遞送、生活輔助等任務(wù)，對空間感知準(zhǔn)確性與操作安全性提出更高要求。中心已在深圳成立邇伴智能機(jī)器人有限公司，聚焦面向養(yǎng)老康養(yǎng)場景的人形機(jī)器人產(chǎn)品與解決方案研發(fā)。
未來，浙江人形機(jī)器人創(chuàng)新中心將繼續(xù)推動前沿研究與工程實(shí)踐之間的銜接，圍繞機(jī)器人空間認(rèn)知、長程任務(wù)規(guī)劃和自主決策等方向開展探索，助力人形機(jī)器人在更復(fù)雜、更真實(shí)的環(huán)境中實(shí)現(xiàn)可靠操作與智能協(xié)作。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)雷峰網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
