SpatialStack——分層幾何-語言融合的3D視覺語言空間推理 | CVPR 2026

本文作者：陳淑瑜

2026-04-24 17:45

導(dǎo)語：提出了 SpatialStack 分層融合框架，通過在模型全層級同步對齊視覺特征、3D幾何特征與語言特征，構(gòu)建真正的幾何-語言統(tǒng)一理解能力，為下一代具身物理AI

一、研究背景

大型視覺語言模型（VLM）雖然在2D圖像理解和語言推理上表現(xiàn)優(yōu)異，但在3D空間推理能力上存在明顯短板——它們往往難以準確理解物體的相對位置關(guān)系、深度信息及3D幾何結(jié)構(gòu)，直接制約了其在機器人、自動駕駛等具身智能場景中的應(yīng)用。

現(xiàn)有多模態(tài)融合方法主要存在兩大問題：一是淺層融合（Early Fusion）僅在模型輸入或早期階段融合視覺與語言，難以在高層建立細粒度的幾何-語義關(guān)聯(lián)；二是后期融合（Late Fusion）各模態(tài)獨立編碼，僅在輸出層匯合，無法實現(xiàn)各層級的幾何約束傳導(dǎo)。這兩種范式都難以捕獲精細3D幾何結(jié)構(gòu)與全局語義之間的深層關(guān)聯(lián)。

為解決上述問題，SpatialStack研究團隊提出了 SpatialStack 分層融合框架，通過在模型全層級同步對齊視覺特征、3D幾何特征與語言特征，構(gòu)建真正的幾何-語言統(tǒng)一理解能力，為下一代具身物理AI系統(tǒng)奠定技術(shù)基礎(chǔ)。

SpatialStack——分層幾何-語言融合的3D視覺語言空間推理 | CVPR 2026

二、核心方法

SpatialStack 的核心思想是將多尺度3D幾何特征與視覺、語言特征在模型各層同步對齊融合，替代傳統(tǒng)的淺層或后期單點融合。

架構(gòu)設(shè)計：

模型包含三條編碼主干——視覺編碼器提取2D視覺特征，3D幾何編碼器提取多尺度幾何特征（包含不同粒度的點云/體素特征），語言模型主干負責語義表征。三條主干的特征不是在某一點匯合，而是通過全層級漸進對齊模塊在每一層同步交互融合。

全層級漸進對齊：

在語言模型的每一個 Transformer 層，SpatialStack 引入跨模態(tài)對齊注意力機制，使當前層的語言特征與對應(yīng)尺度的視覺特征、3D幾何特征進行雙向交叉注意力計算。每一層的語言表征都被相應(yīng)尺度的幾何約束所引導(dǎo)，實現(xiàn)從粗粒度到細粒度的漸進空間語義對齊。