CVPR'26開源 | Adobe新作DAGE：高效細(xì)粒度的深度估計(jì)+姿態(tài)估計(jì)，三維重建新SOTA！

來源：公眾號“3DCV”

原文鏈接：https://mp.weixin.qq.com/s/eSYRI16zVA-noIU16-W-Tw?scene=1&click_id=156

論文信息

標(biāo)題：DAGE: Dual-Stream Architecture for Efficient and Fine-Grained Geometry Estimation

作者：Tuan Duc Ngo, Jiahui Huang, Seoung Wug Oh, Kevin Blackburn-Matzen, Evangelos Kalogerakis, Chuang Gan, Joon-Young Lee

機(jī)構(gòu)：UMass Amherst 2Adobe Research 3TU Crete

原文鏈接：https://arxiv.org/abs/2603.03744

代碼鏈接：https://ngoductuanlhp.github.io/dage-site/

導(dǎo)讀

從未經(jīng)校準(zhǔn)的多視圖/視頻輸入中精確估計(jì)出與視圖一致的幾何結(jié)構(gòu)和相機(jī)姿態(tài)仍然具有挑戰(zhàn)性——尤其是在高空間分辨率和長序列情況下。我們提出了DAGE，這是一種雙流Transformer模型，其創(chuàng)新之處在于能夠?qū)⑷忠恢滦耘c細(xì)節(jié)信息分離處理。低分辨率流對大幅降采樣的幀進(jìn)行處理，通過交替使用幀級和全局注意力機(jī)制來構(gòu)建與視圖一致的表示，并高效估計(jì)相機(jī)參數(shù)；而高分辨率流則對原始圖像進(jìn)行逐幀處理，以保留清晰的邊界和小結(jié)構(gòu)。一個(gè)輕量級的適配器通過交叉注意力將這兩條流融合在一起，從而在不干擾預(yù)訓(xùn)練的單幀處理路徑的情況下引入全局上下文信息。該設(shè)計(jì)能夠獨(dú)立調(diào)節(jié)分辨率和片段長度，支持最高2K的輸入格式，并保持合理的推理成本。DAGE能夠生成清晰的深度/點(diǎn)云圖、強(qiáng)大的跨視圖一致性以及精確的姿態(tài)信息，為視頻幾何結(jié)構(gòu)和多視圖重建領(lǐng)域帶來了新的最佳成果。

效果展示

DAGE能夠生成高分辨率、精細(xì)粒度、度量級和跨視角一致的3D幾何模型，同時(shí)還能根據(jù)視覺輸入獲取準(zhǔn)確的相機(jī)姿態(tài)。其運(yùn)行速度顯著快于先前的模型，并可處理長序列數(shù)據(jù)(最多可達(dá)1000幀)。

引言

從多視角圖像估計(jì)3D幾何和相機(jī)位姿是計(jì)算機(jī)視覺中的一個(gè)基本問題。我們針對的是具有挑戰(zhàn)性的場景：未標(biāo)定的、高分辨率輸入，可能包含數(shù)千幀。這項(xiàng)任務(wù)尤其困難，因?yàn)槟Ｐ捅仨毻瑫r(shí)(i)強(qiáng)制跨視圖的全局一致性，(ii)在高分辨率下保留精細(xì)細(xì)節(jié)，以及(iii)在長序列中保持運(yùn)行時(shí)和內(nèi)存的可行性。

一方面，前饋視覺幾何網(wǎng)絡(luò)在全局一致的多視圖幾何估計(jì)方面取得了顯著進(jìn)展，在包括視頻深度估計(jì)、3D重建和相機(jī)位姿預(yù)測在內(nèi)的各種基準(zhǔn)測試上樹立了新的最先進(jìn)結(jié)果。然而，它們通常沉重的網(wǎng)絡(luò)架構(gòu)限制了訓(xùn)練和推理只能在適中的圖像分辨率（例如長邊≤518像素）和少量輸入視圖下進(jìn)行，導(dǎo)致細(xì)薄結(jié)構(gòu)模糊和物體邊界不清晰。一些工作采用了訓(xùn)練后加速策略來降低計(jì)算成本并在推理期間支持更多視圖，但它們并未解決高頻細(xì)節(jié)的丟失或邊緣和小物體附近表面過度平滑的傾向。

另一方面，單視圖幾何估計(jì)器能夠靈活地在高分辨率下運(yùn)行，并從單張圖像生成清晰、細(xì)節(jié)豐富的深度/點(diǎn)圖，但它們設(shè)計(jì)上缺乏時(shí)間一致性和多視圖一致性。試圖調(diào)整這些模型以處理視頻的工作引入了繁重的流程，并且通常無法恢復(fù)準(zhǔn)確的相機(jī)位姿。因此，它們無法直接從前饋預(yù)測中組裝出全局一致的3D場景幾何。

基于這一觀察，我們提出了DAGE，一種滿足上述標(biāo)準(zhǔn)的、用于高效且精細(xì)幾何估計(jì)的雙流架構(gòu)。它包含兩個(gè)并行流和一個(gè)輕量級融合適配器。低分辨率流專注于提取全局一致的特征并預(yù)測相機(jī)位姿。它由一個(gè)ViT主干網(wǎng)絡(luò)和一個(gè)帶有交替幀-全局注意力的全局Transformer組成，后者以較低的空間分辨率處理整個(gè)序列。盡管全局Transformer計(jì)算密集，但在低分辨率下運(yùn)行使其保持可行性，同時(shí)保留全局上下文。高分辨率流旨在捕捉高頻細(xì)節(jié)和精細(xì)特征。它采用ViT，以原始分辨率獨(dú)立處理每張圖像。最后，我們提出的輕量級適配器在密集頭之前同步并融合低分辨率和高分辨率標(biāo)記，生成既全局一致又細(xì)節(jié)豐富的幾何。

這種解耦設(shè)計(jì)帶來了兩個(gè)關(guān)鍵優(yōu)勢。首先，它實(shí)現(xiàn)了全局一致性和可行性。通過將計(jì)算量大的全局注意力限制在低分辨率流中，我們緩解了全局Transformer的二次縮放瓶頸。這顯著減少了運(yùn)行時(shí)，在540p和2K分辨率下分別減少了2倍和28倍，使我們的模型能夠處理數(shù)千幀。其次，它保留了高保真細(xì)節(jié)。高分辨率流逐幀操作，使其能夠擴(kuò)展到任何分辨率（例如，高達(dá)2K），并利用最先進(jìn)的單圖像模型的先驗(yàn)知識，以獲得清晰的細(xì)節(jié)和強(qiáng)大的現(xiàn)實(shí)世界泛化能力。與將圖像分辨率與序列長度耦合的標(biāo)準(zhǔn)流程相比，DAGE將兩者解耦，從而能夠在可行的運(yùn)行時(shí)間內(nèi)獨(dú)立控制空間細(xì)節(jié)和多視圖一致性。

主要貢獻(xiàn)

我們通過大量實(shí)驗(yàn)驗(yàn)證了我們的方法和設(shè)計(jì)選擇。DAGE在視頻幾何和深度清晰度基準(zhǔn)上取得了最先進(jìn)的性能，在3D重建和相機(jī)位姿估計(jì)方面也具有競爭力，同時(shí)提供了更高的吞吐量和更低的GPU內(nèi)存占用。總之，我們的技術(shù)貢獻(xiàn)有兩方面：

• 一種雙流Transformer，它將逐幀高分辨率細(xì)節(jié)路徑與多視圖低分辨率全局注意力路徑相結(jié)合。

• 一種輕量級適配器，融合兩個(gè)流以生成清晰且全局一致的幾何。

方法

給定一組無位姿的RGB圖像，模型預(yù)測每幀的點(diǎn)圖和相機(jī)位姿，以及場景度量尺度。該架構(gòu)有兩個(gè)并行流：(i)低分辨率流（下部）處理下采樣輸入以聚合全局上下文并回歸位姿/場景尺度；(ii)高分辨率流（上部）以原始分辨率獨(dú)立處理幀以保留精細(xì)細(xì)節(jié)。一個(gè)輕量級適配器在密集幾何頭之前融合低分辨率和高分辨率標(biāo)記。

實(shí)驗(yàn)結(jié)果

遵循先前工作，我們在稀疏和密集設(shè)置下，在7-Scenes和NRGBD數(shù)據(jù)集上評估重建的多視點(diǎn)圖。首先通過Umeyama Sim(3)將預(yù)測與真值對齊，然后使用ICP細(xì)化。我們在表3中報(bào)告精度Acc.↓、完整度Comp.↓和法向一致性NC↑。比較對象包括最近的前饋視覺幾何方法。我們還通過剛性變換SE(3)對齊來評估度量尺度重建，并與度量點(diǎn)圖方法進(jìn)行比較。在稀疏和密集設(shè)置中，DAGE達(dá)到了與最先進(jìn)方法相當(dāng)?shù)男阅埽瑫r(shí)恢復(fù)了度量精確的幾何。圖5顯示我們的模型生成了全局一致的點(diǎn)圖，同時(shí)保留了精細(xì)細(xì)節(jié)。

我們在合成的Sintel數(shù)據(jù)集和兩個(gè)真實(shí)世界數(shù)據(jù)集TUM-Dynamics和ScanNet上進(jìn)行評估。我們報(bào)告絕對軌跡誤差(ATE)以及平移/旋轉(zhuǎn)的相對位姿誤差(RPET/RPER)。預(yù)測的相機(jī)軌跡通過Sim(3)對齊與真值配準(zhǔn)。我們在表4中總結(jié)了性能。值得注意的是，我們在低分辨率流中使用252像素（長邊）來高效估計(jì)位姿。競爭方法通常需要518像素才能獲得準(zhǔn)確的預(yù)測。盡管使用較低分辨率輸入，DAGE在高分辨率設(shè)置下與它們的性能相當(dāng)，并且在相同的低分辨率設(shè)置下評估時(shí)表現(xiàn)更優(yōu)。

總結(jié) & 未來工作

我們介紹了DAGE，一種雙流視覺幾何Transformer。低分辨率流高效估計(jì)相機(jī)并強(qiáng)制執(zhí)行跨視圖一致性，而高分辨率流保留清晰細(xì)節(jié)；輕量級適配器融合它們。這將分辨率與序列長度解耦，以實(shí)用成本支持2K輸入和長視頻。實(shí)驗(yàn)證明，DAGE生成更清晰的點(diǎn)圖，并優(yōu)于先前的視頻幾何方法。它在運(yùn)行速度顯著更快的同時(shí)，匹配了最先進(jìn)模型的3D重建和位姿精度。局限性：在極低重疊或快速非剛性運(yùn)動下性能可能下降；高分辨率流在極高分辨率下內(nèi)存密集；當(dāng)前方法無法恢復(fù)動態(tài)運(yùn)動。