0
| 本文作者： 鄭佳美 | 2026-04-22 15:14 | 專題：CVPR 計算機視覺與模式識別會議 |
很多人其實已經在不知不覺中接觸到了多智能體協作帶來的變化。
電商大促時，倉庫里往往不是一臺機器人在工作，而是一整組機器人同時分揀、運輸、避讓和交接。自動駕駛真正困難的地方，也不只是讓一輛車學會開，而是讓很多輛車在同一條路上彼此配合。現實中的很多復雜任務，本質上都不是單個智能體可以獨立完成的，智能系統也是一樣。
但現實世界并不會給這些系統太多試錯機會。倉庫機器人撞一次貨架，工業機械臂裝錯一次零件，代價都是真實的。也正因為如此，越來越多研究開始轉向離線強化學習，也就是先利用已有數據訓練策略，而不是依賴實時試錯。
可一旦從單智能體走向多智能體，難度會迅速上升，因為系統不僅要學會做決策，還要在反饋有限的條件下學會協作。
這正是當前行業里的一個現實瓶頸。很多方法在實驗環境里效果不錯，但到了離線多智能體場景中，往往很快暴露出問題。
一方面，真實任務里的獎勵通常非常稀疏，模型很難知道自己到底哪一步做對了。另一方面，多智能體協作還會帶來責任分配問題，也就是最后成功了，卻很難判斷到底是哪一個智能體起了關鍵作用。結果就是，系統明明有大量歷史數據，卻依然學不會穩定協作，更談不上面對新任務時的泛化能力。
在這樣的背景下，來自中山大學的郭裕蘭團隊提出了 MangoBench，并在研究《MangoBench A Benchmark for Multi-Agent Goal-Conditioned Offline Reinforcement Learning》中，嘗試重新回答一個關鍵問題，也就是當多個智能體不能隨便試錯時，怎樣才能真正學會協作。
研究團隊沒有繼續依賴傳統獎勵驅動，而是把問題改寫成目標驅動，讓模型圍繞應該到達什么狀態去學習，從而為離線多智能體強化學習提供了一條更清晰的研究路徑。
論文地址：https://wendyeewang.github.io/MangoBench/
在難度適中的導航任務里，不同方法的表現差距已經很明顯了。中山大學團隊提出的 IHIQL 的成功率能達到 80% 到 95%，說明它大多數時候都能把任務完成好。相比之下，ICRL 只有 40% 到 60%，GCMBC 只有 20% 到 40%，而 GCOMIGA 和 GCOMAR 基本接近 0%，幾乎等于沒學會。
換句話說，同樣是面對離線數據，有的方法已經能比較穩定地找到路，有的方法卻連基本方向都抓不住。這說明在獎勵很少、反饋很弱的情況下，傳統的離線多智能體方法其實很容易失靈，而分層強化學習方法更容易學出效果。
當任務再變難一點，這種差距會被進一步放大。所有方法的表現都會下降，但下降的程度并不一樣。IHIQL 雖然也會掉到 30% 到 40%，但至少還保留了一部分完成任務的能力。
ICRL 和 GCMBC 會掉到 10% 到 20% 左右，其他方法則幾乎完全不行了。可以把它理解成，一開始大家都在考試，題目簡單的時候還能看出誰強誰弱，題目一難，很多方法就直接交白卷了，只有少數方法還能繼續答題。IHIQL 的優勢，正體現在它遇到更復雜的環境時沒有一下子垮掉。
研究人員還專門看了另一件事，也就是把一個任務交給多個智能體時，具體怎么分工會不會影響結果。比如有的設置是每個智能體負責 4 個部分，有的是每個智能體只負責 2 個部分。
結果發現，不管是 2×4 還是 4×2，IHIQL 在中等難度任務里都能穩定在約 90% 左右。這個結果可以理解成，它不是只會適應某一種固定分工，而是更像抓住了任務本身該怎么完成，所以換一種分工方式，它照樣能做得不錯。
到了機械臂任務，這種差別就更容易看出來了。在同步協作的抬欄桿任務里，IHIQL 的成功率在 80% 以上，GCMBC 大約 60%，ICRL 大約 50%，模仿學習方法大約 40%。如果把這些方法想成幾組不同水平的工人，那么 IHIQL 這一組不但完成任務的概率更高，而且訓練時間只有模仿學習方法的約 5%。
這說明它不只是做得更好，而且學得更快，效率也更高。通俗一點說，就是它不但更會做事，而且更快進入狀態。
到了更復雜的異步協作任務，情況就不一樣了，原本領先的方法不一定還能繼續領先。以放置食物這個任務為例，這類任務不是大家一起同時發力，而是要一個智能體先完成前面的動作，另一個再接著往下做，所以更考驗先后配合。
在這種情況下，ICRL 的表現最好，成功率大約在 30% 到 40% 之間，明顯高于 IHIQL 和 GCMBC，模仿學習方法甚至不到 10%。這說明當任務強調步驟之間的銜接時，對比學習方法更容易學到這種順序關系。更重要的是，它不僅做得更好，訓練時間還比模仿學習少了約 93%，也就是說，它不只是更會學，而且學得還更快。
多目標和單目標的對比，則說明了另一件很容易被忽視的事，那就是測試方式本身也會影響我們對模型的判斷。如果只用一個目標去測試，同一個任務里，IHIQL 是 78%，GCMBC 是 22%，ICRL 是 37%。但換成多目標評估后，它們分別提升到 82%、47% 和 56%。
這意味著很多方法其實并沒有我們原來想的那么差，只是單目標測試把它們的能力看窄了。換句話說，這些方法學到的并不只是某一個固定動作，而是面對不同目標時，仍然能夠做出調整的能力，也就是更接近真正的泛化。
在訓練方式的對比里，研究人員發現，并不是拿到更多全局信息，效果就一定更好。分布式方法 IHIQL 在中等任務里成功率大約是 95%，任務規模變大后還有大約 85%，到了超大規模任務也還能保持在 50% 左右。
相比之下，集中訓練方法 HIQL-CTDE 在中等任務里還有大約 70%，但任務一變復雜，很快就掉到 44%，再往上甚至只剩下 1%，幾乎等于學不動了。
這個結果可以理解成，分布式方法更像是把問題拆開來，各個智能體先管好自己那一部分，所以任務變難時還能穩住。集中訓練方法看起來掌握的信息更多，但也正因為要同時處理太多全局信息，任務一復雜就容易顧不過來，最后訓練變得越來越不穩定。
也就是說，在多智能體任務里，信息更多不一定更占優勢，關鍵還是系統能不能把復雜問題處理得足夠清楚。
把所有實驗結果放在一起看，其實能得出幾個很清楚的判斷。首先，很多方法之所以一到復雜任務就失效，最根本的原因不是模型太弱，而是獎勵信號太少。
因為在稀疏獎勵條件下，系統大部分時候都得不到明確反饋，很難知道自己到底哪一步做對了，所以訓練很容易陷入混亂。一旦把獎勵變得更密集，性能就會明顯恢復，這說明問題的關鍵不在模型本身，而在學習信號不夠。
其次，目前表現最穩的還是分層方法。以 IHIQL 為代表的方法之所以更有效，是因為它不是讓模型一次性去解決整個復雜任務，而是把大任務拆成多個更小的步驟來學。
這樣做的好處是，模型更容易在中間過程里得到反饋，也更不容易在任務變復雜時一下子崩掉。所以從實驗結果來看，分層策略更像是一種讓系統先學會一步一步完成任務的方法，而不是一上來就要求它掌握全部。
最后，這項研究還說明了多智能體系統最難的地方，其實不只是學會做動作，而是學會彼此配合。在簡單任務里，多智能體有時還能比單智能體做得更好，因為大家分工之后效率更高。
但一旦任務變復雜，需要更精細的協作和銜接時，問題就會立刻暴露出來。也就是說，真正卡住多智能體系統的，不只是學習能力，而是協同能力，這也是為什么協作會成為整個系統進一步提升表現的最大瓶頸。
在實驗設計上，研究團隊先做了一件很關鍵的事，就是把原本的離線數據重新整理了一遍。原始數據里只有狀態和動作，記錄的是系統當時看到了什么、做了什么。
研究人員在這個基礎上又加進了目標和獎勵，也就是把原來的數據改造成了狀態、動作、目標、獎勵這樣的形式。具體來說，他們會從已有軌跡里隨機挑出一個狀態當作目標，再去判斷當前行為有沒有朝這個目標靠近，然后自動生成對應的獎勵。
這樣一來，同一批歷史數據就不再只能拿來學一個任務，而是可以圍繞不同目標反復使用，相當于把原有數據的價值放大了。
這樣做的意義在于，它把原來的學習方式換了一種思路。傳統強化學習更像是讓模型一邊做一邊等反饋，問題是這種反饋往往很少，很多時候模型根本不知道自己到底做得對不對。
加入目標之后，情況就不一樣了。模型不再只是被動等獎勵，而是會一直圍繞一個明確目標去行動，判斷自己是不是在一步步接近它。換句話說，原本那種模糊又稀少的反饋，被變成了更直接、更容易理解的學習信號，所以模型更容易學出有效策略。
為了讓結果更可靠，研究團隊在實驗設置上也做得比較嚴謹。運動任務一共訓練了 100 萬步，測試時還會換 5 個不同目標，并用 5 個隨機種子反復驗證，也就是不只看一次結果，而是看它在不同條件下是不是都能穩定表現。
操作任務也一樣，訓練步數分別是 1.5 萬和 3.88 萬，測試時還用了 100 個隨機種子。這樣做的目的很明確，就是盡量避免某一次訓練碰巧表現好，確保最后看到的結果是穩定的，而不是偶然的。
在任務安排上，研究人員也不是隨便選幾個場景，而是故意把難度一點點往上加。運動任務從較簡單的迷宮開始，逐漸增加到更復雜的迷宮，最后再加入隨機傳送這樣的高難度設置。
操作任務則從需要同時配合的同步任務，發展到需要講究先后順序的異步任務。這樣設計，其實是想更系統地觀察模型在不同復雜度下的表現，不只是看它能不能完成任務，更想看它在任務越來越難時，是否還具備泛化能力、長期規劃能力和協作能力。雷峰網
換句話說，研究團隊想測試的不是模型會不會做一道題，而是題目一旦變難，它還能不能繼續做下去。
研究人員還專門分析了，為什么 CTDE 這種看上去信息更多的方法，最后反而表現不好。按直覺來說，既然它在訓練時能看到更多全局信息，效果似乎應該更好，但問題恰恰也出在這里。
因為它看到的東西太多了，全局狀態本質上就是把所有智能體的狀態都拼在一起，這會讓問題一下子變得非常大、非常復雜，模型需要同時處理的內容也會迅速增加。
除此之外，CTDE 在訓練時和執行時其實并不是完全一致的。訓練階段，模型會利用全局信息來學習；但真正做決策時，每個智能體又只能根據自己的局部信息行動。這樣一來，就會出現一種情況：訓練時學到的東西，到了實際執行時不一定能順利用上，這會讓優化過程變得更困難。
還有一個更隱蔽的問題在于目標本身。CTDE 一方面要處理整體任務的全局目標，另一方面又要讓每個智能體根據自己的局部目標去行動。這樣就容易出現兩套目標之間對不上的情況，也就是模型的一部分在學整體方向，另一部分卻在學局部細節，最后很難配合到一起。
所以，CTDE 的問題并不是信息不夠，而是信息太多、結構太復雜，最后讓訓練變得不穩定。表面上看，它像是在幫模型看到更完整的全局；但實際上，正是這種額外的復雜性，讓它在任務一變難時更容易失效。
從實驗意義來看，研究團隊最重要的貢獻，不只是提出了一套新方法，而是更清楚地揭示了 Offline MARL 為什么一直很難真正做好。
研究結果說明，問題的核心并不只是模型能力強不強，而是在訓練過程中存在兩個更根本的障礙。第一個障礙是學習信號太弱，因為 reward 很稀疏，模型在大多數時候得不到明確反饋，Q- function 很難穩定收斂，所以很多方法即使訓練很久，效果仍然很差。
第二個障礙是責任分配問題，也就是在多智能體協作中，很難判斷到底是哪一個 agent 對最后的成功起了關鍵作用。一旦這個貢獻關系分不清，梯度更新就容易出錯，最后就會出現協作失敗。研究的價值就在于，它把多智能體離線強化學習最深層的困難點明確指出來了。
研究團隊還說明了 goal-conditioned 真正有效的原因。它的作用并不只是給模型多加一個目標輸入，而是改變了整個學習方式。原來模型主要依賴 reward 來判斷行為好壞，這種信號很少，也不穩定。
加入目標之后，每個 state 都能和某個 goal 聯系起來，學習信號就明顯變多了，模型也更容易知道自己應該往什么方向調整。
這樣一來，強化學習就不再只是盲目地追逐獎勵，而更像是在學習如何從當前位置到達目標位置。這種形式比單純依賴 reward 更穩定，也更容易訓練。
更重要的是，同一個模型可以面對不同目標完成不同任務，這說明模型學到的不是死記硬背的固定動作，而是具有一定泛化能力的行為策略。
研究人員進一步說明了為什么分層方法會更有效。原因在于，分層方法同時解決了兩個難題。一方面，它通過設置中間目標緩解了稀疏獎勵問題，讓模型在任務還沒有最終完成之前，就已經能得到階段性的反饋。
另一方面，它把原本很長、很復雜的任務拆成多個更短、更容易處理的小任務，從而減輕了長時間依賴帶來的學習難度。換句話說，分層方法之所以有效，本質上是因為它把一個很難直接學會的大問題，拆成了多個更容易逐步解決的小問題。雷峰網(公眾號：雷峰網)
這一點對于多智能體任務尤其重要，因為多智能體系統本來就比單智能體更難協調，如果沒有這種結構化拆分，訓練會更加不穩定。
這項研究對普通人的影響也很實際。現實生活中很多場景并不允許系統反復試錯，比如自動駕駛、倉儲物流、工廠機械臂、醫院輔助機器人等。這些系統一旦出錯，代價往往很高，所以很多時候只能依賴已經收集好的歷史數據進行訓練，也就是離線學習。
研究團隊所做的工作，本質上是在探索怎樣讓多個智能體在不能隨便試錯的情況下，依然學會穩定協作。這個方向如果繼續發展，未來普通人可能會直接受益于更安全的自動駕駛系統、更高效的物流配送機器人、更穩定的工業自動化設備，以及更可靠的醫療和家庭輔助機器人。
汪怡，中山大學在讀一年級博士生，主要研究方向為三維視覺和強化學習，師從郭裕蘭教授，于深圳河套學院實習，完成此論文時期在中山大學讀本科。在 CVPR 等 CCF A 類會議發表多篇論文，參與中國圖學學會“奮發圖強”博士生 workshop，參與 China3DV 墻報展示，曾獲中山大學研究生校長獎學金等。
鐘檸澤，完成此論文時期在中山大學讀本科，與郭裕蘭教授合作，主要研究方向為機器人，三維視覺和強化學習。在 CVPR/ICLR/ACM MM 等 CCF A 類會議等發表論文，CVPR/NeurIPS/ECCV 審稿人，論文在China3DV/ChinaGraph 大會等展示，現在美國賓夕法尼亞大學 GRASP Lab 讀研究生，與 Vijay Kumar 院長合作。
符智恒，西澳大學博士，香港理工大學博士后，主要研究方向為三維重建與生成。發表論文共 20 余篇（包括CVPR、ICCV、TIP、ECCV、IJCAI等），英文著作一部 Point Cloud Intelligence 。
王龍光，中山大學博士后，主要研究方向為底層視覺和三維視覺。以第一作者身份發表 CCF A 類論文共 11 篇，谷歌學術總引用數為 7100 余次。入選中國科協青年人才托舉工程，連續三年入選全球前 2% 頂尖科學家榜單；主持國家及省部級項目 9 項。
張曄，中山大學副研究員，主要研究方向為空間智能與三維視覺。發表學術論文 30 余篇，主持國家級和省部級項目3項，曾擔任首屆中國空間智能大會本地主席。
郭裕蘭，中山大學教授，主要研究空間智能與三維視覺。主持國家自然科學基金聯合重點項目等 10 余項，發表學術論文 200 余篇，谷歌學術引用 2 萬余次，入選Clarivate全球高被引科學家。擔任中國圖象圖形學學會三維視覺專委會副主任，IEEE TIP 高級領域編輯（SAE）。曾擔任首屆中國空間智能大會主席，歷屆中國三維視覺大會組委會主席。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
本專題其他文章
