0
| 本文作者： 陳淑瑜 | 2026-05-25 15:39 | 專題：ICRA 國際機器人與自動化會議 |
原文鏈接：https://mp.weixin.qq.com/s/k-C_8ZHWktTRGa3kaq0Lcw
大語言模型驅動的代碼生成技術，正在深刻重塑機器人控制軟件的開發范式。曾經高度依賴人工的繁瑣編程，如今只需簡單的自然語言指令即可完成，開發效率實現了巨大的躍升。
然而，當我們將這項技術推向真實工業生產線時，一個關鍵問題凸顯出來：面對工業場景對程序錯誤零容忍的嚴苛要求，現有大模型真的能克服幻覺，勝任復雜的多機器人協作任務嗎？
在真實的工業車間中，制造任務往往具有極其嚴格的時序依賴和資源沖突限制。對于規劃與代碼生成系統而言，若僅依賴大模型純粹的「黑盒」推理，極易產生邏輯幻覺，生成的規劃和代碼往往看似合理，卻在底層執行時因為資源搶占或前置條件不滿足等原因導致整個產線停滯。為了解決這一痛點，由深圳大學視比特機器人、卡爾頓大學與中科院工業人工智能研究所組成的聯合研究團隊提出了一種全新的框架——IMR-LLM。該方法首次將大模型的泛化理解能力與工業運籌學中的確定性算法融合，為工業多機器人任務規劃與執行程序生成提供了系統性的解決方案，相關成果已被ICRA 2026接收。
圖1: IMR-LLM 框架概覽
論文標題：
IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models
論文鏈接：
https://arxiv.org/pdf/2603.02669
項目主頁：
https://xiangyusu611.github.io/imr-llm/
代碼鏈接：
https://github.com/XiangyuSu611/IMR-LLM-Code
現有范式的瓶頸：跨不過的物理與邏輯雙重「硬約束」
在工業多機器人協作任務中，系統通常需要回答兩個核心問題：“由哪臺機器人在什么時間完成任務的哪一部分？”以及“具體該怎么做？”。這兩個核心問題對應了算法的兩項核心能力：高層任務規劃和底層執行程序生成。
當前主流的基于大模型的方法通常試圖讓 LLM 直接輸出規劃結果和執行代碼。研究團隊發現，這種方法在面對復雜的工業約束時存在雙重瓶頸：
復雜依賴與資源互斥導致的“邏輯崩盤”：工業制造不僅有著極其嚴格的工序時序依賴，還存在無法逾越的互斥約束（例如多臺機器人競爭獨占同一個加工機器）。面對這種復雜的資源搶占，純靠大模型的“黑盒”推理極易產生邏輯幻覺，給出的調度規劃往往看似合理，實則會引發死鎖與產線停滯。
“照貓畫虎”導致代碼難落地：在底層執行程序的生成上，現有方法多依賴少樣本提示。這種方式極易讓生成的程序“過擬合”于特定的輸入示例，無法靈活適應不同生產線實際的硬件配置與物理狀態，最終導致大模型寫出的代碼可執行性較低，難以真正在生產車間中部署。
簡而言之，現有范式既無法在宏觀上保證多機調度的安全與高效，也難以在微觀上確保底層代碼的精準執行。這表明，想要讓大模型真正從“聰明的玩具”蛻變為工業產線上的“可靠指揮官”，就必須打破純粹依賴語言大模型進行端到端生成的“黑盒”，引入嚴謹的結構化約束。
IMR-LLM 核心揭秘：大模型與結構化約束的「強強聯合」
為了打破上述雙重瓶頸，解答好“宏觀如何調度”與“微觀如何執行”這兩個核心問題，研究團隊提出了 IMR-LLM 框架。
圖2: IMR-LLM 方法整體流程
該框架的核心想法是：不強迫大模型去強行求解復雜的數學調度，也不讓它依賴有限示例去機械套用底層的控制代碼；相反，應充分發揮大模型強大的語義理解與情境匹配能力，讓它專注扮演高層約束的「翻譯官」與底層執行的「導航員」。為此，IMR-LLM 將規劃與執行徹底解耦，引入了兩種強大的結構化約束工具：
1. 用析取圖建模時序與資源限制
為了克服大模型自由生成規劃所導致的邏輯缺陷，IMR-LLM引入了工業運籌學中的經典數學模型——析取圖，作為高層調度的核心約束。在此階段，大模型僅作為「翻譯官」，從指令與場景描述中推理并提取出完整的操作工序集、機器人分配方案以及工件內部的執行先后順序。這些具象化的要素隨即被嚴謹地映射為析取圖中的頂點與有向邊。借助析取圖的圖結構，系統將所有復雜的工序先后順序與多機器人資源競爭沖突進行了硬性物理約束。通過調用確定性算法對該圖進行求解，系統從根本上遏制了大模型的“邏輯幻覺”，確保得到的高層任務規劃無死鎖且全局最優。
2. 用工序流程樹規范代碼生成流程
在獲取宏觀調度方案后，為避免傳統少樣本提示帶來的“機械套用、難以落地”問題，研究團隊引入了第二個核心約束工具——工序流程樹。該樹形結構將各類工序（如打磨、搬運、焊接）的標準化流程與分支邏輯進行了高度的結構化編碼。在生成底層代碼時，大模型在流程樹的「導航」下，實際上是將開放式的代碼生成轉化為了嚴謹的“路徑選擇問題”。結合真實的物理環境狀態，大模型只需在樹中推斷出一條從起點到終點的唯一分支，并將該分支上各節點預定義的代碼片段進行拼接，即可獲得特定場景下的執行函數。這種基于樹狀結構引導的生成方式，為大模型劃定了安全的生成邊界，確保最終輸出的 Python 控制代碼契合當前產線配置，具備較強的可執行性。
實驗表現：在專屬工業基準 IMR-Bench 上的大幅超越
為了系統性且公平地評估大模型在真實制造環境中的能力，研究者基于視比特 KunWu 平臺，專門構建了挑戰性的工業多機器人協作基準測試集——IMR-Bench 。該基準提取自真實的工業環境，共包含 23 個復雜的物理場景，并根據實際生產需求設計了 50 個制造任務。為了全面探測模型的極限，這些任務被劃分為三個難度梯隊：從基礎的單機操作，到簡單的多機協同，再到最多涉及 7 臺機器人、多達 24 道工序混合并行的復雜協同任務。
圖3: IMR-Bench數據集概覽
在IMR-Bench的所有任務中，所提方法均展現了穩定的性能提升。研究團隊將IMR-LLM 與現有基于大模型的基線方法（如 SMART-LLM、LaMMA 及 LiP-LLM 的變體）進行了綜合對比。
圖4: 與現有基線方法的對比
實驗結果表明，得益于「析取圖」的宏觀約束與「工序流程樹」的微觀導航，IMR-LLM 在各項評估指標上均取得了顯著的提升。尤其在面對“復雜多機器人任務”時，基線方法常因邏輯缺陷或代碼執行失敗導致其任務成功率（Success Rate, SR）出現明顯下降。相比之下，IMR-LLM 憑借嚴謹的結構化約束，不僅保持了較高的調度效率（Scheduling Efficiency, SE），還有效保障了生成代碼的可執行性（Executability, Exe），在最終的綜合成功率上實現了對現有范式的超越。
為了驗證 IMR-LLM 在真實物理環境中的部署能力，研究團隊在一個包含 3 臺真實機械臂的協作產線上進行了測試，該實驗場景涵蓋了視覺定位、工件抓取與多機協作搬運等典型的工業操作流程。
在真機測試中，研究團隊向系統輸入了自然語言任務指令及當前產線的環境狀態描述。IMR-LLM 隨后自動生成全局調度圖，并精準匹配輸出了對應的底層 Python 執行代碼。為確保物理執行的安全，研究團隊首先在仿真引擎中對生成的代碼進行運行校驗；在確認無死鎖與碰撞風險后，將代碼直接下發至物理機器人的底層控制器中執行。最終，順利且準確地完成了既定的多機協同任務。這一完整的部署流程，客觀驗證了 IMR-LLM 框架在真實制造場景下從指令理解到機器人控制的可靠性。
總結與展望
IMR-LLM框架為大語言模型在嚴苛工業多機協作環境下的應用提供了一種切實可行的解題思路。研究團隊通過將任務規劃與底層代碼生成徹底解耦，并分別引入“析取圖”與“工序流程樹”作為宏觀與微觀的結構化約束，成功彌合了大模型發散性推理與工業制造絕對正確性要求之間的鴻溝。IMR-Bench 與物理實機實驗共同證明，該方法有效克服了傳統端到端生成易引發的邏輯死鎖與代碼失效問題，顯著提升了系統的綜合任務成功率與調度效率。
然而，真實的工業生產環境往往伴隨著不可預見的動態干擾與不確定性。目前的 IMR-LLM 框架主要側重于靜態場景下的前置規劃與可靠執行。在未來的工作中，研究團隊計劃進一步探索底層執行反饋機制的引入。通過構建一個實時的“感知-推理-執行-糾錯”閉環系統，團隊期望增強IMR-LLM 在面對突發硬件故障或動態需求變化時的自適應能力，從而推動大模型在更復雜、更開放的工業具身智能場景中扎實落地。
專題
本專題其他文章
