0
| 本文作者： 劉潔 | 2024-11-14 14:21 |
來自清華大學的高陽團隊在最新一屆機器人頂級會議 CoRL 2024（Conference on Robot Learning）中榮獲 X-Embodiment Workshop 最佳論文獎。
CoRL 是全球機器人學習領域的頂級學術會議，每年匯聚來自全球頂尖學府的創新研究，評選出的最佳論文通常代表著前沿技術與重大突破。
清華團隊此次獲獎的論文標題為《Data Scaling Laws in Imitation Learning for Robotic Manipulation》，關注的是數據規模定律在機器人操作中的模仿學習中的應用，尤其是能否通過適當的數據規模來實現零樣本泛化。
研究團隊收集了超過 40,000 次演示，并進行了 15,000 多次機器人實測。結果表明，策略的泛化能力主要依賴于環境和對象的多樣性，而非單純的演示數量。
在此基礎上，他們設計了一種高效的數據收集方案，僅需四個采集者花一下午便能獲取足夠數據，使兩個任務在新環境和新對象上的成功率達到約 90%。
隨后，團隊將機器人部署在各種野外環境中，包括火鍋店、咖啡館、電梯、噴泉和其他以前未收集數據的地方。結果顯示，模型在這些全新的環境中展現出極好的泛化能力，超出預期。
這篇論文的作者是來自清華大學交叉信息研究院的高陽和他的學生林凡淇、胡英東、盛平岳、Chuan Wen、游嘉誠，其中林凡淇、胡英東、Chuan Wen 同屬于上海期智學院和上海人工智能實驗室。
論文鏈接：https://data-scaling-laws.github.io/paper.pdf
項目網址：https://data-scaling-laws.github.io/
代碼：https://github.com/Fanqi-Lin/Data-Scaling-Laws
數據：https://huggingface.co/datasets/Fanqi-Lin/Processed-Task-Dataset/tree/main
研究團隊選擇使用手持夾持器（UMI）在不同環境中收集人類演示數據，并使用擴散策略（Diffusion Policy）對數據進行建模，主要研究了策略的泛化性能如何隨著訓練環境數量、物體數量和演示數量的變化而變化。
實驗選擇了 Pour Water（倒水）和 Mouse Arrangement（鼠標移動）作為案例研究任務，并在此基礎上擴展到 Fold Towels（疊毛巾）和 Unplug Charger（拔掉充電器）任務，收集了超過 40,000 次演示，并在超過 15,000 次實際機器人操作中進行了評估。
具體的實驗任務分為對象泛化、環境泛化以及跨環境和對象泛化三種類型，分別針對同一環境下的不同物體、不同環境下的同一物體和不同環境下的不同物體收集演示，隨機選擇部分演示進行訓練，并評估策略在未知情況下的的表現。每個實驗設置下，策略在 8 個未見過的環境中進行評估，每個環境有 5 次試驗。
實驗結果表明，策略的泛化能力與訓練物體數量、環境數量和訓練環境-物體對數關系密切，符合冪律分布。
對象泛化
隨著訓練物體數量的增加，策略在未見過的物體上的表現顯著提高。當訓練物體數量達到 32 時，策略在未見過的物體上的表現超過了 0.9。
環境泛化
增加訓練環境數量顯著提高了策略在未見過的環境上的表現。即使演示數量保持不變，環境擴展仍然有效。
跨環境和對象泛化
同時增加環境和物體數量顯著提高了策略的泛化能力。與單獨擴展環境或物體相比，同時擴展兩者的效果更好，且額外的演示對性能的提升更快飽和。
林凡淇，清華大學交叉信息研究院 （IIIS） 的一年級博士生，指導老師是高陽教授。此前在清華大學計算機科學與技術系獲得學士學位。
他的研究重點是 Embodied AI（具身智能），這是一個集成機器人、計算機視覺和自然語言處理的跨學科領域。具體來說，他的目標是使機器人能夠通過大規模數據實現人類水平的操作能力。同時，他還熱衷于利用基礎模型來增強機器人的能力。
胡英東，清華大學交叉信息研究院 （IIIS） 的四年級博士生，指導老師是高陽教授。此前在北京郵電大學 （BUPT） 獲得學士學位。
他的研究重點也是具身智能，他研究了開發通用機器人系統的基本挑戰，這些系統可以在各種非結構化的現實世界環境中有效地適應和推廣其學習行為。
盛平岳，清華大學交叉信息科學研究院 （IIIS） 姚班的一名本科生。他的研究興趣集中在機器人技術、模仿學習和算法上。
Chuan Wen，清華大學交叉信息科學研究院 （IIIS） 的博士生，指導老師是高陽教授，同時與賓夕法尼亞大學 GRASP 實驗室的 Dinesh Jayaraman 教授密切合作。此前在上海交通大學電子工程系獲得學士學位，師從張亞教授和王新兵教授。他目前還是伯克利人工智能研究 （BAIR） 的訪問學者，由 Pieter Abbeel 教授和林星宇博士指導。
游嘉誠，清華大學交叉信息研究院 （IIIS） 的一年級博士生。
高陽，上海期智研究院 PI，清華大學交叉信息研究院助理教授。于美國加州大學伯克利分校獲得博士學位，師從 Trevor Darrell 教授。在獲得博士學位后，于加州伯克利大學與 Pieter Abbeel 等人合作完成了博士后研究。研究方向為強化學習與機器人。
高陽博士目前主持具身視覺與機器人實驗室 (Embodied Vision and Robotics，簡稱EVAR Lab)，專注于利用人工智能技術賦能機器人，致力于打造通用的具身智能框架。
本次 CoRL 2024 也已經宣布了最佳論文的獲獎名單，分別為來自 Kuo-Hao Zeng 等人的《PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators》，和來自 Franck Djeumou 等人的《One Model to Drift Them All》。
論文作者：Kuo-Hao Zeng, Zichen Zhang, Kiana Ehsani, Rose Hendrix, Jordi Salvador, Alvaro Herrasti, Ross Girshick, Aniruddha Kembhavi, Luca Weihs
論文摘要：研究團隊提出了 POLIFORMER（Policy Transformer），這是一個僅使用 RGB 的室內導航代理，通過端到端的強化學習在規模上進行訓練，并且能夠在沒有適應的情況下泛化到現實世界。
POLIFORMER 使用了一個基礎的視頻變壓器編碼器和因果變壓器解碼器，實現了長期記憶和推理能力。它經過數億次交互，在各種環境中進行了訓練，利用并行化和多機部署以實現高效訓練和高吞吐量。
POLIFORMER 是一個精通的導航器，在兩個不同的實施例中——LoCoBot 和 Stretch RE-1機 器人，以及四個導航基準測試中都產生了最先進的結果。它突破了以往工作的局限，實現了 CHORES-S 基準測試中前所未有的 85.5% 的成功率，絕對成功率提高了 28.5%。
POLIFORMER 還可以輕松擴展到多種下游應用，如物體跟蹤、多對象導航和開放詞匯導航，無需微調。
論文作者：Franck Djeumou, Thomas Jonathan Lew, NAN DING, Michael Thompson, Makoto Suminaka, Marcus Greiff, John Subosits
論文摘要：如果使自動駕駛車輛能夠在輪胎力飽和的極限條件下可靠運行，將提高它們的安全性，特別是在緊急避障或惡劣天氣等場景中。然而，解鎖這一能力由于任務的動態本質和對道路、車輛及其動態相互作用的不確定屬性的高敏感性而具有挑戰性。
受到這些挑戰的啟發，研究團隊提出了一個框架，利用包含不同環境中不同車輛軌跡的無標簽數據集，學習用于高性能車輛控制的條件擴散模型。
研究團隊設計的擴散模型能通過物理信息驅動的動力學模型的多模態參數分布來捕捉復雜數據集的軌跡分布。通過在生成過程中進行在線測量，將擴散模型集成到實時模型預測控制框架中，用于在極限條件下駕駛，并展示了它能夠即時適應給定的車輛和環境。
在豐田Supra和Lexus LC 500上的廣泛實驗表明，單個擴散模型在操作時能夠在不同輪胎和不同道路條件下可靠地實現自動駕駛漂移。
該模型在特定任務上的專家模型的性能匹配，同時在泛化到未見條件方面表現優于它們，為自動駕駛在處理極限下的通用、可靠方法鋪平了道路。雷峰網雷峰網(公眾號：雷峰網)
