0
| 本文作者： 王起端 | 2021-08-27 15:25 |
雷鋒網消息,IEEE 2021游戲會議(IEEE CoG 2021)格斗游戲AI競賽(FTGAIC 2021)的成績不久前正式揭曉。
網易互娛AI Lab 在競賽的兩個賽道、三個角色,共六個項目中均斬獲第一,以150分的總成績滿分奪冠,一舉擊敗來自中、日、韓等多個國家的頂級學府和科研強隊,其中包括曾連續獲得四次冠軍和一次亞軍的日本參賽隊伍,以及去年奪冠的中國科學院自動化研究所,成為9年競賽史上首個滿分全勝的隊伍。
IEEE CoG 2021是專注于游戲領域的人工智能國際會議,每年都有來自全球各地的專家學者和開發人員匯聚于此,共同探討游戲技術與設計相關的前沿話題和未來趨勢。FTGAIC作為大會官方舉辦的雙人格斗游戲AI實時對抗競賽,由于其兼具挑戰性和趣味性,自2013年首次推出便吸引海內外強隊踴躍參加。
據了解，該競賽要求參賽算法控制三種不同屬性的格斗角色,使其在16.67ms的反應時間內從56個離散動作中做出最佳決策,進而在有限時間內快速擊敗對方算法控制的智能體。
值得一提的是，該賽題旨在實時雙人零和博弈問題,屬于非完美信息博弈,在同步決策的過程中智能體無法準確獲取對方正要采取的動作行為,因此會對其有效決策行為造成影響。此外,競賽中兩個角色的屬性對于參賽選手而言是未知的,這也大大增加了研發的難度。
并且，網易互娛AI Lab創新性地使用了自研的分布式深度強化學習框架和自博弈訓練范式的PPO算法,該自研框架具有良好的適應性和可擴展性,支持不同規模的分布式訓練,同時也支持自博弈訓練范式。相比往屆冠軍隊伍都采用的啟發式搜索算法,深度強化學習算法無需基于專業知識對所有搜索空間進行約減,只需在原始的狀態空間和動作空間進行訓練,大幅提高了AI設計效率。
另外，為了避免受到游戲角色屬性被修改的影響,網易互娛AI Lab在訓練時還對角色屬性進行了隨機修改,獲得了更為魯棒的策略。最終,在Speedrunning模式下,網易互娛AI Lab的AI擊敗內置MCTS AI的平均用時僅為第二名的二分之一左右。而在Standard模式下,網易互娛AI Lab的AI使用三個不同角色與其他參賽隊對戰的勝率分別達到了 98.3%,96.7%,100%。
網易互娛AI Lab(BlackMamba)與其他參賽隊的時間對比
網易互娛AI Lab(BlackMamba)與其他參賽對手的勝利局數對比
在大賽上,網易互娛AI Lab另辟蹊徑,以深度強化學習方法替代搜索性算法(蒙特卡洛樹搜索、演化算法)奪得競賽冠軍,打破了后者在該比賽近五年的統治地位,證明了網易互娛AI Lab在游戲AI領域的技術優勢和工程實力。
從過去的國際象棋和圍棋等回合制雙人零和博弈,到如今更加復雜的實時策略型游戲,游戲AI一直在推動人工智能的核心發展。網易互娛AI Lab也一直將游戲AI作為研究的核心領域之一,希望能夠將研究成果反哺到游戲中去,不斷豐富和提升玩家的游戲體驗,同時也希望AI+游戲的研究成果能夠被延伸至游戲外的更廣泛的應用領域,向通用型人工智能探索和邁進。
