策略梯度下降過時了，OpenAI 拿出一種新的策略優(yōu)化算法PPO

雷鋒網(wǎng) AI 科技評論按：美國時間7月20日，OpenAI 剛剛通過自己的研究博客介紹了一種新的優(yōu)化算法 Proximal Policy Optimization（近端策略優(yōu)化，PPO）。據(jù)介紹，這種算法用在強(qiáng)化學(xué)習(xí)中時表現(xiàn)能達(dá)到甚至超過現(xiàn)有算法的頂尖水平，同時還更易于實(shí)現(xiàn)和調(diào)試。所以 OpenAI 已經(jīng)把PPO作為自己強(qiáng)化學(xué)習(xí)研究中首選的算法。雷鋒網(wǎng) AI 科技評論把這篇介紹 PPO 算法的博文編譯如下。

圖中就是一個 OpenAI 利用 PPO 訓(xùn)練的機(jī)器人。它要學(xué)習(xí)走、跑、轉(zhuǎn)彎來嘗試接近球型的、隨機(jī)移動的目標(biāo)；環(huán)境中還有一個會撞機(jī)器人的小球給它增大難度，所以它還要學(xué)會受到撞擊以后恢復(fù)平衡，甚至被撞倒以后重新站起來。

現(xiàn)有算法

近期的策略梯度的一類方法讓深度神經(jīng)網(wǎng)絡(luò)在控制任務(wù)中取得了明顯進(jìn)步，電腦游戲、三維運(yùn)動、圍棋都是很好的例子。但是用策略梯度的方法取得好的結(jié)果也有一些難度，因?yàn)檫@類方法對迭代步驟數(shù)非常敏感：如果選得太小，訓(xùn)練過程就會慢得令人絕望；如果選得太大，反饋信號就會淹沒在噪聲中，甚至有可能讓模型表現(xiàn)雪崩式地下降。這類方法的采樣效率也經(jīng)常很低，學(xué)習(xí)簡單的任務(wù)就需要百萬級至十億級的總迭代次數(shù)。

為了解決方法中的這些問題，研究人員們已經(jīng)找到了 TRPO（Trust Region Policy Optimization，信任區(qū)域策略優(yōu)化）和 ACER（Sample Efficient Actor-Critic with Experience Replay，能高效采樣的帶有經(jīng)驗(yàn)回放的表演者-評論者算法） 這樣的方法，對策略更新的大小做出限制或者另外的優(yōu)化。達(dá)到了這樣的效果，這些方法也就在別的方面付出了代價：ACER 比 PPO復(fù)雜得多，需要額外的代碼用于策略外的糾正以及一個回放緩沖區(qū)，在 Atari 測試中的具體表現(xiàn)卻只比 PPO 勉強(qiáng)好一點(diǎn)點(diǎn)；TRPO 雖然在連續(xù)控制任務(wù)中很有用，但是對策略函數(shù)和價值函數(shù)或者輔助損失之間有共享參數(shù)的算法較難兼容，比如 Atari 和其它一些視覺輸入占據(jù)主要部分的任務(wù)就是這樣。

PPO

在監(jiān)督學(xué)習(xí)中，實(shí)現(xiàn)損失函數(shù)、在上面做梯度下降都很容易，而且基本上不費(fèi)什么功夫調(diào)節(jié)超參數(shù)就肯定能夠得到很好的結(jié)果。但是在強(qiáng)化學(xué)習(xí)中想要獲得好結(jié)果就沒有這么簡單了，算法中有許多變化的部分導(dǎo)致難以 debug，而且需要花很大的精力在調(diào)試上才能得到好結(jié)果。PPO 則在實(shí)現(xiàn)的難易程度、采樣復(fù)雜度、調(diào)試所需精力之間取得了新的平衡，它在每一步迭代中都會嘗試計(jì)算新的策略，這樣可以讓損失函數(shù)最小化，同時還能保證與上一步迭代的策略間的偏差相對較小。

之前 OpenAI 就詳細(xì)介紹過 PPO的一個變種 （NIPS 2016 論文視頻：通過策略優(yōu)化進(jìn)行深度強(qiáng)化學(xué)習(xí)），其中用一個自適應(yīng) Kullback–Leibler 懲罰項(xiàng)控制每次迭代中的策略變化程度?，F(xiàn)在介紹的這種新變種則使用了一種其它算法中罕見的全新的目標(biāo)函數(shù)：

信任區(qū)域更新的功能就可以通過這種目標(biāo)函數(shù)得到實(shí)現(xiàn)，它與隨機(jī)梯度下降兼容，而且移除了Kullback–Leibler 懲罰項(xiàng)及它的自適應(yīng)升級功能差，從而簡化了算法。在測試中，PPO 算法在連續(xù)控制任務(wù)中取得了最好的效果，而且在 Atari 游戲測試中的表現(xiàn)幾乎與 ACER 持平；考慮到 PPO 的簡便性，這樣的結(jié)果真是令人驚喜萬分。

可控的復(fù)雜機(jī)器人

OpenAI 的研究人員們設(shè)計(jì)了具有互動能力的機(jī)器人，然后用 PPO 訓(xùn)練它們的策略。在這些基于 Roboschool 環(huán)境的實(shí)驗(yàn)中，可以用鍵盤給機(jī)器人設(shè)定新的目標(biāo)位置；盡管輸入的目標(biāo)序列與用來訓(xùn)練機(jī)器人的序列不同，機(jī)器人仍然可以進(jìn)行泛化。

除了 Roboschool 中這樣的簡單機(jī)器人，他們還用 PPO 教會復(fù)雜的仿真機(jī)器人走路，比如來自波士頓動力的 Atlas 的仿真模型。相比前面的雙足機(jī)器人的17個獨(dú)立關(guān)節(jié)，這個模型中獨(dú)立關(guān)節(jié)的數(shù)目高達(dá)30個。也有一些其它的研究人員已經(jīng)成功借助 PPO 訓(xùn)練仿真機(jī)器人用精彩的跑酷動作跨越障礙（參見雷鋒網(wǎng) AI 科技評論文章 機(jī)器人走路未必笨拙，DeepMind新方法訓(xùn)練的人工智能走得就很飄逸 ）。

基準(zhǔn)模型：PPO 和 TRPO

OpenAI 一并發(fā)布了包含大小可變的、并行實(shí)現(xiàn)的 PPO 和 TRPO 的基準(zhǔn)模型，兩者都用 MPI 作為數(shù)據(jù)傳遞模塊，Python3 和 TensorFlow 都可以支持。他們還把用于訓(xùn)練上文中的機(jī)器人的預(yù)訓(xùn)練模型增加到了 Roboschool 機(jī)器人動物園中。

論文地址：https://arxiv.org/abs/1707.06347 

基準(zhǔn)模型地址： https://github.com/openai/baselines 

相關(guān)文章：

機(jī)器人走路未必笨拙，DeepMind新方法訓(xùn)練的人工智能走得就很飄逸

OpenAI發(fā)布開源軟件Roboschool，模擬機(jī)器人的控制訓(xùn)練