Facebook聯(lián)合NYU探討GANs原理，斬獲一致好評的論文長啥樣？ | ICLR 2017

雷鋒網(wǎng)AI科技評論按：ICLR 2017 將于4月24-26日在法國土倫舉行，屆時雷鋒網(wǎng)AI科技評論的編輯們也將前往法國帶來一線報道。在這個深度學(xué)習(xí)會議舉辦之前，雷鋒網(wǎng)也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。

今天雷鋒網(wǎng)要介紹的 ICLR2017的oral paper ，紐約大學(xué)和Facebook的聯(lián)合文章《Towards Principled Methods for Training Generative Adversarial Networks（訓(xùn)練生成對抗網(wǎng)絡(luò)的基本方法）》，作者為一作Martin Arjovsky和Leon Bottou。這篇論文并不是要介紹某個單一的算法或者公式，而是對生成對抗網(wǎng)絡(luò)的訓(xùn)練過程進(jìn)行理論分析，從而使讀者更好的進(jìn)行理解。為了論述最終的結(jié)論，文中描述了幾個有針對性的實(shí)驗(yàn)，從而進(jìn)行驗(yàn)證假設(shè)，說明要求和量化現(xiàn)象。這篇論文主要分為三個部分。第一個部分介紹了目前在深度學(xué)習(xí)上遇到的問題；第二個部分則特別嚴(yán)謹(jǐn)深入的分析和介紹了在訓(xùn)練生成對抗網(wǎng)絡(luò)的時候遇到的不穩(wěn)定和飽和的問題；第三部分提供了解決問題的理論結(jié)合實(shí)踐的新方法。 

自2014年生成對抗網(wǎng)絡(luò)（GANs）由蒙特利爾大學(xué) Ian Goodfellow等學(xué)者提出以來，其在生成“看起來”真實(shí)的圖片上的能力得到了業(yè)內(nèi)的普遍認(rèn)可。其實(shí)GANs還可以利用于解決很多其他的問題，比如半監(jiān)督學(xué)習(xí)，3D建模和語音合成和檢測時的段落學(xué)習(xí)。然而，GANs真正使用于訓(xùn)練的時候并沒有那么容易。近期很多論文都在啟發(fā)性的設(shè)計基于GANs比較穩(wěn)定的模型。但是，目前基本還沒有哪篇論文詳細(xì)的從理論分析GANs訓(xùn)練不穩(wěn)定的真正原因，從根源上解決這種不穩(wěn)定的方法也還沒有出現(xiàn)。

《訓(xùn)練生成對抗網(wǎng)絡(luò)的基本方法》這篇論文則介紹了其原理性不穩(wěn)定的真正原因。論文介紹了幾個例子，從公式和推斷層面對GANs訓(xùn)練的不穩(wěn)定性進(jìn)行了論證。基于GANs的基本引理和定理，將鑒別器訓(xùn)練越接近最優(yōu)，噪聲便越急劇增長。從圖中的噪聲曲線也可以看出，隨著訓(xùn)練的進(jìn)行，噪聲的多樣性也在提高，從而最終導(dǎo)致了鑒別器和生成器歸一的速度變慢，GANs網(wǎng)絡(luò)的穩(wěn)定性也在降低。

為了解決GANs網(wǎng)絡(luò)的穩(wěn)定性問題，論文提出了打破原理定律的方法——通過在鑒別器輸入端增加連續(xù)的擾動噪聲來平滑訓(xùn)練產(chǎn)生的噪聲曲線。

ICLR評論：

ICLR委員會最終決定

這篇論文對訓(xùn)練GAN網(wǎng)絡(luò)時遇到的不穩(wěn)定的問題進(jìn)行了細(xì)致的理論分析，并解釋了擾動噪聲GANs穩(wěn)定性提高的原理。基于目前GAN網(wǎng)絡(luò)使用的廣泛性，這篇論文應(yīng)該可以獲得很好的影響力。

決定：通過（oral）

高質(zhì)量論文

評價：通過這篇論文，我更好了理解了GANs在很多模型中失敗的原因，并且通過閱讀這篇論文，我知道了訓(xùn)練GANs更好的方法。根據(jù)文中提到的方法，我在GANs網(wǎng)絡(luò)中增加了一些噪聲，結(jié)果通過比老方法更少的G迭代，我得到了看起來非常不錯的圖片。并且，實(shí)驗(yàn)也同時應(yīng)證了新訓(xùn)練的網(wǎng)絡(luò)對超參數(shù)的敏感度降低的優(yōu)勢。非常感謝你發(fā)表這篇論文。

非常好的論文

評價：我認(rèn)為這篇論文很好的介紹和解釋了GANs，盡管一些實(shí)驗(yàn)之前就被提起過，但對GANs出現(xiàn)的問題都僅僅停留在“直覺”分析和非正式的說辭上，在這篇論文之前，還沒有哪篇文章從理論進(jìn)行解釋。這篇論文很清晰的向?qū)W者了講解了問題的來源和目前提出的方案可行的真正原因。論文直指了GANs之前被過譽(yù)的部分，我相信這對設(shè)計更大規(guī)模的GANs具有很重要的意義。

很好的文章

打分：8分，Top 50%，明確接受

評價：這篇文章對認(rèn)識訓(xùn)練生成對抗網(wǎng)絡(luò)的過程非常有幫助。通過分析動態(tài)GANs網(wǎng)絡(luò)的訓(xùn)練過程，作者解釋了GANs不穩(wěn)定的原因。更重要的是，文章還提出了引入擾動噪聲來解決問題的新方法。我相信這篇論文將會使更多對這個領(lǐng)域感興趣的人加入對GANs的研究中。

非常有趣的文章

打分：10分，Top 5%，研討會類型的文章

評價：這是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)非常有意義并非常重要的文章。作者介紹的GANs工作的原理和其不穩(wěn)定性都十分的重要。在我看來，這是關(guān)于GANs最好的一篇論文。因?yàn)樗苯咏鉀Q了GANs出現(xiàn)的第一版中的不穩(wěn)定的問題。要知道，在GANs問世的初期，它的實(shí)踐性幾乎為零。

原文鏈接：https://openreview.net/forum?id=Hk4_qw5xe&noteId=Hk4_qw5xe