慘遭 ICLR 拒絕的十大好論文：LeCun榜上有名，Yoshua連中兩槍 | ICLR 2017

第五屆 ICLR 會(huì)議于當(dāng)?shù)貢r(shí)間 2017 年 4 月 24-26 日在法國(guó)土倫舉行，到目前會(huì)議已結(jié)束一天，研究者 Carlos E. Perez 在自己的博客上發(fā)布了一篇文章，細(xì)數(shù)了他認(rèn)為不應(yīng)該被拒的十篇好論文。雷鋒網(wǎng)對(duì)本文做了不改動(dòng)原意的編譯，未經(jīng)許可不得轉(zhuǎn)載。

第一篇：聯(lián)合多任務(wù)模型：為多個(gè)自然語(yǔ)言處理任務(wù)增加一個(gè)神經(jīng)網(wǎng)絡(luò)（A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks）

作者：Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, Richard Socher

論文鏈接：https://openreview.net/forum?id=SJZAb5cel

原因：這篇是其中最新穎的論文之一，展示了如何逐步增長(zhǎng)神經(jīng)網(wǎng)絡(luò)。這篇論文之所以重要的原因是它展示了一個(gè)網(wǎng)絡(luò)是如何通過(guò)使用轉(zhuǎn)移學(xué)習(xí)和域名適應(yīng)來(lái)成長(zhǎng)的。目前還沒(méi)有很多論文探討這方面。

第二篇：分層存儲(chǔ)網(wǎng)絡(luò)（Hierartical Memory Networks）

作者：Sarath Chandar, Sungjin Ahn, Hugo Larochelle, Pascal Vincent, Gerald Tesauro, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJ0Ee8cxx

原因：這是另一篇關(guān)于自然語(yǔ)言處理的論文，令人驚訝的是被拒原因是因?yàn)樽髡叨际敲餍茄芯空摺＿@是大會(huì)上的第一篇探討了內(nèi)存層次結(jié)構(gòu)的概念的論文，而目前大多數(shù)內(nèi)存增強(qiáng)網(wǎng)絡(luò)趨向于沒(méi)有層次的內(nèi)存結(jié)構(gòu)。我認(rèn)為，這篇論文不應(yīng)該被這樣輕易地錯(cuò)失掉。

第三篇：增強(qiáng)學(xué)習(xí)：通過(guò)慢速增強(qiáng)學(xué)習(xí)的快速增強(qiáng)學(xué)習(xí)（RL：Fast Reinforcement Learning via Slow Reinforcement Learning）

作者：Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel.

論文鏈接：https://openreview.net/forum?id=HkLXCE9lx

原因：這是一篇突破性研究論文，而評(píng)論者卻不確信這是一個(gè)突破性研究。我想沒(méi)有給評(píng)論者留下深刻印象估計(jì)和RL命名習(xí)慣有關(guān)。關(guān)于元學(xué)習(xí)的任何東西都應(yīng)該賣的很火。但這篇論文，盡管有優(yōu)秀的作者，卻還是被猛烈抨擊，真是想不到。

第四篇：解密殘差網(wǎng)絡(luò)結(jié)構(gòu)（Demystifying ResNet）

作者：Sihan Li, Jiantao Jiao, Yanjun Han, Tsachy Weissman

論文鏈接：https://openreview.net/forum?id=SJAr0QFxe

原因：我喜歡這篇論文是因?yàn)樗陉P(guān)于如何利用殘差或跳過(guò)（skip）鏈接給了一些深刻見(jiàn)解的經(jīng)驗(yàn)法則。是2016年度最火的創(chuàng)新，并且一些人在解構(gòu)技術(shù)上做了一些嘗試。其中一個(gè)控訴說(shuō)在文中使用了簡(jiǎn)化模型。這個(gè)控訴當(dāng)然是荒謬的。你難道不想用一個(gè)簡(jiǎn)化模型去描述另一個(gè)復(fù)雜系統(tǒng)嗎？

第五篇：神經(jīng)語(yǔ)言知識(shí)模型（A Neural Knowledge language Model）

作者：Sungjin Ahn, Heeyoul Choi, Tanel Parnamaa, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJwFrvOeg

原因：這是另一篇被拒的關(guān)于自然語(yǔ)言處理的論文。融合了知識(shí)庫(kù)和深度學(xué)習(xí)應(yīng)該算是一個(gè)非常大的創(chuàng)新。但這篇論文被駁回卻是因?yàn)槿狈π路f性。最主要的不滿竟然是寫作風(fēng)格。真是太不幸了！

第六篇：知識(shí)適應(yīng)：教會(huì)適應(yīng)（Knowledge Adaptation: Teaching to Adapt）

作者：Sebastian Ruder, Parsa Ghaffari, John G. Breslin

論文鏈接：https://openreview.net/forum?id=rJRhzzKxl

原因：我是第二遍看被拒論文名單才注意到這篇論文。我在這方面有點(diǎn)偏執(zhí)，總是尋找領(lǐng)域適應(yīng)和轉(zhuǎn)移學(xué)習(xí)這方面的研究。這篇論文有非常好的想法，但還是被拒。

第七篇：張量混合模型（Tensorial Mixrure Models）

作者：Or Sharir, Ronen Tamari, Nadav Cohen, Amnon Shashua

論文鏈接：https://openreview.net/forum?id=BJluGHcee

原因：我是這篇論文的忠誠(chéng)粉絲，看到了全息模型，不幸的是，評(píng)論家們對(duì)此持高懷疑態(tài)度，最終沒(méi)能通過(guò)。

第八篇：深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)力研究。（On the Expressive Power of Deep Nural Networks）

作者：Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl-Dickstein

論文鏈接：https://openreview.net/forum?id=B1TTpYKgx

原因：基礎(chǔ)理論研究和實(shí)驗(yàn)性論文是有利于深度學(xué)習(xí)研究的點(diǎn)金術(shù)。如果它們被扔到一邊，恐怕研究就要搞砸了。

第九篇：深度學(xué)習(xí)的 Hessian 特征值：奇點(diǎn)與超越（Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond）

作者：Levent Sagun, Leon Bottou, Yann LeCun

論文鏈接：https://openreview.net/forum?id=B186cP9gx

原因：這是故意向這些有名的作者臉上扔雞蛋嗎？我猜是基本實(shí)驗(yàn)數(shù)據(jù)不夠吸引人才導(dǎo)致不通過(guò)。評(píng)語(yǔ)寫的是：很有趣的實(shí)驗(yàn)數(shù)據(jù)，但是沒(méi)有理論基礎(chǔ)。說(shuō)它完全是不切實(shí)際的期望。

第十篇：一個(gè)深度網(wǎng)絡(luò)損失表面的實(shí)證分析（An Empirical Analysis of Deep Network Loss Surfaces）

作者：Daniel Jiwoong Im, Michael Tao, Kristin Branson

論文鏈接：https://openreview.net/forum?id=rkuDV6iex

原因：在我的另一篇文章中，我談到了關(guān)于隨機(jī)梯度下降作為一種隱式的正則化方法的另一個(gè)證據(jù)。遺憾的是我只放了一個(gè)本文的超鏈接。但真正令我驚訝的是，這些挖掘出了令人印象非常深刻的數(shù)據(jù)的研究者們卻什么也沒(méi)有得到，只有論文被拒的羞辱。

作者在文中最后表達(dá)出了他的看法和擔(dān)心。他認(rèn)為對(duì)研究深度學(xué)習(xí)的性質(zhì)的實(shí)驗(yàn)研究實(shí)在是太少了。研究者們通常使用簡(jiǎn)化模型來(lái)執(zhí)行易處理的分析。不過(guò)，如果只期望實(shí)驗(yàn)結(jié)果足夠有價(jià)值，能給出一個(gè)機(jī)器是如何表現(xiàn)的描述，而不期望獲得一個(gè)強(qiáng)大的理論成果，那也不行。在沒(méi)有這類研究的情況下，我們大多數(shù)是在黑暗中摸索前進(jìn)。同時(shí)擔(dān)心目前的研究環(huán)境對(duì)深度學(xué)習(xí)研究者很不利。因?yàn)檫@個(gè)領(lǐng)域發(fā)展的太快，而很多評(píng)論者的世界觀還沒(méi)有和最新研究成果聯(lián)系起來(lái)，導(dǎo)致很多具有突破性的研究論文被埋沒(méi)。

雷鋒網(wǎng)小結(jié)：不知大家看到這么多優(yōu)秀論文被拒是什么心情，至少雷鋒網(wǎng)編輯覺(jué)得是相當(dāng)痛心。不過(guò)，身經(jīng)百戰(zhàn)的科研人員在無(wú)數(shù)次的拒絕中想必已經(jīng)練就了強(qiáng)大的心理素質(zhì)，再戰(zhàn)下一次會(huì)議又有何難？