0
| 本文作者： 奕欣 | 2017-04-20 15:31 | 專題：ICLR 2017 |
雷鋒網(wǎng)AI科技評論按：ICLR 2017 將于4月24-26日在法國土倫舉行，屆時雷鋒網(wǎng)AI科技評論的編輯們也將前往法國帶來一線報道。在這個深度學(xué)習(xí)會議舉辦之前，雷鋒網(wǎng)也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。
ICLR，全稱為「International Conference on Learning Representations」（國際學(xué)習(xí)表征會議），2013 年才剛剛成立了第一屆。這個一年一度的會議雖然今年才辦到第五屆，但已經(jīng)被學(xué)術(shù)研究者們廣泛認(rèn)可，被認(rèn)為「深度學(xué)習(xí)的頂級會議」。
盡管彼時頂級的國際會議多如牛毛，像雷鋒網(wǎng)曾經(jīng)覆蓋過的 AAAI、CVPR、ACL 及 NIPS 等會議，都是擁有多年歷史的老牌學(xué)術(shù)會議，它們也被 CCF 評選為一類會議。那么為何 ICLR 還會「后來居上」，一躍成為深度學(xué)習(xí)炙手可熱的無冕之王呢？
首先，這個會議的來頭不小，由位列深度學(xué)習(xí)三大巨頭之二的 Yoshua Bengio 和 Yann LeCun 牽頭創(chuàng)辦。
Yoshua Bengio 是蒙特利爾大學(xué)教授，深度學(xué)習(xí)三巨頭之一，他領(lǐng)導(dǎo)蒙特利爾大學(xué)的人工智能實驗室（MILA）進行 AI 技術(shù)的學(xué)術(shù)研究。MILA 是世界上最大的人工智能研究中心之一，與谷歌也有著密切的合作。
而 Yann LeCun 就自不用提，同為深度學(xué)習(xí)三巨頭之一的他現(xiàn)任 Facebook 人工智能研究院（FAIR）院長、紐約大學(xué)教授。作為卷積神經(jīng)網(wǎng)絡(luò)之父，他為深度學(xué)習(xí)的發(fā)展和創(chuàng)新作出了重要貢獻(xiàn)。
至于創(chuàng)辦 ICLR 的原因何在，雷鋒網(wǎng)嘗試從 Bengio 和 LeCun 于 ICLR 第一屆官網(wǎng)所發(fā)布的公開信推測一二。
「眾所周知，數(shù)據(jù)的應(yīng)用表征對于機器學(xué)習(xí)的性能有著重要影響。表征學(xué)習(xí)的迅猛發(fā)展也伴隨著不少問題，比如我們?nèi)绾胃玫貜臄?shù)據(jù)中學(xué)習(xí)更具含義及有效的表征。我們對這個領(lǐng)域展開了探索，包括了深度學(xué)習(xí)、表征學(xué)習(xí)、度量學(xué)習(xí)、核學(xué)習(xí)、組合模型、非常線性結(jié)構(gòu)預(yù)測及非凸優(yōu)化等問題。
盡管表征學(xué)習(xí)對于機器學(xué)習(xí)及包括視覺、語音、音頻及 NLP 領(lǐng)域起著至關(guān)重要的作用，目前還缺乏一個場所，能夠讓學(xué)者們交流分享該領(lǐng)域所關(guān)心的話題。ICLR 的宗旨正是填補這一鴻溝。」
從兩人的說法中，ICLR 希望能為深度學(xué)習(xí)提供一個專業(yè)化的交流平臺。但實際上 ICLR 不同于其它國際會議，得到好評的真正原因，并不只是他們二位所自帶的名人光環(huán)，而在于它推行的 Open Review 評審制度。
目前的論文審核主要分為單盲 (single-blind review)、雙盲 (double-blind review) 及開放評審（open review）等多種形式。單盲評審的含義非常簡單，即評審知道作者的名字、學(xué)校等身份信息，但作者并不知道評審論文的人是誰；而雙盲評審則是雙方都不知曉彼此的身份信息。這兩種方式為較多學(xué)術(shù)會議及期刊評審論文的主要途徑。
單盲評審的優(yōu)勢非常明顯，即評審處于匿名身份，可以讓評審免受壓力，但評審由于知道了論文的作者信息，則非常有可能產(chǎn)生刻板印象，產(chǎn)生不夠客觀的評審結(jié)果。比如，對于比較有名的學(xué)者，評審會對論文的質(zhì)量產(chǎn)生預(yù)設(shè)。而雙盲評審則能夠大幅降低作者個人信息所帶來的附加效應(yīng)，不過，評審也非常有可能從行文、主題中判斷作者的信息。
而 Open Review 則非常不同，根據(jù)規(guī)定，所有提交的論文都會公開姓名等信息，并且接受所有同行的評價及提問（open peer review），任何學(xué)者都可或匿名或?qū)嵜卦u價論文。而在公開評審結(jié)束后，論文作者也能夠?qū)φ撐倪M行調(diào)整和修改。
ICLR 雖然并不一定是第一個采用 Open Review 進行論文評審的機構(gòu)，但一定是做得最公開、影響范圍最大的一個會議。雖然 ICLR 開了公開透明的先河，但也有可能引來爭議及不必要的輿論討論，比如前段時間雷鋒網(wǎng)提及的 ICLR 最佳論文，就在 Open Review 上引來了公開討論。
目前 ICLR 的歷屆所有論文及評審討論的內(nèi)容，都完整地保存在 OpenReview.net 上，它也是 ICLR 的官方投稿入口。OpenReview.net 是馬薩諸塞大學(xué)阿默斯特學(xué)院 Andrew McCallum 為 ICLR 2013 牽頭創(chuàng)辦的一個公開評審系統(tǒng)，秉承公開同行評審、公開發(fā)表、公開來源、公開討論、公開引導(dǎo)、公開推薦、公開 API 及開源等八大原則，得到了 Facebook、Google、NSF 和馬薩諸塞大學(xué)阿默斯特中心等機構(gòu)的支持。此外，目前它也接受其它學(xué)術(shù)會議的論文投遞。
這樣的公開評審制度在雙盲或單盲的學(xué)術(shù)會議環(huán)境下可謂一股清流，迅速吸引了學(xué)界的注意。
那么大家對 ICLR 的風(fēng)評如何？雷鋒網(wǎng) AI 科技評論在 Quora 上看到不少人對 ICLR 的評價，發(fā)現(xiàn)幾個特點：
首先，ICLR 經(jīng)常與幾個名聲在外的大會相提并論，比如在這個提問中指出：「對于 ML&NLP 的低年級博士生，第一次在像 ICML/ACL/NIPS/ICLR?NAACL 等頂級會議中發(fā)表論文是一種怎樣的體驗？」
還有「像 NIPS/ICML/ICLR/AAAI 等會議是如何篩選論文的？」這樣的問題，可以看出提問者對于 ICLR 還是非常看重的。
其次，Bengio 等大牛也在一些深度學(xué)習(xí)的回答中巧妙地植入了 ICLR 的「軟廣」，比如在 2014 年一個題為「深度學(xué)習(xí)近年有哪些活躍的研究領(lǐng)域？」中，Bengio 就回答道：
「我建議你看看 ICLR 2013 和 2014 的論文，可能會帶給你一些啟發(fā)。……」
約翰霍普金斯計算機科學(xué)教授 Jason Eisner 也提及，「我受邀在 ICLR/NIPS 和 ICML 做了 workshop 報道。」
LeCun 在一個題為「2016 年你讀過的最有趣的論文是什么？」的問題中，他說：「我不想選那些什么最佳論文，但我會看看 ICLR 2016 的論文。」隨后丟出了一個 ICLR 2016 的入選論文列表。
大牛們在 Quora 上的背書和關(guān)注，同樣也會借助名人效應(yīng)引起更多讀者的關(guān)注和了解，而這樣的循環(huán)往復(fù)，又能吸引優(yōu)質(zhì)論文的產(chǎn)出和評選，加上合理評審機制的學(xué)術(shù)氛圍，也能形成正向的反饋。因此，也有不少巨頭或大公司研究院紛紛向 ICLR 投遞論文，形成了良性循環(huán)。
以谷歌為例，在 ICLR 舉辦第一屆時，谷歌投遞了 10 篇論文，2014 年投遞了 9 篇，2016 年也只是不溫不火的 11 篇論文，而今年這個數(shù)字達(dá)到了 88 篇（包括與其它機構(gòu)合作的論文）。
值得一提的是，兩位組委會成員也不遺余力地支持 ICLR，LeCun 今年一口氣向 ICLR2017 投遞了五篇論文，而更猛的是 Yoshua Bengio，他投遞了 16 篇論文。
回望 ICLR 的短短五年，在名人效應(yīng)、合理機制及大牛背書的幫助下，ICLR一躍成為最為炙手可熱的學(xué)術(shù)會議。有意思的是，第一屆 ICLR 可能由于規(guī)模較小，當(dāng)時是和 AISTATS 2013（第 16 屆國際人工智能及統(tǒng)計會議）一同合辦的，殊不知 ICLR 在短短五年間迅速成為深度學(xué)習(xí)領(lǐng)域無人不知的頂級會議，當(dāng)真是今非昔比呀。雷鋒網(wǎng)也將帶來更多關(guān)于 ICLR 2017 的新聞，敬請關(guān)注。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
