0
| 本文作者： 我在思考中 | 2022-11-09 14:35 | 專題：ICLR 2019 |
編輯 | 陳彩嫻
11 月 5 日，人工智能頂級會議 ICLR 2023 的評審結果正式發布。
除了討論提交論文的分數、錄用可能性、如何 rebuttal 之外，Diffusion Model（擴散模型）成了今年 ICLR 的熱門關鍵詞之一，以擴散模型為研究主題的投稿論文數量出現暴漲，所涵蓋的具體方向也十分廣泛。
ICLR 2023 的論文提交截止日期是今年的 9 月 28 日，距離文本生成圖像模型 DALL·E 2 的問世不過 5 個月，Stable Diffusion 的發布也只是在 8 月份。擴散模型這一波研究熱潮，實在是“擴散”得飛快，AIGC 的興起正當時。
ICLR 全稱是 International Conference on Learning Representations（國際學習表征會議），由深度學習三巨頭其中的兩位 Yoshua Bengio 和 Yann LeCun 牽頭創辦于2013年，在人工智能領域地位舉足輕重。ICLR 2023 將于 2023 年 5 月 1 日至 5 月 5 日在盧旺達基加利舉行。
本屆會議共計有 6300 份初始摘要投稿和 4922 份經過評審的投稿，其中經過評審的投稿比去年增加了 32.2%。在 4922 份投稿中，有 99%（4883）得到了至少 3 份評審，一共有超過 18500 份評審。
ICLR 的審稿分數和意見全部在 OpenReview 平臺上公開，一些網友已經爬取了平臺上本輪審稿的論文得分數據，做了相關排名統計。
論文評分方面，今年的論文平均得分為 4.95。最終的論文錄用結果尚未公布，參照上一年 32.3% 的錄用率，今年共有 1556 篇左右的論文有希望被錄用，最低均分線在 5.50 分。
圖注：ICLR 2023 論文評分分布
毫無疑問，擴散模型在今年是一個大熱門，從 ICLR 2023 的論文投稿情況就能看出，這波研究熱潮已經掀起。
從提交論文的主題來看，最熱門的方向與往年相差不大，強化學習、深度學習、表征學習、圖神經網絡等仍舊是熱點。而其中尤其引人注目的，是排在第 14 名的 Diffusion model。
從下圖顯示的頻率排名變化幅度最大的前 10 個論文關鍵詞可以看到，去年的 Diffusion model 還排在第 173 名。
論文題目中的關鍵詞頻率也印證了擴散模型的研究熱度有多高：
上圖是論文標題關鍵詞頻率排名變化幅度最大的前 10 個關鍵詞，diffusion 位列第 2，從去年的第 132 名大幅暴增到第 25 名。
甚至有網友開玩笑，不如就把 ICLR 2023 的名字改為“Diffusion Conference 2023”吧......
據粗略統計，ICLR 2023 的論文投稿中，有 100 多篇論文以擴散模型為研究主題，在 233 篇得分為 7分（含）及以上的論文中，共有 13 篇涉及擴散模型。
這些工作所涵蓋的具體方向也十分廣，如高效采樣、與其他生成模型結合、在CV/NLP領域的應用、在多模態領域的應用、與強化學習結合、分子圖建模、擴散模型理論與理解、擴散模型泛化與拓展、擴散模型遷移、特殊結構數據的建模、魯棒性與穩定性、擴散模型的隱私保護，以及其他方向。
研究提出的生成模型涉及多個模態，模型本身的名字也是五花八門，過去幾個月令人驚艷的許多生成模型都在其中，如：
來自谷歌的文本生成 3D 模型 DreamFusion（被稱為“3D 版 DALL·E”），論文還得到了 8.0 的高分，總排名第 13。
另外還有谷歌發布的檢索增強的文本生成圖像模型 Re-Imagen、文本生成視頻模型 Phenaki，Meta 的文本生成視頻模型 Make-A-Video等等。
擴散模型所引發的這一波 AIGC 熱潮是席卷式的。擴散模型第一次被提出是在 2015 年（DPM，Diffusion Probabilistic Models），直到2020年，UC 伯克利的Pieter Abbeel 等人提出去噪擴散概率模型（Denoising Diffusion Probabilistic Model, DDPM），在圖像生成方面擊敗了 GAN，向世界展示了擴散模型的威力。
論文地址：https://arxiv.org/pdf/2006.11239.pdf
而擴散模型真正開始成為研究熱門，今年 4 月 OpenAI 發布的文本生成圖像模型 DALL·E 2 居功至偉，之后又有谷歌推出 Imagen，直接對標 DALL·E 2，文本生成圖像領域從此開始卷了起來。
今年 8 月，初創公司 Stability.AI 發布深度學習文生圖模型 Stable Diffusion，開源后更是一石激起千層浪，后續基于擴散模型的文本生成圖像模型可以說是越來越卷，并很快擴展到文本生成視頻、文本生成 3D、文本生成音頻等等。
如今，擴散模型已經當之無愧成為深度生成模型中新的 SOTA，其所引發的 AIGC 熱潮已經勢不可擋。
所以，想要進入 AIGC 這一賽道的可以早點行動了。
未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！
公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。
雷峰網(公眾號：雷峰網)
專題
