2
雷鋒網 AI 科技評論消息，Facebook人工智能研究中心FAIR負責人、深度學習三駕馬車之一的Yann LeCun昨天在Facebook上評論轉發了一條動態。Yann LeCun轉發的這條動態來自跟他合作的一位紐約大學在讀博士生Jake Zhao，介紹了一篇已經上傳arXiv的論文。論文介紹了一種可以幫助GAN使用離散數據的“對抗性正則化的自動編碼器”（ARAE，Adversarially Regularized Autoencoders）。Yann LeCun作為這篇論文的合作作者之一，轉發這條消息并且進行了解讀和評價。
根據論文原文，雷鋒網 AI 科技評論整理了這樣一張圖，可以對ARAE要解決的問題做一個大體的認識：
如圖是原動態和Yann LeCun的轉發評論，譯文請見下文
Adversarially Regularized Autoencoders（對抗性正則化的自動編碼器，ARAE）是一種新的方法，它可以把編碼的內容信息限制在一個自動編碼器中，并且防止該自動編碼器學習到身份函數。為了達到這樣的目標，以前就有過一些sparse AE（稀疏自動編碼器）、variational AE（變分自動編碼器，在代碼中加入噪聲）、denoising AE（降噪自動編碼器）這樣的嘗試，也有人用差異對比這樣的對比方法和其它基于MCMC（Markov Chain Monte Carlo，隨機模擬）的方法。這次，我們用一組對抗性的生成器和鑒別器來生成指定熵的樣本，并且我們借助鑒別器讓自動編碼器中編碼的分布跟這對生成器鑒別器的分布相匹配。
經過訓練以后，這個自動編碼器的生成器和編碼器部分就可以用作一個生成性模型。
ARAE可以有一種厲害的用法，就是可以在對抗性的設定下生成離散性的結構（比如文本）。由于對抗的過程是發生在（連續）編碼上的，而不是輸出上，這就可以緩解對抗性鑒別器直接用在離散輸出上時可能會遇到的問題。
這項研究中有紐約大學、哈佛大學、FAIR多方合作，幾個參與者是，紐約大學數據科學碩士畢業生、博士在讀Jake Zhao，哈佛大學校友、博士在讀Yoon Kim，紐約大學本科生Kelly Zhang，哈佛大學學生Sasha Rush，以及我自己。
剛剛發表了這篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"（用于生成離散結構的對抗性正則化的自動編碼器）論文，感覺非常激動，幾個共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厲害。
論文地址：https://arxiv.org/abs/1706.04223
代碼地址（有Torch和PyTorch兩個版本）：https://github.com/jakezhaojb/ARAE
對于在離散結構上進行對抗性訓練，我們提出了一個簡單的解決方案：通過重新構建的方式訓練一個序列到序列的轉換模型，然后讓GAN在連續編碼空間中工作。同時，從GAN傳回到序列轉換模型的梯度也對訓練一個有意義的自動序列轉換模型起到了很大幫助。通過努力，我們得到了一個圖像GAN網絡應當具有的一組理想屬性：生成性，z空間插值，向量計算。我們也基于語言模型生成樣本的質量對該方法進行了量化評估。
更多人工智能、機器學習方面的學術動態，請繼續關注雷鋒網 AI 科技評論。
相關文章：
Yoav Goldberg與Yann LeCun論戰背后：arXiv是個好平臺，但和學術會議是兩碼事
AI科技評論專訪Yann LeCun: 關于深度學習未來的14個問題
