0
| 本文作者： 奕欣 | 2017-09-06 10:32 |
雷鋒網 AI 科技評論按：在剛剛結束的巴黎綜合理工學院舉行的 Data Science 暑期學校中，Yoshua Bengio 以《Deep Learning for AI》為主題進行了演講。在這節課上，Bengio 教授結合自己以往的研究經歷，回顧和分享了自己在深度學習領域的一些心得和經驗。雷鋒網 AI 科技評論整理如下。
在課程的最開始，Bengio 為自己的新書《Deep Learning》打了個小廣告（笑），表示目前雖然 MIT Press 已經集合成書，但原文依然可以在線閱讀。
深度學習已經取得了越來越重要的突破，從感知、掌握語言、玩游戲、或是分析上，深度學習的影響力一直不可小視。
從學習層面上看，深度學習是將知識傳遞給智能體的強大方法，但傳統 AI 方法失效的原因在于，大量的知識是直觀且難以傳遞的。因此，目前深度學習的主流方法是讓系統從數據和經驗中獲取知識。
要想讓深度學習真正向人工智能邁進，Bengio 認為需要滿足五個核心條件。
需要有大量的數據
要有靈活的模型
足夠的算力
計算機具有有效的推斷能力
也是最重要的一點，能夠避免層次（dimentionality）問題。
而 Bengio 認為，要解決最后一個問題，我們需要在深度學習模型中引入「組合性」的概念。
就像人類語言可以通過不同的組合形式來賦予句子意義，陳述復雜的想法，組合能夠在表征能力上實現指數級的提升。組合性（compostionality）能夠有效地對我們周圍的世界進行描述和理解。
在這里，Bengio 通過分布式表征/嵌入（特征學習）和深層建設（多層次的特征學習）兩個例子陳述了組合性的強大力量。
那么，深度學習既然存在已久，最近到底有哪些進展和變化呢？
Xavier Glorot 和 Bengio 在 AISTATS 2011 的論文《Deep Sparse Rectifier Neural Networks》中提出了一個重要的結論，即 ReLU 的稀疏表達能力是網絡性能提升的原因之一。
而在 2014 年的 NIPS 上，GANs 的提出讓無監督生成神經網絡在處理圖像、語音和文本上取得了新的進步。ICLR 15' 之后，以谷歌神經網絡為代表的基于注意力機制的深度學習發展，又將機器翻譯水平帶向了一個新的高度。注意力機制為神經網絡在記憶領域提供了一個嶄新的大門，而基于記憶增強的神經網絡也為分析與問題解答的相關系統提供了有效機制。
Bengio 也提出，在深度學習取得越來越好的表現之時，我們也開始思考為何深度學習能有這么好的效果。自然，不可忽略的一點是它的泛化性能非常好，而且在優化上，SGD 和非凸的特性也讓它取得了極好的效果。
目前在工業界，效果最好的依然是監督學習，而人類的無監督學習能力依然完勝計算機。也就是舉一反三的能力，比如一個兩歲小孩也能夠理解直觀物理學。小寶寶可以構建一個抽象但足夠可靠的物理模型，主要原因在于它與真實世界進行了互動，而不僅僅是作為旁觀者進行觀察。
谷歌大腦研究科學家 Hugo Larochelle 在 AAAI 2008 年和 Bengio、Dumitru Erhan 一起發表了《Zero-data Learning of New Tasks》，提出了零數據學習的概念；它與零例學習（Zero-Shot Learning）一起，在領域適應性上努力嘗試做出更多的遷移。
早期的 GANs 訓練了包括數字、人臉、風景、動物的一系列樣本，也包括卷積 GANs 的臥室圖片。
而在 CVPR 2017 上，Bengio 團隊也發表了一篇相關文章《即插即用生成網絡：在潛在空間中生成條件迭代圖像》。
此外，Bengio 還提及了一些遺漏的要點，比如：
系統的學習越主動，無監督學習的效果越好。
發現潛在的因果因素；
基于模型的的 RL，擴展到新的預測模型，能夠幫助分析一些難以觀察到的危險情況；
足夠的算力能夠讓模型捕捉到人類層面的知識；
自動挖掘不同的時間尺度，以處理長期依存關系；
真正要理解人類的語言，依然需要足夠的常識；
零例學習，以及抽象和闡述以往的觀察結果，得益于大規模的知識表征技術。
在演講的最后，Bengio 強調了深度 AI（Deep AI）的未來，他認為有如下幾點需要注意：
科學的進步是緩慢而漸進的，但社會層面和經濟層面的轉變則可能是具有顛覆性的。
我們面臨著許多基礎研究問題，雖然當我們逐一解決這些問題的時候，我們可能會面臨更多的不確定，但我們仍然會繼續攻克它們。
不論是出于長期或是短期的考慮，持續對基礎性/探究性 AI 研究進行投入非常重要。
讓我們繼續讓這一領域保持開放和自由，對社會影響保持開放的心態，并且相信，AI 將會持續發展，并受益我們的每一個人。
如果希望下載完整 PPT，歡迎關注f雷鋒網「AI 科技評論」（aitechtalk）并回復「Bengio」獲取下載鏈接。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
