深度學習理論研究已進入瓶頸期？看看李飛飛們怎么說

AI圈推特紅人，Keras框架的作者Fran?ois Chollet又搞大新聞了！近日Fran?ois Chollet在推特上發推稱：“深度學習研究已經進入了瓶頸期。將深度學習應用于解決現實生活問題的應用正在迎來一個大爆發。”

這條推特下很快獲得了上千個贊、數百轉發，以及一系列熱烈討論。從回復中看，不少回復者（尤其是產業界人士）認為，“深度學習進入平臺期”的提法值得商榷，雷鋒網節選了其中幾條：

Buzzfeed首席數據科學家、哥倫比亞大學客座助理教授Adam Kelleher：

會不會這只是社交網絡造成的樣本偏差？

Machinebox.io創始人David Hernandez：

在我看來在“實際問題”的應用上還是很有限。我和不少人聊過，他們往往做的是Chatbot、欺詐檢測或者推薦這三類應用之一。

愛丁堡大學助理教授、艾倫·圖靈學院Fellow Charles Sutton?：

我們能不能先討論整個深度學習的繁榮時代是否已經到來？

Google Research研究員David Berthelot：

我覺得如果你寫一篇長文章來解釋一下，為什么你認為現在的深度學習已經進入平臺期，這對于我和其他讀者來說更有啟迪性。

CarrerBuilder大數據首席研究員Faizan Javed：

增強學習難道不是新的熱點嗎？

而Google Cloud機器學習負責人斯坦福大學副教授李飛飛則贊同Fran?ois Chollet的觀點，但同樣表示深度學習還有很長的路要走：

同意！大浪淘沙，最后只有少數工具青史留名；學無止境，（深度學習）無論在智力、人力或機器設備方面，都還有很長的路要走。

那么其他人怎么看呢？雷鋒網就深度學習的理論研究進展與實際應用趨勢征詢了若干專家的意見：

微軟亞洲研究院主任研究員鄭宇表示，深度學習爆發的瓶頸在人工智能技術與傳統行業的對接：

我部分認同這個觀點。目前的數據、技術和基礎設施確實已經成熟，可以迎來未來應用的爆發，但能否爆發的瓶頸可能不在技術本身，而在于人工智能技術與傳統行業的對接。AI的未來不在IT業，而在于AI跟廣大傳統行業的融合，如交通、規劃、能源、環境、物流、制造和金融等。AI從業者需要學習傳統行業知識，理解傳統業務的邏輯和痛點，并懂得用傳統行業的語言跟行業專家對接。既要幫助革新傳統行業，也要懂得尊重傳統行業，這需要有很強綜合實力的數據科學家。此類復合型人才的培養非常困難、周期長、且不容易量產，可能會成為制約AI大爆發的真正瓶頸。

地平線機器人創始人、前百度研究院副院長余凱對雷鋒網表示，深度學習理論研究的主流架構會收斂，很難有革命性的理論突破：

基本認同這一觀點。未來學術研究還是會基于當前研究持續進行，但是不會有革命性的，大家的主流架構會收斂，所以后續的重點是深度神經網絡在各個具體應用場景的落地部署。

密蘇里科大助理教授傅衍杰則用PHP框架化編程類比現在這一波深度學習：

基本同意這兩個觀點。類似web系統, 當年PHP大行其道，就是因為許多人用PHP編程語言，基于MVC的設計模式，設計了許多web編程框架。現在，深度學習也類似的涌現了許多編程框架 ，比如Tensor flow, Theano, Keras, Torch等等。這些框架使得Deep Learning變得更加易用，實現起來的編程工作量更小，出現錯誤的可能性更低。所以深度學習的確進入了一個平臺期。

結合數據挖掘的研究思路，深度學習通過層次化的學習模型，對研究對象進行表征學習，等于使用隱式的辦法去完成表征這一步驟。所以，深度學習是可以放入感知-表征-建模-應用，這么一個很實用也很接地氣的解決問題的思路中的。

華為諾亞方舟實驗室研究員李震國認為，理論往往是超前于應用的，計算能力的提升和大數據的出現正是印證了之前算法和理論的有效性：

我同意他的觀點。不是理論取得了突破，而是算法的有效性由于計算能力的提升和大數據的出現獲得了驗證。應用會一直是機器學習的重點，同時理論和可解釋性會一直被探索。除了GAN, deep meta-learning也值得關注。

密歇根州立大學助理教授湯繼良認為，深度學習工程化的門檻越來越低，而理論的門檻越來越高：

深度學習正在兩極化。大部分甚至越來越多的深度學習的人會偏向于工程化。包括建立更加全面便捷，快速甚至可視化的深度學習平臺，和adapt 甚至暴力地將深度學習應用到更加多的領域。小部分的深度學習研究者會偏向于理論化：解決深度學習的理論瓶頸包括可解釋性等。一個正在發生的趨勢是：工程化的門檻越來越低，而理論的門檻越來越高。所以我還是基本認同他的觀點 ，但是我們也非常地期待深度學習理論上的突破。

中科院自動化所副研究員張家俊認為，深度學習還未有真正的爆發性大規模成功應用：

我對深度學習理論沒深入研究，無法判斷理論研究的趨勢，不過在應用方面，顯然深度學習還未有真正的爆發性大規模成功應用，我覺得在各種實際應用問題中爆發應該是一個趨勢。在應用方面，關鍵的是針對特定應用，理解該領域的數據、場景和背景知識，選擇合適的深度學習方法，而不是魯莽地拿來即用。

結語

雷鋒網認為，如果從歷史的發展來看，當前深度學習領域的經典算法和理論往往都是已經提出了一段時間，而隨著計算能力和數據規模的發展，這些經典理論和算法逐步得到了驗證。如果從深度學習的問題和挑戰、以及解決問題的思路來說已經發展得比較完備，因此說深度學習“進入平臺期”也是不無道理。但從另一個角度看，進入“平臺期”的可能是一些深度學習的經典問題，但如果對于這些經典問題繼續深入研究，或許能夠從中發現之前沒有想到的解決方法（例如，在ImageNet圖像識別上，在Alex Krizhevsky用GPU死磕將效果大幅度提升之前，大部分人應該都不會想到AlexNet）。正如李飛飛所言，學無止境，深度學習還有很長的路要走 。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。