Yoshua Bengio大神為什么要留在學(xué)術(shù)界？

近日雷鋒網(wǎng)對深度學(xué)習(xí)三巨頭Hinton、LeCun、Bengio中的前兩位做了生平開扒，就差最后一個Bengio了。作為僅存的幾個仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一，他在網(wǎng)上能刮到的生平介紹自然比前兩位少得多，但雷鋒網(wǎng)還是盡自己開扒小能手的義務(wù)，為大家找到了所有我們能找到的資料，讓他不再活在傳說中。

1. 根據(jù)Bengio的博文自述，在20世紀(jì)80年代Bengio還是一個學(xué)生的時候，（深度學(xué)習(xí)只）是一個神經(jīng)網(wǎng)絡(luò)里的概念，也可以說是深度學(xué)習(xí)的前身，他對這個概念非常著迷并決定要在計算機(jī)科學(xué)領(lǐng)域開啟他的學(xué)術(shù)生涯。

2. 根據(jù)網(wǎng)傳的一張關(guān)系圖，Bengio曾是吳恩達(dá)恩師Jordan的博士后（在他那里讀的博士后）。

3. 1992-1993年時，Bengio與另一位深度學(xué)習(xí)大神Yann LeCun在AT&T 貝爾實驗室是同事。

4. Bengio 的 A neural probabilistic language model" 這篇論文開創(chuàng)了神經(jīng)網(wǎng)絡(luò)做 language model 的先河。里面的思路影響、啟發(fā)了之后的很多基于神經(jīng)網(wǎng)絡(luò)做 NLP（自然語音處理） 的文章。  

5. Bengio博士后的導(dǎo)師Jordan也曾提到：“到目前為止，在更高級的自然語言處理任務(wù)中，深度學(xué)習(xí)并未像在語音識別、物體識別（圖像識別）等任務(wù)上做到的那樣，顯著降低錯誤率。”

所以在Hinton提出深度學(xué)習(xí)概念激活了整個領(lǐng)域、LeCun發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)（CNN）這樣的階段性突破成果的前提下，Bengio對自然語音處理難題的貢獻(xiàn)是非常有意義的，說不定幾年后自然語音處理難題攻克后，他會更加名聲大噪。

6. 他能跟Hinton、LeCun合稱為3巨頭，除了對RNN的一系列推動（neural language model，gradient vanishing 的細(xì)致討論，word2vec的雛形）還有一個很重要的原因，他在神經(jīng)網(wǎng)絡(luò)不景氣的時候還堅持神經(jīng)網(wǎng)絡(luò)研究，具備了一種超越普通學(xué)術(shù)熱愛的品質(zhì)。

7. 2013年一些業(yè)界大牛響應(yīng)業(yè)界召喚去科技公司，Yoshua Bengio當(dāng)時估計，全世界僅有約 50 名深度學(xué)習(xí)領(lǐng)域?qū)＜?，其中許多還仍是研究生。

8. 2015年4月，吳恩達(dá)Reddit答粉絲問時提到他的時候，表示“Yoshua Bengio的許多理論研究對我有很大啟發(fā)”。

9. 關(guān)于Bengio為什么不像其它兩位大牛加入Google或者Facebook來讓自己更加名聲大噪，或許我們可以從Hinton的說辭中一窺一二。

10. Bengio在最近的博文中稱，這個領(lǐng)域所需要做的事光靠幾個“媒體明星”是遠(yuǎn)遠(yuǎn)不夠的。為了達(dá)成更大的進(jìn)步并實現(xiàn)更多的應(yīng)用，人工智能領(lǐng)域無論在學(xué)術(shù)界還是工業(yè)界都需要成千上萬個科學(xué)家和工程師們。

對于大公司的人才搶奪策略，Hinton曾說，“有些危險的是，如果足夠多的大公司雇了足夠多的研究人員，那么，大學(xué)就沒有足夠多的人來培養(yǎng)學(xué)生、進(jìn)行純粹的基礎(chǔ)研究了?！钡?，他又認(rèn)為，技術(shù)公司已經(jīng)意識到這些問題了，比如，谷歌希望Bengio繼續(xù)自己的基礎(chǔ)研究。所以，Bengio全身心投入在學(xué)術(shù)界，并不是因為他有多么排斥業(yè)界，而是他要留在學(xué)生界做更重要的事——帶頭培養(yǎng)成千上萬個科學(xué)家和工程師們。

而另一方面，我們知道最近深度學(xué)習(xí)在各個領(lǐng)域應(yīng)用之所以這么成功，主要得益于現(xiàn)在更為強(qiáng)大的計算機(jī)、可用的海量豐富數(shù)據(jù)集以及先進(jìn)的算法，深度學(xué)習(xí)本身的理論進(jìn)展卻很小。自2006年Hinton、Yoshua Bengio、Yann Lecun等人提出、發(fā)表相關(guān)工作以來，在理論上我們并未獲得大的進(jìn)展，或許，這也是Bengio要繼續(xù)留在學(xué)術(shù)界的另一個原因。

相關(guān)：

人類群星閃耀時 | 深度學(xué)習(xí)鼻祖杰夫·辛頓：沒有他就沒有今天的人工智能

人類群星閃耀時 | Facebook人工智能負(fù)責(zé)人Yann LeCun：讓深度學(xué)習(xí)擺脫束縛

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。