谷歌 DeepMind 的可微分神經(jīng)計(jì)算機(jī) DNC 怎么樣？看 Facebook AI 研究員田淵棟、賈揚(yáng)清怎么說

田淵棟，卡耐基梅隆大學(xué)機(jī)器人系博士學(xué)位、上海交通大學(xué)碩士學(xué)位和學(xué)士學(xué)位，前谷歌無人車項(xiàng)目組成員，現(xiàn)任 Facebook 人工智能組研究員，主要負(fù)責(zé) Facebook 的智能圍棋項(xiàng)目 Dark Forest。

賈揚(yáng)清，擁有加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)博士學(xué)位、清華大學(xué)碩士學(xué)位和學(xué)士學(xué)位，曾于新加坡國(guó)立大學(xué)、微軟亞洲研究院、NEC美國(guó)實(shí)驗(yàn)室、Google Brain工作，現(xiàn)任 Facebook 研究科學(xué)家，主要負(fù)責(zé)前沿AI 平臺(tái)的開發(fā)以及前沿的深度學(xué)習(xí)研究。

近日，谷歌的 AI 部門 DeepMind 開發(fā)了一種叫做可微分神經(jīng)計(jì)算機(jī)（DNC）的神經(jīng)網(wǎng)絡(luò)模型，相關(guān)論文發(fā)表于 10 月 12 日在線出版的《自然》雜志上，題為《 利用神經(jīng)網(wǎng)絡(luò)與外部動(dòng)態(tài)存儲(chǔ)器進(jìn)行混合計(jì)算》。這種新模型將神經(jīng)網(wǎng)絡(luò)與可讀寫的外部存儲(chǔ)器結(jié)合，既能像神經(jīng)網(wǎng)絡(luò)那樣通過試錯(cuò)和樣本訓(xùn)練進(jìn)行深度學(xué)習(xí)，又能像傳統(tǒng)計(jì)算機(jī)一樣處理數(shù)據(jù)。即使沒有先驗(yàn)知識(shí)，DNC 也可以解決規(guī)劃最佳路線、拼圖任務(wù)等小規(guī)模問題。

德國(guó)研究者 Herbert Jaeger 評(píng)論稱，這是目前最接近數(shù)字計(jì)算機(jī)的神經(jīng)計(jì)算系統(tǒng)，該成果有望解決神經(jīng)系統(tǒng)符號(hào)處理難題。

斯坦福大學(xué)心智、大腦和計(jì)算中心主任 Jay McClelland 稱，這項(xiàng)研究將成為人工智能領(lǐng)域“有趣且重要的里程碑”。

那么我們究竟該如何看待谷歌 Deepmind 團(tuán)隊(duì)最新發(fā)布的可微分神經(jīng)計(jì)算機(jī) DNC 呢？果然，已經(jīng)有人在知乎上提出這個(gè)問題。

編者注：該知乎提問中“谷歌deeplearning團(tuán)隊(duì)”實(shí)際上應(yīng)該指的是“谷歌Deepmind團(tuán)隊(duì)”。

截止發(fā)稿前，該問題有兩個(gè)回答，F(xiàn)acebook 人工智能組研究員田淵棟的回答獲得了 44 人贊同。

他認(rèn)為“革命性突破”言過其實(shí)，總的來說不及前兩篇 Nature。

這篇文章模型復(fù)雜，手工設(shè)計(jì)太多，實(shí)驗(yàn)相對(duì)簡(jiǎn)單，沒有在大規(guī)模數(shù)據(jù)集上測(cè)試性能，能成功地應(yīng)用于小規(guī)模搜索，但通用化還需要很久。

田淵棟在知乎上的回答，賈揚(yáng)清進(jìn)行了回復(fù)（鏈接）

賈揚(yáng)清認(rèn)為以前主要是手調(diào) feature（特征），而這次的 DNC 實(shí)際上是手調(diào)網(wǎng)絡(luò)，他在評(píng)論中提到的 Jitendra 應(yīng)該是加州大學(xué)伯克利分校的電氣工程與計(jì)算機(jī)科學(xué)系教授 Jitendra Malik。

在田淵棟的英文博客上，可以看到更多他對(duì)這篇論文的看法，我們首先來看看這篇題為《 Notes on DeepMind's 3rd Nature paper 》的文章。

以下為博文內(nèi)容：

最近 Deepmind 發(fā)表了他們?cè)凇蹲匀弧冯s志上的第三篇論文《 利用神經(jīng)網(wǎng)絡(luò)與外部動(dòng)態(tài)存儲(chǔ)器進(jìn)行混合計(jì)算》。他們?cè)O(shè)計(jì)了一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（深度 LSTM），反復(fù)發(fā)送新的讀/寫命令到外部存儲(chǔ)器，以及基于先前讀取存儲(chǔ)器和當(dāng)前輸入得到的動(dòng)作輸出。他們稱它為 DNC（可微分神經(jīng)計(jì)算機(jī)）。這里希望網(wǎng)絡(luò)能夠基于給定的信息進(jìn)行推理。他們用實(shí)驗(yàn)?zāi)Ｐ蛠硖幚?bAbI 推理任務(wù)，網(wǎng)絡(luò)遍歷/最短路徑預(yù)測(cè)，家庭樹的關(guān)系推理和拼圖游戲推理，其性能遠(yuǎn)遠(yuǎn)優(yōu)于沒有外部存儲(chǔ)器的 LSTM。

這里給出一些評(píng)價(jià)：

1、總體而言，他們是隱含地學(xué)到了基于搜索推理的啟發(fā)式函數(shù)（heuristic function)。正如他們?cè)谖恼轮刑岬降模骸耙粋€(gè)基于最短路徑訓(xùn)練的 DNC 的可視化結(jié)果顯示，它會(huì)逐步探索從開始到結(jié)束的每個(gè)節(jié)點(diǎn)輻射出的關(guān)系，直到找到整個(gè)連接路徑（補(bǔ)充視頻 1）。”我們也可以在倫敦地鐵任務(wù)（圖3）中看到類似的情況。這在小規(guī)模搜索的實(shí)驗(yàn)中可能是有效的，但在處理真正的問題時(shí)不一定是一個(gè)很好的策略。

2、似乎網(wǎng)絡(luò)中的手工調(diào)整設(shè)計(jì)很多。該網(wǎng)絡(luò)是給外部存儲(chǔ)器的下一組操作。外部存儲(chǔ)器上有許多類型的操作，組合了各種不同類型的 Attention 機(jī)制（基于內(nèi)容的 Attention 模型，隨之而來的寫入 Attention 模型，和基于讀寫的“用法”機(jī)制）。不確定哪個(gè)組件更重要。理想情況下，應(yīng)該有一個(gè)更自動(dòng)或更規(guī)律的方法。

3、幾個(gè)有趣的細(xì)節(jié)：

（1）直接用實(shí)際情況的答案訓(xùn)練一個(gè)連續(xù)結(jié)構(gòu)預(yù)測(cè)模型，這不是很好，因?yàn)楫?dāng)預(yù)測(cè)偏離了實(shí)際觀測(cè)情況，該模型可能會(huì)很容易失敗。在本文中，他們?cè)诮Y(jié)構(gòu)預(yù)測(cè)時(shí)使用了混合了實(shí)際觀測(cè)情況分布與當(dāng)前預(yù)測(cè)分布 DAgger。這使得預(yù)測(cè)的魯棒性很好。

（2）對(duì)于拼圖游戲來說，他們使用了 actor-critic-like 模型。在這種情況下，DNC 的輸出策略和價(jià)值功能取決于一開始作為輸入的游戲規(guī)則。這符合我們訓(xùn)練 Doom AI 的經(jīng)驗(yàn)，actor-critic-like 模型的收斂速度比Q-learning 快。

（3）課程訓(xùn)練（例如，先從簡(jiǎn)單的任務(wù)開始訓(xùn)練模式）起著重要的作用。這也符合我們訓(xùn)練 Doom AI 的經(jīng)驗(yàn)（我們很快將發(fā)表相關(guān)論文）。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。