0
雷鋒網(wǎng) AI 科技評論報道：位于日本的國際電氣通信基礎(chǔ)技術(shù)研究所（ATR）的計算神經(jīng)科學(xué)實驗室和京都大學(xué)日前聯(lián)合發(fā)布了一篇論文，他們可以借助 fMRI（功能性磁共振成像）技術(shù)和基于深度學(xué)習(xí)的算法根據(jù)人的大腦活動重建人類看到的圖像。雷鋒網(wǎng) AI 科技評論把論文簡介如下
在論文《Deep image reconstruction from human brain activity》（根據(jù)人類大腦活動進行深度圖像重建）中，作者們介紹道：「這個重建算法可以從一張隨機圖像出發(fā)，迭代地優(yōu)化其中的像素值，最終讓這張圖像經(jīng)過深度神經(jīng)網(wǎng)絡(luò)之后產(chǎn)生的特征和大腦活動經(jīng)過特征解碼后得到的多層特征類似。最終得到的優(yōu)化圖像就可以看作是對大腦活動的重建。」
為了收集訓(xùn)練數(shù)據(jù)，研究員們讓被試者觀看圖像，用 fMRI 記錄下他們當(dāng)時的大腦活動。觀看的圖像樣本包括幾何圖形、自然世界照片和字母；采集數(shù)據(jù)前后共花了 10 個月時間。
重建出的部分圖像請見下方動圖。
作者們用了許多不同的圖像輸入做了測試。可以看到每個類別的重建結(jié)果都和原圖差別不小，但已經(jīng)體現(xiàn)出了不小的區(qū)分度。考慮到 fMRI 能采集到的信息有限，同時人的視覺皮層的工作機理也還沒完全研究明了，這樣的結(jié)果已經(jīng)足以令人眼前一亮了。
原論文地址：https://www.biorxiv.org/content/early/2017/12/30/240317
論文摘要：用基于機器學(xué)習(xí)的方法分析人類 fMRI 的圖樣模式已經(jīng)讓可視化人類意識中的內(nèi)容變得可能。不過，之前的研究都僅限于低層次的基礎(chǔ)圖像元素，或者只是成功匹配了典型樣例。近期的一些工作已經(jīng)展現(xiàn)出，人類大腦視覺皮層的活動可以被解碼（翻譯）為深度神經(jīng)網(wǎng)絡(luò)的不同層級的特征，這就給利用層次化視覺特征帶來了新的方法。
在這篇論文中，作者們展示了一種全新的圖像重建方法：在采集人類大腦活動并將其解碼為多層特征之后，可以用優(yōu)化手段生成新的圖像，讓新的圖像的深度神經(jīng)網(wǎng)絡(luò)特征和前面解碼出的特征相似。作者們發(fā)現(xiàn)，這樣優(yōu)化得到的圖像和輸入圖像（fMRI 成像期間給人類測試者看的刺激圖像）很類似，不僅圖像本身的外觀類似，對圖像中內(nèi)容的主觀理解也類似。盡管作者們僅僅使用了日常照片訓(xùn)練模型，他們的方法還是可以成功泛化到人造形狀的重建中，這表明他們的方法確實可以根據(jù)人腦活動「重建」或者「生成」圖像，而不是簡單匹配了典型樣例。在生成圖像過程中，生成模型附加了一些讓重建的圖像更且像自然圖像的限制，這樣就以一種高效的方法讓重建的圖像帶有了具有語意意義的細節(jié)。根據(jù)人類觀察的反饋，綜合神經(jīng)網(wǎng)絡(luò)中多個不同的層的特征形成的圖像比只用單個層的圖像具有更高的視覺質(zhì)量。總的來說，這項研究表明人類大腦的層級化視覺信息可以被高效地綜合利用，重建出感知性的、主觀的圖像。
via NVIDIA Developer News，雷鋒網(wǎng) AI 科技評論編譯
相關(guān)文章：
DARPA 撥款 6500 萬美元用于腦機接口研發(fā)，一起來看各頂尖研究機構(gòu)的腦洞
近距離接觸類腦計算，看腦機接口如何走向腦機融合|CCF-ADL 新課報名中
專訪腦機接口研究先驅(qū)米格爾 ? 尼科萊利斯：馬斯克的觀點我不同意
要做好腦機接口技術(shù)，馬斯克和扎克伯格還差一本“菜譜”
