今日 Paper | 疾病狀態(tài)預測；網(wǎng)絡剪枝技術；代價體濾波；為新聞報道制作標題等

本文作者： AI研習社

2020-02-25 11:20

導語：為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊。

利用圖注意力網(wǎng)絡在單細胞數(shù)據(jù)集上預測疾病狀態(tài)

論文名稱：Disease State Prediction From Single-Cell Data Using Graph Attention Networks

作者：Neal G. Ravindra /Arijit Sehanobish /Jenna L. Pappalardo /David A. Hafler /David van Dijk

發(fā)表時間：2020/02/14

論文鏈接：https://paper.yanxishe.com/review/11807?from=leiphonecolumn_paperreview0225

推薦原因

核心問題: 本文解決的是在單細胞RNA序列數(shù)據(jù)集上進行多發(fā)硬化癥(MS)預測的問題。此前，單細胞RNA序列從來未用來疾病的預測和診斷。同時，多發(fā)硬化癥(MS)的診斷也十分困難。創(chuàng)新點: 圖注意網(wǎng)絡(GAT)可以很好的提取原始特征信息以及圖結構信息，本文就使用的是圖注意力網(wǎng)絡(GAT)，主要深度提取到了對于疾病預測很重要的特征(如細胞類型和基因特征)，并把這些特征加入到了現(xiàn)有多發(fā)硬化癥的知識體系。同時，還利用此模型進行了細胞新特征空間的推斷，而這些特征重點體現(xiàn)了不同疾病狀態(tài)之間的區(qū)別。最后，作者還利用注意力權重學習到了一種新的低維嵌入表示，提取出了重要基因特征，并可視化了學習出的的圖表示。研究意義: 該模型結果超過了圖卷積網(wǎng)絡，隨機森林和多層感知機這幾種傳統(tǒng)機器學習方法，是第一個將深度學習方法在單細胞數(shù)據(jù)集上預測疾病的模型。

今日 Paper | 疾病狀態(tài)預測；網(wǎng)絡剪枝技術；代價體濾波；為新聞報道制作標題等

無語預訓練的網(wǎng)絡剪枝技術

論文名稱：Pruning from Scratch

作者：Yulong Wang /Xiaolu Zhang /Lingxi Xie /Jun Zhou

發(fā)表時間：2019/9/27

論文鏈接：https://paper.yanxishe.com/review/11951?from=leiphonecolumn_paperreview0225

推薦原因

核心問題：深度學習之所以有效，一個很大的原因就是它的擬合能力很強，雖然這是它的優(yōu)勢，但是也會帶來一些問題，一個主要的問題就是模型過大往往需要大量的數(shù)據(jù)，而且訓練速度慢，所以減少模型大小和運行延時也成為逐漸關注的需求，這對于部署于邊緣移動端設備有實際應用價值。

創(chuàng)新點：該論文證實了一個有效的剪枝結構無需從預訓練權重得到，預訓練權重得到的剪枝結構往往是同質(zhì)缺乏多樣性的，這很有可能限制了更好性能結構的探索。他們發(fā)現(xiàn)直接從隨機初始化權重即可以剪枝得到更多樣且最終性能更好的剪枝結構。

研究意義：這不僅極大的加速了模型剪枝流程，減少費時繁重的訓練過程，同時也為模型剪枝領域提供了一個強有力的基準結果。在CIFAR10上壓縮分類模型的實驗，方法不僅大大減少了傳統(tǒng)剪枝方法的預訓練負擔，而且在相同的計算預算下，達到了相似甚至更高的精度。

用于深度立體匹配的自適應單峰匹配代價體濾波

論文名稱：Adaptive Unimodal Cost Volume Filtering for Deep Stereo Matching

作者：Zhang Youmin /Chen Yimin /Bai Xiao /Yu Suihanjin /Yu Kun /Li Zhiwei /Yang Kuiyuan

發(fā)表時間：2019/9/9

論文鏈接：https://paper.yanxishe.com/review/11811?from=leiphonecolumn_paperreview0225

推薦原因

論文提出給匹配代價體（cost volume）添加自適應單峰分布的真值信息來監(jiān)督，從而提升立體視差估計的準確率。本文的創(chuàng)新點比較新穎，關注的是以往被忽略的匹配代價體的監(jiān)督問題，從理論上得出匹配代價體的分布是單峰分布。作者所提出的CENet和stereo focal loss也直觀而有效。行文寫作簡潔明了，值得學習。立體匹配方法最大的難點是缺少泛化性能，本文對匹配代價體的概率分布施加約束，能夠作為輔助的監(jiān)督信息，適用于多種基于匹配代價體的立體匹配方法。

基于運動自適應反饋單元的視頻人臉超分辨率

論文名稱：Video Face Super-Resolution with Motion-Adaptive Feedback Cell

作者：Xin Jingwei /Wang Nannan /Li Jie /Gao Xinbo /Li Zhifeng

發(fā)表時間：2020/2/15

論文鏈接：https://paper.yanxishe.com/review/11810?from=leiphonecolumn_paperreview0225

推薦原因

這篇論文考慮的是視頻超分辨率的問題。

目前的CNN方法通常將這個問題視為大量單獨的多幀超分辨率任務，即一批低分辨率幀用于生成單個高分辨率幀。然而由于幀與幀之間的復雜時間依賴性，隨著低分辨率輸入幀數(shù)量增加，重構的高分辨率幀性能會變差。這篇論文提出了一種運動自適應反饋單元（Motion-Adaptive Feedback Cell，MAFC），可以有效捕獲運動補償并將其以自適應方式反饋到網(wǎng)絡。這種方法有效利用了幀間運動的信息，可以避免網(wǎng)絡對運動估計和補償方法的依賴。此外，得益于運動自適應反饋單元的出色特性，在極端復雜的運動場景下，新提出的方法可以實現(xiàn)更好的性能。