今日 Paper | 點(diǎn)云分類框架；多模式Transformer；神經(jīng)網(wǎng)絡(luò)；有序神經(jīng)元等

用于行人重識(shí)別的三元組在線實(shí)例匹配丟失

用于DSTC8 AVSD挑戰(zhàn)的帶指針網(wǎng)絡(luò)的多模式Transformer

PointAugment：一種自動(dòng)增強(qiáng)的點(diǎn)云分類框架

尋找稀疏、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)

有序神經(jīng)元：將樹結(jié)構(gòu)集成到遞歸神經(jīng)網(wǎng)絡(luò)中

論文名稱：Triplet Online Instance Matching Loss for Person Re-identification

作者：Li Ye /Yin Guangqiang /Liu Chunhui /Yang Xiaoyu /Wang Zhiguo

發(fā)表時(shí)間：2020/2/24

論文鏈接：https://paper.yanxishe.com/review/12688?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文要解決的是行人重識(shí)別問題。

在線實(shí)例匹配（OIM）損失函數(shù)和三元組（Triplet）損失函數(shù)是行人重識(shí)別問題的主要方法。但這兩個(gè)損失函數(shù)都有缺點(diǎn)，OIM損失對(duì)所有樣本均等對(duì)待，沒有關(guān)注困難樣本，三重?fù)p失以復(fù)雜且繁瑣的方式來處理批處理樣本，因此收斂速度很緩慢。針對(duì)這些問題，這篇論文提出了三元組在線實(shí)例匹配（TOIM）損失函數(shù)，該函數(shù)能著重于困難樣本并能有效地提高行人重識(shí)別模型的準(zhǔn)確性。TOIM結(jié)合了OIM損失和Triplet損失的優(yōu)點(diǎn)，并簡(jiǎn)化了批處理過程，從而使收斂更快。

論文名稱：Multimodal Transformer with Pointer Network for the DSTC8 AVSD Challenge

作者：Le Hung /Chen Nancy F.

發(fā)表時(shí)間：2020/2/25

論文鏈接：https://paper.yanxishe.com/review/12687?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文要解決的是視聽場(chǎng)景感知對(duì)話（Audio-Visual Scene-Aware Dialog，AVSD）問題。

視聽場(chǎng)景感知對(duì)話要求對(duì)話代理生成自然語言響應(yīng)以解決用戶查詢并進(jìn)行對(duì)話。這是一項(xiàng)具有挑戰(zhàn)的任務(wù)，因?yàn)槠浒嗄B(tài)視頻功能，例如包括文本、視覺和音頻特征。對(duì)話代理還需要學(xué)習(xí)用戶話語和系統(tǒng)響應(yīng)之間的語義依賴，以便與人類進(jìn)行連貫對(duì)話。這篇論文介紹該團(tuán)隊(duì)向第八屆對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽（Dialogue System Technology Challenge）提交的AVSD參賽作品，采用了點(diǎn)積方式來結(jié)合輸入視頻的文本和非文本特征，通過在每個(gè)生成步驟中采用指針網(wǎng)絡(luò)指向來自多個(gè)源序列的Tokens，進(jìn)一步增強(qiáng)對(duì)話代理的生成能力。

論文名稱：PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

作者：Li Ruihui /Li Xianzhi /Heng Pheng-Ann /Fu Chi-Wing

發(fā)表時(shí)間：2020/2/25

論文鏈接：https://paper.yanxishe.com/review/12686?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文被CVPR 2020接收，要解決的是點(diǎn)云分類的問題。

這篇論文提出了一個(gè)名為PointAugment的點(diǎn)云分類框架，當(dāng)訓(xùn)練分類網(wǎng)絡(luò)時(shí)，該框架會(huì)自動(dòng)優(yōu)化和擴(kuò)充點(diǎn)云樣本以豐富數(shù)據(jù)多樣性。與現(xiàn)有的2D圖像自動(dòng)增強(qiáng)方法不同，PointAugment具有樣本感知功能，并采用對(duì)抗學(xué)習(xí)策略來共同優(yōu)化增強(qiáng)器網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，學(xué)習(xí)生成最適合分類器的增強(qiáng)樣本。PointAugment根據(jù)形狀分類器和點(diǎn)位移來構(gòu)造可學(xué)習(xí)的點(diǎn)增強(qiáng)函數(shù)，并根據(jù)分類器的學(xué)習(xí)進(jìn)度精心設(shè)計(jì)損失函數(shù)以采用增強(qiáng)樣本。PointAugment在改善形狀分類和檢索中的有效性和魯棒性得到了實(shí)驗(yàn)的驗(yàn)證。

論文名稱：THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS

作者：Jonathan Frankle /Michael Carbin

發(fā)表時(shí)間：2019/3/3

論文鏈接：https://paper.yanxishe.com/review/12586?from=leiphonecolumn_paperreview0304

推薦原因

核心問題：一個(gè)標(biāo)準(zhǔn)的剪枝技術(shù)能夠自然地發(fā)現(xiàn)子網(wǎng)絡(luò)結(jié)構(gòu)，這些子網(wǎng)絡(luò)的初始化能夠幫助網(wǎng)絡(luò)更有效地訓(xùn)練。

創(chuàng)新點(diǎn)：本研究提出一種 lottery ticket hypothesis：對(duì)于那些包含子網(wǎng)絡(luò) 結(jié)構(gòu)的密集、隨機(jī)初始化前饋網(wǎng)絡(luò)，當(dāng)單獨(dú)訓(xùn)練這些子網(wǎng)絡(luò)時(shí)，通過相似的訓(xùn)練迭代次數(shù)能夠取得與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y(cè)試性能。而

研究意義：實(shí)驗(yàn)結(jié)果表明，在 MNIST 和 CIFAR-10 數(shù)據(jù)集上，子網(wǎng)絡(luò)的規(guī)模始終比幾種全連接結(jié)構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)小10%-20%。當(dāng)規(guī)模超過這個(gè)范圍時(shí)，子網(wǎng)絡(luò)能夠比原始網(wǎng)絡(luò)有更快的學(xué)習(xí)速度和更好的測(cè)試精度表現(xiàn)。

論文名稱：ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

作者：Yikang Shen /Shawn Tan /Alessandro Sordoni /Aaron Courville

發(fā)表時(shí)間：2019/5/8

論文鏈接：https://paper.yanxishe.com/review/12585?from=leiphonecolumn_paperreview0304

推薦原因

核心問題：標(biāo)準(zhǔn)的 LSTM 結(jié)構(gòu)允許不同的神經(jīng)元跟蹤不同時(shí)間維度信息，但它對(duì)于層級(jí)結(jié)構(gòu)建模中的各組成沒有明確的偏向。

創(chuàng)新點(diǎn)：本文提出神經(jīng)元排序策略來添加一個(gè)歸納偏置量，當(dāng)主輸入向量和遺忘門結(jié)構(gòu)確保給定的神經(jīng)網(wǎng)絡(luò)更新時(shí)，后續(xù)跟隨的所有神經(jīng)元也將隨之更新。

研究意義：這種集成樹結(jié)構(gòu)的新穎循環(huán)神經(jīng)網(wǎng)絡(luò) ON-LSTM在四種不同的 NLP 任務(wù)：語言建模、無監(jiān)督解析、目標(biāo)句法評(píng)估和邏輯推理上都取得了良好的表現(xiàn)。

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點(diǎn)」，通過論文整理推薦、點(diǎn)評(píng)解讀、代碼復(fù)現(xiàn)。致力成為國內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛學(xué)術(shù)的你，可以加入我們的論文作者團(tuán)隊(duì)。

加入論文作者團(tuán)隊(duì)你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

    2.豐厚的稿酬

    3.AI 名企內(nèi)推、大會(huì)門票福利、獨(dú)家周邊紀(jì)念品等等等。

加入論文作者團(tuán)隊(duì)你需要：

    1.將你喜歡的論文推薦給廣大的研習(xí)社社友

    2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團(tuán)隊(duì)，可以添加運(yùn)營(yíng)小姐姐的微信（ID:julylihuaijiang），備注“論文兼職作者”

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)