今日 Paper | 聯(lián)合抽取；流式語(yǔ)音識(shí)別；差異學(xué)習(xí)；Skip-Thought向量等

本文作者： AI研習(xí)社

2020-04-16 10:21

導(dǎo)語(yǔ)：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

在序列標(biāo)注模型中使用位置注意力進(jìn)行抽取實(shí)體與重疊關(guān)系的聯(lián)合抽取

論文名稱：Joint extraction of entities and overlapping relations using position-attentive sequence labeling

作者：Dai Dai / Xinyan Xiao / Yajuan Lyu / Shan Dou / Qiaoqiao She / Haifeng Wang

發(fā)表時(shí)間：2019/7/17

論文鏈接：https://paper.yanxishe.com/review/16071?from=leiphonecolumn_paperreview0416

推薦原因

本文設(shè)計(jì)了一種基于位置信息和上下文信息的注意力機(jī)制，同時(shí)將一個(gè)關(guān)系抽取任務(wù)拆成了n(n為句子的長(zhǎng)度)個(gè)序列標(biāo)注子任務(wù)，一個(gè)階段即可將實(shí)體、關(guān)系等信息抽取出來(lái)。

本文發(fā)表時(shí)在兩個(gè)數(shù)據(jù)集上達(dá)到了SOTA，并且對(duì)于跨度長(zhǎng)的關(guān)系、重疊關(guān)系表現(xiàn)尤其好。

作者創(chuàng)造性的設(shè)計(jì)了一種標(biāo)注方案(tag scheme)，拆分關(guān)系抽取任務(wù)，更巧妙的是，設(shè)計(jì)了位置注意力機(jī)制，將多個(gè)序列標(biāo)注任務(wù)放在同一個(gè)BLSTM模型中同時(shí)訓(xùn)練，讓我對(duì)注意力機(jī)制的理解更深了一層。

今日 Paper | 聯(lián)合抽取；流式語(yǔ)音識(shí)別；差異學(xué)習(xí)；Skip-Thought向量等

將混合CTC/Attention方法嵌入到Transformer結(jié)構(gòu)中實(shí)現(xiàn)在線端到端的流式語(yǔ)音識(shí)別架構(gòu)

論文名稱：TRANSFORMER-BASED ONLINE CTC/ATTENTION END-TO-END SPEECH RECOGNITION ARCHITECTURE

作者：Haoran Miao /Gaofeng Cheng /Changfeng Gao /Pengyuan Zhang /Yonghong Yan

發(fā)表時(shí)間：2020/1/15

論文鏈接：https://paper.yanxishe.com/review/15406?from=leiphonecolumn_paperreview0416

推薦原因

為了有效地解決在線流式語(yǔ)音識(shí)別問(wèn)題，作者先前提出了一種以BILSTM為基礎(chǔ)結(jié)構(gòu)的流式語(yǔ)音識(shí)別模型，本文是對(duì)上述的模型進(jìn)行改進(jìn)，一方面，采用transformer結(jié)構(gòu)，并對(duì)其decoder的注意力模塊進(jìn)行改造，以提高識(shí)別CER分?jǐn)?shù)。另一方面，對(duì)先前提出的將語(yǔ)音輸入分割為chunks的方法進(jìn)行改進(jìn)，重用了部分重合的chunks的的hidden state，以減少識(shí)別耗時(shí)。

本文最終達(dá)到了23.66%的CER分?jǐn)?shù)，并且僅有320ms的延時(shí)，同時(shí)，相對(duì)于離線的基線模型，CER分?jǐn)?shù)僅損失了0.19%，大大提升了識(shí)別效果。

注：代碼不是本文的實(shí)現(xiàn)代碼，僅僅包含了本文改進(jìn)的注意力機(jī)制部分。

基于人工反向修正數(shù)據(jù)的差異學(xué)習(xí)

論文名稱：LEARNING THE DIFFERENCE THAT MAKES A DIFFERENCE WITH COUNTERFACTUALLY-AUGMENTED DATA

作者：Divyansh Kaushik /Eduard Hovy /Zachary C. Lipton

發(fā)表時(shí)間：2019/9/6

論文鏈接：https://paper.yanxishe.com/review/15283?from=leiphonecolumn_paperreview0416

推薦原因

1 當(dāng)前很多優(yōu)秀的NLP模型，對(duì)數(shù)據(jù)中的虛假模式十分敏感，比如將文本分類模型中的關(guān)鍵詞用同義詞替代會(huì)使得模型效果大幅度降低，僅使用對(duì)話系統(tǒng)的問(wèn)題或內(nèi)容，在一些模型下，得到的結(jié)果與使用全部信息差別不大，等等。

2 針對(duì)以上問(wèn)題，作者以一個(gè)情感分析和句子推理的數(shù)據(jù)集為基礎(chǔ)，在眾包平臺(tái)上招募作者對(duì)數(shù)據(jù)集進(jìn)行反向修正，在盡量不修改樣本結(jié)構(gòu)的情況下，讓樣本轉(zhuǎn)變相反的標(biāo)簽，并以此為基礎(chǔ)在一系列機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的模型上進(jìn)行訓(xùn)練，并且驗(yàn)證了作者認(rèn)為反向修正的數(shù)據(jù)集能提高模型對(duì)于虛假模式的表現(xiàn)的想法。

3 使用高質(zhì)量的人工標(biāo)注樣來(lái)讓人類看起來(lái)傻乎乎的機(jī)器學(xué)習(xí)模型更加聰明，應(yīng)該有不少人在做了，我沒(méi)有做過(guò)相應(yīng)的實(shí)驗(yàn)，但是覺(jué)得這樣的做法很務(wù)實(shí)，其中用眾包的形式來(lái)采集修正數(shù)據(jù)的想法也很有意思。值得一提的是，盡管使用了修正數(shù)據(jù)讓模型能力提高了，但是對(duì)于基于bert預(yù)訓(xùn)練的模型提升效果有限，可能一方面由于bert模型從大量預(yù)料中學(xué)到了一些對(duì)抗虛假模式的知識(shí)，另一方面作者采取的實(shí)驗(yàn)是相對(duì)簡(jiǎn)單的句子級(jí)別的分類，期待作者關(guān)于對(duì)話系統(tǒng)的下一步工作。

利用一種基于多屬性鄰近度的方法從可比較的新聞?wù)Z料庫(kù)中挖掘事件

論文名稱：Mining News Events from Comparable News Corpora: A Multi-Attribute Proximity Network Modeling Approach

作者：Hyungsul Kim;Ahmed El-Kishky; Xiang Ren; Jiawei Han

發(fā)表時(shí)間：2019/11/14

論文鏈接：https://paper.yanxishe.com/review/15059?from=leiphonecolumn_paperreview0416

推薦原因

1.本文由韓家煒團(tuán)隊(duì)所發(fā)表，針對(duì)現(xiàn)有的新聞文本資料繁多，并且存在大量噪音、大量重疊內(nèi)容的現(xiàn)狀，提出了一種鄰近度網(wǎng)絡(luò)，利用其中大量重疊的內(nèi)容，從時(shí)間、地點(diǎn)、相關(guān)人物、組織、以及事件之間的關(guān)聯(lián)等屬性的角度，定義了一種鄰近度（Proximity ）的方法，并以此為基礎(chǔ)從中提取相關(guān)關(guān)鍵信息，并且得到新聞?lì)A(yù)料的事件，并以直觀的圖像的形式表達(dá)出來(lái)。

2.使用多屬性的鄰近度來(lái)替代文本的語(yǔ)義信息，比其他基于數(shù)據(jù)挖掘的事件提取方法更有效。同時(shí)，抽取事件信息的同時(shí)，對(duì)特定新聞事件，生成了信息豐富的事件圖，事件的關(guān)鍵信息、事件之間的聯(lián)系、聯(lián)系的強(qiáng)弱，都被清楚的展示了出來(lái)。

Skip-Thought向量

論文名稱：Skip-Thought Vectors

作者：RyanKiros /YukunZhu /RuslanSalakhutdinov

發(fā)表時(shí)間：2015/6/22

論文鏈接：https://paper.yanxishe.com/review/16077?from=leiphonecolumn_paperreview0416

推薦原因

skip-thought利用前后語(yǔ)句之間的關(guān)聯(lián)性來(lái)學(xué)句子的embedding. 其句子的表征是用RNN來(lái)表示，模型先encode中間一個(gè)句子，然后用這個(gè)RNN的Output分別來(lái)decode前一個(gè)和后一個(gè)句子，直接類比于word2vec的Skip-gram的形式。