百度四篇論文被 ACL 2018 錄用，閱讀理解新進(jìn)展一覽 | ACL 2018

雷鋒網(wǎng) AI 科技評(píng)論按：國際自然語言處理頂會(huì) ACL 還有數(shù)月即將召開。本屆會(huì)議共計(jì)有 1551 篇論文進(jìn)入審查階段（1021 長(zhǎng)篇，530 篇短篇），錄用率約為 20%。

雷鋒網(wǎng) AI 科技評(píng)論也一直密切關(guān)注國內(nèi)外企業(yè)研究院的論文錄用動(dòng)態(tài)。其中，百度自然語言處理部共有四篇論文被 ACL 主會(huì)錄用，此外 DuReader 數(shù)據(jù)集及相應(yīng)改進(jìn)評(píng)測(cè)方法兩篇論文被 ACL 2018 閱讀理解研討會(huì) workshop 錄用。

百度自然語言處理部此前因?yàn)樵谖④?MARCO 閱讀理解數(shù)據(jù)集上獲得第一，在雷鋒網(wǎng)學(xué)術(shù)頻道「AI 科技評(píng)論」旗下數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中有不俗表現(xiàn)；而憑借 ACL 2018 的論文錄用情況，在本月眾多國內(nèi)企業(yè)研究院中有巨大進(jìn)步。

被 ACL 2018 收錄的兩篇閱讀理解相關(guān)論文從某種程度上代表了百度最新的閱讀理解技術(shù)進(jìn)展：多文檔校驗(yàn)?zāi)Ｐ?V-NET 及多文檔校驗(yàn)的強(qiáng)化學(xué)習(xí)訓(xùn)練機(jī)制。兩項(xiàng)工作均為圍繞實(shí)際應(yīng)用需求，在搜索引擎多文檔場(chǎng)景下的閱讀理解技術(shù)創(chuàng)新工作。

據(jù)了解，在搜索引擎返回多文檔的場(chǎng)景下，由于引入了更多的和問題相關(guān)的文檔，存在更多的歧義，最終可能導(dǎo)致閱讀理解模型定位錯(cuò)誤的答案。而人在這種情況下通常會(huì)采取「找到多個(gè)候選->校驗(yàn)相關(guān)答案->選出最終答案」的策略來找出置信度最高的答案。基于這種觀察，百度自然語言處理團(tuán)隊(duì)提出了兩種不同角度探索多文檔校驗(yàn)的方案以提升閱讀理解技術(shù)的最終效果。其中第一個(gè)工作將多文檔校驗(yàn)的模塊聯(lián)合建模在統(tǒng)一的神經(jīng)網(wǎng)絡(luò)框架下（V-NET）也是第一個(gè)端到端建模的多文檔閱讀理解模型，而第二個(gè)工作則利用強(qiáng)化學(xué)習(xí)的方法對(duì)串行的多文檔閱讀理解模塊進(jìn)行聯(lián)合訓(xùn)練。

在論文《Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification》中，百度提出了一種新的多文檔校驗(yàn)的深度神經(jīng)網(wǎng)絡(luò)建模方法 V-NET，通過注意力機(jī)制使不同文檔產(chǎn)生的答案之間能夠產(chǎn)生交換信息互相印證，從而預(yù)測(cè)出更好的答案。V-NET 是一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)模型，如下圖所示，該模型同時(shí)使用三個(gè)不同的模塊分別從三個(gè)方面來預(yù)測(cè)答案：答案的邊界預(yù)測(cè)模塊、答案內(nèi)容預(yù)測(cè)模塊和多文檔的答案驗(yàn)證模塊。在 MARCO 和 DuReader 數(shù)據(jù)集上，V-NET 模型效果顯著優(yōu)于其他系統(tǒng)。

V-NET 模型的整體架構(gòu)

在論文《Joint Training of Candidate Extraction and Answer Selection in Reading Comprehension》中，百度利用強(qiáng)化學(xué)習(xí)的方法對(duì)串行的多文檔閱讀理解模塊進(jìn)行聯(lián)合訓(xùn)練。在傳統(tǒng)的問答系統(tǒng)中，「抽取候選答案->綜合選出答案」串行的模式非常常見，但通常將這兩個(gè)步驟看成獨(dú)立的模塊分開處理。其實(shí)，這兩個(gè)模塊之間的聯(lián)系非常密切，同時(shí)也由于數(shù)據(jù)集沒有提供各文檔的可能的候選答案，因此百度將各文檔中的候選答案視為隱變量，用神經(jīng)網(wǎng)絡(luò)分別建模對(duì)應(yīng)的兩種行為（action），并在多文檔校驗(yàn)?zāi)K中引入相關(guān)性矩陣建模候選答案之間的關(guān)聯(lián)關(guān)系。在此基礎(chǔ)上采用強(qiáng)化學(xué)習(xí)的方法聯(lián)合訓(xùn)練，以提升最終答案與真實(shí)答案的匹配程度，也就是直接根據(jù)評(píng)價(jià)指標(biāo)同步訓(xùn)練兩階段的模型。

此外，百度自然語言處理部還有兩篇關(guān)于對(duì)話的論文，標(biāo)題及作者如下：

 ? Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network. Xiangyang Zhou, Lu Li, Daxiang Dong, Yi Liu, Ying Chen, Wayne Xin Zhao, Dianhai Yu and Hua Wu.

 ? Interactive Language Acquisition with One-shot Visual Concept Learning through a Conversational Game. Haichao Zhang, Haonan Yu and Wei Xu.

而針對(duì)多文檔閱讀理解任務(wù)，百度自然語言處理團(tuán)隊(duì)在 ACL 2018 閱讀理解研討會(huì) (Workshop on Machine Reading for Question Answering) 上進(jìn)一步發(fā)表了 DuReader 數(shù)據(jù)集以及相應(yīng)改進(jìn)的評(píng)測(cè)方法的論文：

• DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications

本文介紹了一個(gè)面向真實(shí)應(yīng)用的、開放域的、大規(guī)模中文閱讀理解數(shù)據(jù)集 DuReader。相比于以前的閱讀理解數(shù)據(jù)集，DuReader 有以下三方面的要點(diǎn)：

（1）數(shù)據(jù)來源：DuReader 的問題和文檔都來自于百度搜索和百度知道；答案都是人工構(gòu)建的。

（2）問題類型：DuReader 提供了更加豐富的問題類型標(biāo)注，特別是是非類問題和觀點(diǎn)類問題，這為研究人員提供了更多的研究機(jī)會(huì)。

（3）規(guī)模：DuReader 包含了 20 萬問題，42 萬答案和 100 萬文檔；它是迄今為止最大的中文閱讀理解數(shù)據(jù)集。實(shí)驗(yàn)表明，人類在該數(shù)據(jù)集的表現(xiàn)遠(yuǎn)高于目前最好的基線系統(tǒng)。這為研究人員留下了很大的研究和改進(jìn)空間。為了幫助整個(gè)研究社區(qū)做出這些改進(jìn)，團(tuán)隊(duì)已經(jīng)將 DuReader 和相關(guān)的基線系統(tǒng)開源。同時(shí)，百度也組織了在線比賽以鼓勵(lì)研究人員探索更多的模型。自比賽發(fā)布以來，最好系統(tǒng)的性能已經(jīng)大幅提高。

• Adaptations of ROUGE and BLEU to Better Evaluate Machine Reading Comprehension Task

當(dāng)前的閱讀理解自動(dòng)評(píng)價(jià)指標(biāo)（如 ROUGE 和 BLEU）的計(jì)算通常都基于候選答案和參考答案的詞匯覆蓋率。但是這種計(jì)算方法對(duì)于特定類型的問題不一定非常適用，如是非和實(shí)體需求類型的問題。因此，百度提出了一種改進(jìn)的評(píng)價(jià)指標(biāo)，通過對(duì)相關(guān)的 N 元覆蓋進(jìn)行一定加權(quán)使得改進(jìn)后指標(biāo)與人工判斷結(jié)果更加接近。實(shí)驗(yàn)結(jié)果顯示改進(jìn)后的指標(biāo)顯著有效，團(tuán)隊(duì)認(rèn)為該指標(biāo)更加適合評(píng)價(jià)真實(shí)場(chǎng)景下的閱讀理解系統(tǒng)。