百度開(kāi)源自然語(yǔ)言理解模型 ERNIE 2.0，16 個(gè) NLP 任務(wù)中碾壓 BERT 和 XLNet！| CNCC 2019

雷鋒網(wǎng) AI 科技評(píng)論按：7 月 30 日，百度發(fā)布了 ERNIE（Enhanced Representation through kNowledge IntEgration）的優(yōu)化版本——ERNIE 2.0 自然語(yǔ)言理解框架。這個(gè)中英文對(duì)話的 AI 框架不僅獲得了最優(yōu)的（SOTA）結(jié)果，并且在 16 個(gè) NLP 任務(wù)中表現(xiàn)出優(yōu)于 BERT 和最近的 XLNet 的高水準(zhǔn)。目前，ERNIE 2.0 代碼和英文預(yù)訓(xùn)練模型已開(kāi)源。

 

ERNIE 2.0 的由來(lái)

近年來(lái)，類似于 BERT，XLNet 的無(wú)監(jiān)督預(yù)訓(xùn)練自然語(yǔ)言表達(dá)模型在各種自然語(yǔ)言理解任務(wù)中取得了重大突破，包括語(yǔ)言推斷、語(yǔ)義相似度、命名實(shí)體識(shí)別、情感分析等。這也表明了基于大規(guī)模數(shù)據(jù)的無(wú)監(jiān)督預(yù)訓(xùn)練技術(shù)能夠在自然語(yǔ)言處理中發(fā)揮至關(guān)重要的作用。

SOTA 預(yù)訓(xùn)練模型（如 BERT，XLNet 和 ERNIE 1.0）的預(yù)訓(xùn)練系統(tǒng)核心是基于幾個(gè)簡(jiǎn)單的任務(wù)來(lái)模擬單詞或句子的共現(xiàn)。例如，BERT 構(gòu)建了掩碼模型和下一個(gè)句子預(yù)測(cè)任務(wù)，從而捕獲單詞和句子的共現(xiàn)信息；XLNet 則構(gòu)造了一種全排列的語(yǔ)言模型，并采用了自回歸的方式來(lái)捕獲單詞的共現(xiàn)信息。

然而除了共現(xiàn)之外，訓(xùn)練語(yǔ)料庫(kù)中還包含語(yǔ)法、語(yǔ)義信息等更多有價(jià)值的信息。例如：命名實(shí)體（名稱、位置和組織），則可以包含概念信息、句子之間的順序和距離關(guān)系等結(jié)構(gòu)知識(shí)；而文檔層面的語(yǔ)義相似性或句子之間的話語(yǔ)關(guān)系，則能夠訓(xùn)練模型學(xué)習(xí)語(yǔ)義感知表示。假設(shè)模型能夠經(jīng)過(guò)訓(xùn)練從而不斷學(xué)習(xí)更多類型的任務(wù)，是否這樣可以進(jìn)一步提高模型的效果呢？

ERNIE 2.0 ——可持續(xù)學(xué)習(xí)語(yǔ)義理解框架

ERNIE 2.0 介紹

基于這一理念，百度提出了一種持續(xù)學(xué)習(xí)的語(yǔ)義理解預(yù)訓(xùn)練框架 ERNIE 2.0，它可以通過(guò)持續(xù)的多任務(wù)學(xué)習(xí)，逐步學(xué)習(xí)和建立預(yù)訓(xùn)練任務(wù)。

該框架支持增量引入詞匯 (lexical)、語(yǔ)法 (syntactic) 、語(yǔ)義 (semantic) 等 3 個(gè)層次的自定義預(yù)訓(xùn)練任務(wù)，并通過(guò)多任務(wù)學(xué)習(xí)對(duì)其進(jìn)行訓(xùn)練，實(shí)現(xiàn)全面捕捉訓(xùn)練語(yǔ)料中的詞法、語(yǔ)法、語(yǔ)義等潛在信息。而且每當(dāng)引入新任務(wù)時(shí)，該框架在遞增地訓(xùn)練分布式表示的同時(shí)，還會(huì)記住先前任務(wù)的信息。 

新發(fā)布的 ERNIE 2.0 模型的結(jié)構(gòu)

ERNIE 2.0 與 BERT 或 XLNet 等經(jīng)典預(yù)訓(xùn)練方法的不同之處在于，它并不是在少量的預(yù)訓(xùn)練任務(wù)上完成的，而是通過(guò)不斷引入大量預(yù)訓(xùn)練任務(wù)，從而幫助模型高效地學(xué)習(xí)詞匯、句法和語(yǔ)義表征。作為一種全新的語(yǔ)言理解持續(xù)預(yù)訓(xùn)練框架，ERNIE 2.0 不僅實(shí)現(xiàn)了 SOTA 效果，而且為開(kāi)發(fā)人員構(gòu)建自己的 NLP 模型提供了可行的方案。

ERNIE 2.0 測(cè)試效果

百度將 ERNIE 2.0 模型的性能與英文數(shù)據(jù)集 GLUE 和 9 個(gè)流行的中文數(shù)據(jù)集的現(xiàn)有 SOTA 預(yù)訓(xùn)練模型進(jìn)行了比較。結(jié)果表明，ERNIE 2.0 在 7 種 GLUE 語(yǔ)言理解任務(wù)上優(yōu)于 BERT 和 XLNet，并在所有 9 種中文 NLP 任務(wù)上擊敗 BERT，例如：基于 DuReader 數(shù)據(jù)集的閱讀理解，情感分析和問(wèn)答。

模型在 9 項(xiàng)常規(guī)中文 NLP 任務(wù)中的結(jié)果；模型結(jié)果均為五次實(shí)驗(yàn)結(jié)果的中位數(shù)，粗體字表示 SOTA 結(jié)果

實(shí)際上根據(jù) GLUE 數(shù)據(jù)集的測(cè)試結(jié)果，無(wú)論是基本模型還是大型模型，我們能夠觀察到 ERNIE 2.0 在英語(yǔ)任務(wù)上優(yōu)于 BERT 和 XLNET。此外，ERNIE 2.0 大型模型還實(shí)現(xiàn)了最佳性能，并為中文 NLP 任務(wù)創(chuàng)造了新的最優(yōu)性能的結(jié)果。 

模型在 GLUE 上的結(jié)果，其中開(kāi)發(fā)集上的結(jié)果是五次實(shí)驗(yàn)結(jié)果的中位數(shù)，測(cè)試集結(jié)果根據(jù) GLUE 評(píng)估服務(wù)完成

原文地址：

http://research.baidu.com/Blog/index-view?id=121 

模型論文地址：

https://arxiv.org/abs/1907.12412 

Github 項(xiàng)目地址：

https://github.com/PaddlePaddle/ERNIE

雷鋒網(wǎng) AI 科技評(píng)論 雷鋒網(wǎng)

【CNCC 2019來(lái)了！】

10月17-19日，CNCC 2019 將在蘇州金雞湖國(guó)際會(huì)議中心舉辦，本次會(huì)議由中國(guó)計(jì)算機(jī)學(xué)會(huì) (CCF) 主辦，蘇州工業(yè)園區(qū)管委會(huì)承辦。

CNCC 全稱為中國(guó)計(jì)算機(jī)大會(huì)，是我國(guó)計(jì)算領(lǐng)域規(guī)模最大、規(guī)格最高的學(xué)術(shù)、技術(shù)、產(chǎn)業(yè)交融互動(dòng)的盛會(huì)。該會(huì)議創(chuàng)建于 2003 年，每年于不同城市舉辦，至今已成功舉辦十五屆。會(huì)議形式包括大會(huì)特邀報(bào)告、大會(huì)論壇、技術(shù)論壇、特色活動(dòng)及展覽展示等。大會(huì)也特別設(shè)立了“自然語(yǔ)言理解的挑戰(zhàn)與機(jī)遇”技術(shù)論壇，敬請(qǐng)關(guān)注。

如果你是個(gè)人參會(huì)，可以：

?通過(guò)官網(wǎng)cncc.ccf.org.cn參會(huì)報(bào)名

?申請(qǐng)論壇，作為論壇主席或講者參會(huì)

?申請(qǐng)資助參會(huì)，申請(qǐng)者限邊遠(yuǎn)地區(qū)高校青年教師或?qū)W生

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。