一窺谷歌神經(jīng)機(jī)器翻譯模型真面貌，其底層框架開(kāi)源！

本文作者：三川

2017-04-12 15:21

導(dǎo)語(yǔ)：谷歌用心之作——基于 TensorFlow 的 seq2seq 框架。

去年，谷歌發(fā)布了 Google Neural Machine Translation (GNMT)，即谷歌神經(jīng)機(jī)器翻譯，一個(gè) sequence-to-sequence (“seq2seq”) 的模型。現(xiàn)在，它已經(jīng)用于谷歌翻譯的產(chǎn)品系統(tǒng)。

雖然消費(fèi)者感受到的提升并不十分明顯，谷歌宣稱，GNMT 對(duì)翻譯質(zhì)量帶來(lái)了巨大飛躍。

但谷歌想做的顯然不止于此。其在官方博客表示：“由于外部研究人員無(wú)法獲取訓(xùn)練這些模型的框架，GNMT 的影響力受到了束縛。”

如何把該技術(shù)的影響力最大化？答案只有一個(gè)——開(kāi)源。

因而，谷歌于昨晚發(fā)布了 tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架。谷歌表示，它使開(kāi)發(fā)者試驗(yàn) seq2seq 模型變得更方便，更容易達(dá)到一流的效果。另外，tf-seq2seq 的代碼庫(kù)很干凈并且模塊化，保留了全部的測(cè)試覆蓋，并把所有功能寫(xiě)入文件。

該框架支持標(biāo)準(zhǔn) seq2seq 模型的多種配置，比如編碼器/解碼器的深度、注意力機(jī)制（attention mechanism）、RNN 單元類型以及 beam size。這樣的多功能性，能幫助研究人員找到最優(yōu)的超參數(shù)，也使它超過(guò)了其他框架。詳情請(qǐng)參考谷歌論文《Massive Exploration of Neural Machine Translation Architectures》。

一窺谷歌神經(jīng)機(jī)器翻譯模型真面貌，其底層框架開(kāi)源！

上圖所示，是一個(gè)從中文到英文的 seq2seq 翻譯模型。每一個(gè)時(shí)間步驟，編碼器接收一個(gè)漢字以及它的上一個(gè)狀態(tài)（黑色箭頭），然后生成輸出矢量（藍(lán)色箭頭）。下一步，解碼器一個(gè)詞一個(gè)詞地生成英語(yǔ)翻譯。在每一個(gè)時(shí)間步驟，解碼器接收上一個(gè)字詞、上一個(gè)狀態(tài)、所有編碼器的加權(quán)輸出和，以生成下一個(gè)英語(yǔ)詞匯。雷鋒網(wǎng)提醒，在谷歌的執(zhí)行中，他們使用 wordpieces 來(lái)處理生僻字詞。

據(jù)雷鋒網(wǎng)了解，除了機(jī)器翻譯，tf-seq2seq 還能被應(yīng)用到其他 sequence-to-sequence 任務(wù)上；即任何給定輸入順序、需要學(xué)習(xí)輸出順序的任務(wù)。這包括 machine summarization、圖像抓取、語(yǔ)音識(shí)別、對(duì)話建模。谷歌自承，在設(shè)計(jì)該框架時(shí)可以說(shuō)是十分地仔細(xì)，才能維持這個(gè)層次的廣適性，并提供人性化的教程、預(yù)處理數(shù)據(jù)以及其他的機(jī)器翻譯功能。

谷歌在博客表示：