思必馳首席科學家俞凱：大數據和深度學習不是萬能的，認知計算需要解決這些問題 ｜2016 CAIIC

如果橫向對比語音和視覺兩種技術，大多數人可能會直觀地認為視覺是比語音更復雜的一種技術，但事實真是如此嗎？

在17日舉辦的中國人工智能產業大會上，思必馳首席科學家、“思必馳-上海交大智能人機交互聯合實驗室”主任、上海交通大學計算機教授俞凱博士在接受雷鋒網采訪時表示，“語音和視覺是兩種不同的模態，前者是一維信號，后者是二維信號，視覺的幀率比語音低很多，因為視覺可能是一張圖片或者是視頻，視頻一秒24幀，而語音1秒鐘100幀就能聽出來差別，所以從實時性來看，語音的難度要高于視覺，但是從本身處理的信息量來講，視覺則會難于語音。”

當然語音交互涉及到的問題不僅如此，它所做的不僅僅是語音識別。

語音識別屬于感知層，而感知只是語音交互的一部分

從上圖來看，一個端到端的語音交互方案包括了感知、認知和知識處理三個部分。俞凱表示，“識別和合成都屬于感知范疇，這部分的目的是把語音信號轉為編碼文字，在后端需要對轉成的編碼文字進行相應的理解決策以及相關的表述，這是認知。”如何把感知和認知連接起來是一個問題，也是目前思必馳正在做的一件事情。

如果只看感知和認知部分，大數據和深度學習無疑是最核心的兩個因素。

俞凱舉了兩個例子：

不久前，微軟研究院發布的最新的語音識別測試結果顯示，電話語音在語音識別的測試當中已經達到了人類的水平（上圖左上角），人類的水平是在5.9，而這次測試的數據達到了5.8。俞凱指出，語音識別能夠達到這一水平的關鍵就是大幅度的計算。

第二個例子是上圖左下角展示的結果，這是思必馳利用極深的神經網絡在一組抗噪的語音識別上做的測試，測試結果是7.1，這是一個什么樣的概念？

俞凱解釋，在深度學習產生之前，全世界最好的結果是13.4，深度學習產生之后這一數值降到了12，而7.1是目前最好的結果，如果做到5以下，就達到了人類水平，事實上，在一些特定場景下，結合深度學習以及大數據的技術已經可以達到人的水平。因此，大數據和深度學習對人工智能的意義是顯而易見的。

但俞凱強調，站在學術界和產業界的角度看，感知層并不是最高深的問題，遠場和外噪聲環境下的語音識別、非配合式的語音交互這些問題學術界和從業者進一步深入研究就可以解決。認知問題，是深度學習和大數據組合之外，業界需要探索的方向。

“認知的難點在于你并不知道什么是好的什么是壞的，我們很難去理解在什么程度上是好的，交互決策用什么精確的指標來客觀的衡量它，現在有很多不同的指標提出來，所以在學術界和產業界都會存在很大的難點。”

認知計算是什么？

如果在網上查閱資料，你會發現認知計算算不上高頻詞，至少相比深度學習，認知計算在業界的熱度還沒那么高，俞凱坦言，關于認知計算業界目前還沒有一個統一的定義。

那么它和深度學習相比有什么特點？

俞凱向雷鋒網解釋道，“深度學習是一種方法，我們可以把它用在人工智能和控制上，它解決的是輸入和輸出之間的映射（算法），例如輸入語音，輸出的是文字；而認知計算解決的是理解、反饋和學習問題，它對應于人腦當中比較抽象的推理部分，認知的輸入和輸出都不明確。”

它用坐標描述了語音交互在認知計算上的分類。按照對話的應用場景來看，以輪回的次數作為橫坐標，結構的引進程度作為縱軸，我們就可以在坐標的象限里分成四個部分（如上圖）：命令式、問答式、閑聊式和任務式四種場景。可以看出，命令式的交互和閑聊式的交互本質上都沒有引進絕對的結構化信息，命令相對簡單，閑聊會更復雜，而問答和任務這兩種交互場景是目前應用得比較多的類型。

再來看看認知計算涉及到的技術，它包括深度（序列）學習、知識與數據雙輪驅動以及強化學習。

1.深度學習帶動了包括語音識別、對話交互在內的技術進步，而在認知系統里，最大的進步還是深度序列學習，即把整個文字序列看成學習目標。

2.知識與數據雙輪驅動的應用越來越多，這其中出現了很多基于規則和統計混合的新的技術。

3.強化學習在AlphaGo之后被廣泛關注，其在對話交互當中已經成為最前沿的一種方式，現在深度Q網絡也已經被廣泛應用起來了。

認知計算需要解決大數據和深度學習之外的問題

俞凱認為，深度學習和大數據是基礎，但它們并不是萬能的，認知計算需要解決的就是深度學習和大數據不能解決的問題。例如，一個方言識別器準確率即便達到了95%以上也不代表就有了好的交互體驗，這涉及到的是深度學習和大數據之外的問題。

首先，在深度學習之外，有兩個需要解決的問題：交互時機和異常處理。交互時機是指在對的時間切入交互，這里面包含了信號增強、對話狀態追蹤、失真及重疊語音的識別等任務；異常處理就是要知道如何去糾正，這其中的問題有異常檢測及置信度衡量、異常類型劃分等等。

除此之外，俞凱還介紹，大數據之外也涉及到了兩個問題，即語義理解范疇延伸、知識庫和應用規劃的結合，這些都不是通過收集到的原始大數據就能解決的，它們都需要加入很多算法。

一言以蔽之，認知計算需要解決上述問題才能夠在用戶層面有好的交互體驗。

“我們會看到大數據和深度學習對普適模型以及大一統方案上將有很大的進步，但是真正實際使用過程中，要一些新型技術結合進去才有可能解決，科學上的進步往往是從產業上的問題作為入手點，而提出的解決方案可能會超越大家現在的想象。”俞凱如此表示。言下之意，至少在語音交互上，產業界還存在很多問題亟待解決。

但我們對未來還是要保持樂觀的心態，隨著技術問題的進一步解決，語音交互領域未來會產生一些新的商業模式。俞凱告訴雷鋒網，預計明年將會有很多專業領域提供語音識別服務的公司會涌現出來，如醫療、金融和教育等領域，這些都需要專業的人來做數據模型，他們只需要用一套標準化的方案就可以實現應用。換言之，雖然未來可能很難再有類似思必馳這些向第三方提供lisense的平臺型的公司出現，但創業企業可以從這些平臺公司獲取基礎技術，再根據細分行業的具體需求來形成應用，這是語音交互產業的未來一個發展方向。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。