人工智能不明覺厲，人類如何捍衛(wèi)控制權(quán)？

編者按：作者Vasant Dhar博士是紐約大學(xué)數(shù)據(jù)科學(xué)中心和Stern商學(xué)院教授。本文中，Dhar博士討論了我們?nèi)绾卫斫馊斯ぶ悄芟到y(tǒng)所學(xué)到的知識，并隨著技術(shù)的不斷進步預(yù)估可能發(fā)生的最差的情況。

 

今年三月，當(dāng)微軟發(fā)布的Tay聊天機器人被玩壞后迅速下線，這引發(fā)了關(guān)于人工智能的廣泛討論。同樣引發(fā)人們激烈討論人工智能的，是今年2月谷歌無人車引發(fā)的事故。我們是否應(yīng)該設(shè)計最小化不良行為的智能學(xué)習(xí)機器呢？

雖然剛才提到的兩項意外相對來說都是小事故，我們從中看到了一個大問題：在復(fù)雜環(huán)境中，要控制適應(yīng)性學(xué)習(xí)機器是非常難的。著名的控制論專家Norbert Wiener在50年前就已經(jīng)警告過我們這是個麻煩事：“如果我們?yōu)榱俗约旱哪康模褂靡环N我們沒法有效干涉其內(nèi)在運行機制的機械代理…我們最好確認(rèn)再確認(rèn)，機器所設(shè)定的目標(biāo)真的是我們最初想要達(dá)到的目標(biāo)，而不只是我們最初目標(biāo)的近似模擬。”

學(xué)習(xí)機器的問題在于，他們基于自己所見到的數(shù)據(jù)進行自我訓(xùn)練，“訓(xùn)練數(shù)據(jù)”沒法完全代表未來將要遇到的情景。有一種情況叫做“邊緣案例”或者“Rumsfeldian未知數(shù)”，因為它們事先是無法預(yù)知的。人類通常在面對這種“邊緣案例”的時候，表現(xiàn)得都還不錯，不需要進行事先“訓(xùn)練”，例如通過應(yīng)用常識、尋找類比或者研究樣本等方式。

目前來說，這些讓人頭痛的問題還沒有解決之道。但是，系統(tǒng)的設(shè)計者很有必要評估一下每一項應(yīng)用在未來邊緣案例中的風(fēng)險，系統(tǒng)可能發(fā)生的最壞的情況。

首先，訓(xùn)練中的錯誤分析是很有必要的，可以幫助我們理解系統(tǒng)所學(xué)到的是什么。這不是小事。舉個例子，在一個最近的項目中，研究人員評估了一天中不同時間段的電視觀眾，發(fā)現(xiàn)系統(tǒng)的預(yù)測在某一些時段、某一些區(qū)域內(nèi)錯得特別離譜。

一項錯誤的細(xì)節(jié)分析顯示，系統(tǒng)不知道在某些時段、某些地區(qū)有特殊的體育節(jié)目。通過加入此項信息并對系統(tǒng)進行重新訓(xùn)練，系統(tǒng)在問題案例中的表現(xiàn)大大改善，而在其他案例中的表現(xiàn)沒有變化。這說明系統(tǒng)學(xué)會了在之前出錯的案例中運用新的知識。雖然這不能解決整個問題，但這是一個改善系統(tǒng)的例子。

另一種策略是利用互聯(lián)網(wǎng)上可以獲得的人類智能，來創(chuàng)造出機器有可能范錯的邊緣案例。眾籌是一種常用的獲得、處理邊緣案例的方法。我的一些同事設(shè)立了一個叫做“超越機器”的系統(tǒng)，人類被要求指出機器預(yù)測將會出錯的地方。每一次人類都能成功指出錯誤案例，機器可以更好地學(xué)習(xí)這些案例，從而在未來正確應(yīng)對類似案例。

還有其他的方法，有一些是自動化的方法，這為學(xué)習(xí)過程增添了難度，難度是為了誘導(dǎo)機器出錯。舉個例子，我們可以人為地創(chuàng)造難度案例，只要稍微調(diào)整一下真實訓(xùn)練案例，目標(biāo)就是為了誘導(dǎo)機器犯錯。在系統(tǒng)對于自己的預(yù)測非常自信的時候，這樣的方法尤其有用，因為機器無法區(qū)分真實的案例和經(jīng)過調(diào)整的案例。這說明機器的學(xué)習(xí)效果還不夠強，我們還不該放心地將其用于自動化應(yīng)用。此類策略的目標(biāo)是引入目前數(shù)據(jù)中沒有的新案例，有時候新案例甚至?xí)行┢婀郑瑥亩?xùn)練系統(tǒng)更加完善和強大。

另外，我們還需要評估最差情況下的犯錯成本。這在金融行業(yè)的風(fēng)險評估中是一個很大的專業(yè)領(lǐng)域，使用嚴(yán)重性概念和頻率來將風(fēng)險量化為金錢或其他類似的單位。要使用這種框架，我們需要梳理各種結(jié)果可能有的損失分布，包括邊緣案例在內(nèi)，即便是我們沒法預(yù)先預(yù)計這些事件。如果這些分布沒法可靠地進行評估，我們可能應(yīng)該判斷認(rèn)為，目前系統(tǒng)還沒準(zhǔn)備好進行自動化功能應(yīng)用。

 

Via TechCrunch

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。