0
字幕組雙語(yǔ)原文：生成模型和判定模型的內(nèi)部指南
英語(yǔ)原文：The Insiders’ Guide to Generative and Discriminative Machine Learning Models
翻譯：AI研習(xí)社（季一帆）
在本文中，我們將討論生成模型和判別模型之間的差異、形成原因及相關(guān)內(nèi)容。
判別式機(jī)器學(xué)習(xí)在可能的輸出選擇中確定輸出。該過(guò)程根據(jù)給定的數(shù)據(jù)進(jìn)行訓(xùn)練，從而學(xué)習(xí)模型參數(shù)，以最大化聯(lián)合概率P(X,Y)。
分類(lèi)有時(shí)被稱(chēng)為判別模型，這有一定道理，畢竟分類(lèi)模型就是要到輸入實(shí)例的類(lèi)別進(jìn)行判斷。
無(wú)監(jiān)督模型一般會(huì)對(duì)輸入變量的分布進(jìn)行學(xué)習(xí)，并能夠根據(jù)輸入分布創(chuàng)建或生成新的實(shí)例，類(lèi)似這樣的模型稱(chēng)為生成式模型。
對(duì)于變量分布已知的情況，如高斯分布。
由于生成模型能夠總結(jié)數(shù)據(jù)分布，因此可以根據(jù)輸入變量分布生成新變量。
在這種情況下，生成模型可能非常適合，而使用判別模型的化則會(huì)使問(wèn)題復(fù)雜化，反之亦然。
例如對(duì)于條件預(yù)測(cè)任務(wù)，判別模型表現(xiàn)顯著優(yōu)于生成模型，同時(shí)具有更好的正則性。
看這樣一個(gè)例子：有Tony和Mark兩個(gè)小朋友，他們要在寵物商店中分辨出小貓和小狗。對(duì)于寵物，我們假定它們包含顏色、大小、眼睛顏色、毛發(fā)長(zhǎng)短和叫聲等特征。
給Mark兩張照片，一張是貓，一張是狗，Mark要做出判斷。他想到可以根以下條件進(jìn)行判斷：如果叫聲是“喵喵”、眼睛是藍(lán)色或綠色、具有褐色或黑色的條紋，則大概率會(huì)是貓。根據(jù)這樣的簡(jiǎn)單規(guī)則，Mark可以容易的識(shí)別出貓或狗。
Tony的任務(wù)可沒(méi)這么簡(jiǎn)單。不是要他判斷圖片中是貓還是狗，而是要在兩張白紙上畫(huà)出貓和狗的樣子。Tony能夠畫(huà)出貓和狗的樣子，那么給他展示圖片，他也很容易的區(qū)分出圖中是貓還是狗。可以看到，相比Mark的方法，Tony的方法更加耗時(shí)。
假設(shè)只有貓狗兩種寵物。如果一張圖片上是藍(lán)眼睛、棕色條紋的狗，那么Mark可能會(huì)將其標(biāo)記為貓，但Tony可以判斷出圖片中一定是狗。
如果Tony對(duì)貓和狗的特征了解的更多，他能夠繪制出更詳細(xì)準(zhǔn)確的圖畫(huà)。但是，如果提供足夠多的貓狗數(shù)據(jù)集，那么Mark會(huì)表現(xiàn)得更好。
Mark的判斷方法就是認(rèn)真的觀察，總結(jié)能夠區(qū)分的特征，但過(guò)多的復(fù)雜特征會(huì)導(dǎo)致過(guò)擬合，但Tony不會(huì)遇到這種情況。
如果在訪問(wèn)寵物商店之前，他們沒(méi)有任何信息呢？也就是說(shuō)只提供未標(biāo)注的數(shù)據(jù)。這種情況下，Mark完全不知道該怎么做，Tony也判別不出什么（因?yàn)樗恢馈柏垺薄肮贰边@兩個(gè)類(lèi)別），但至少Tony可以根據(jù)看到的貓和狗去畫(huà)圖，這難道不是巨大的優(yōu)勢(shì)嗎？半監(jiān)督就是如此。
在上述例子中，Mark就是判別式方法，而Tony代表生成式方法。
再看另一個(gè)例子，將語(yǔ)音分類(lèi)為語(yǔ)言模型。
判別式方法重點(diǎn)在區(qū)別語(yǔ)言模型間的差異。無(wú)需學(xué)習(xí)語(yǔ)言就可實(shí)現(xiàn)語(yǔ)音分類(lèi)。而生成式方法需要學(xué)習(xí)每種語(yǔ)言，根據(jù)學(xué)習(xí)到的知識(shí)進(jìn)行分類(lèi)。
數(shù)學(xué)上的區(qū)別
判別式機(jī)器學(xué)習(xí)訓(xùn)練模型在可能的輸出選項(xiàng)中選擇正確輸出，通過(guò)訓(xùn)練學(xué)習(xí)使條件概率P（Y | X）最大化的模型參數(shù)。
生成式機(jī)器學(xué)習(xí)則是通過(guò)訓(xùn)練學(xué)習(xí)使聯(lián)合概率P（X，Y）最大化的模型參數(shù)。通常可以由P（Y）和P（X | Y）得到聯(lián)合概率，當(dāng)前前提是P（Y）和P（X | Y）條件獨(dú)立。
判別式模型
邏輯回歸
隨機(jī)森林
支持向量機(jī)
經(jīng)典神經(jīng)網(wǎng)絡(luò)
最近鄰
生成式模型
隱馬爾科夫模型
樸素貝葉斯
貝葉斯網(wǎng)絡(luò)
混合高斯模型
為更好的理解，試著以下幾個(gè)問(wèn)題：（1 判別式；2 生成式）
哪種模型需要較少的訓(xùn)練數(shù)據(jù)？1
哪種模型能夠生成數(shù)據(jù)？2
什么時(shí)候使用某類(lèi)模型？
哪種模型對(duì)異常值更敏感？2
哪種模型容易過(guò)擬合？1
哪種模型訓(xùn)練時(shí)間短？1
哪種模型直接學(xué)習(xí)條件概率？1
在不確定情況下，哪種模型更好？2
當(dāng)特征存在關(guān)聯(lián)時(shí)，哪種模型更好？2
哪種模型具有更好的可解釋性？2
分類(lèi)問(wèn)題中，哪種模型準(zhǔn)確率高？1
對(duì)于未標(biāo)注數(shù)據(jù)使用哪種模型？2
如果是標(biāo)注數(shù)據(jù)哪種模型更好？1
哪種模型簡(jiǎn)單，訓(xùn)練速度更快？1
GAN
生成對(duì)抗網(wǎng)絡(luò)（GAN）同時(shí)訓(xùn)練生成器和判別器，具體而言，生成器生成一批樣本，這些樣本與真實(shí)數(shù)據(jù)集一起提供給判別器進(jìn)行分類(lèi)。
判別式分類(lèi)器的缺陷
它缺乏先驗(yàn)性，結(jié)構(gòu)性和不確定性
黑盒子，變量之間的關(guān)系無(wú)法觀測(cè)
結(jié)論
機(jī)器學(xué)習(xí)模型一般分為生成式和判別式兩類(lèi)，其中，生成式模型主要涉及建模操作，判別式模型一般用于分類(lèi)問(wèn)題。一般而言，生成式模型更具有解釋力。
模型并不是越大越好、參數(shù)越多越好。更新更多參數(shù)意味著更長(zhǎng)的訓(xùn)練時(shí)間、內(nèi)存和計(jì)算量。一般而言，判別式模型有更好的正則性。
生成式模型所需的數(shù)據(jù)一般要比判別式模型更少。
參考文獻(xiàn)
· Yogatama, D., Dyer, C., Ling, W., and Blunsom, P., 2017. Generative and discriminative text classification with recurrent neural networks. arXiv preprint arXiv:1703.01898.
· Lasserre, J.A., Bishop, C.M. and Minka, T.P., 2006, June. Principled hybrids of generative and discriminative models. In 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’06) (Vol. 1, pp. 87–94). IEEE.
· Wang, K., Zong, C., and Su, K.Y., 2012. Integrating generative and discriminative character-based models for Chinese word segmentation. ACM Transactions on Asian Language Information Processing (TALIP), 11(2), pp.1–41.
· Prasad, A., Niculescu-Mizil, A., and Ravikumar, P.K., 2017. On separability of loss functions, and revisiting discriminative vs. generative models. In Advances in Neural Information Processing Systems (pp. 7050–7059).
最后，歡迎在Twitter和Linkedin上發(fā)表您的想法！你覺(jué)得本文對(duì)你有幫助嗎？歡迎交流分享，聯(lián)系方式@SauravSingla_08和Saurav_Singla！
雷鋒字幕組是一個(gè)由 AI 愛(ài)好者組成的翻譯團(tuán)隊(duì)，匯聚五百多位志愿者的力量，分享最新的海外AI資訊，交流關(guān)于人工智能技術(shù)領(lǐng)域的行業(yè)變革與技術(shù)創(chuàng)新的見(jiàn)解。
團(tuán)隊(duì)成員有大數(shù)據(jù)專(zhuān)家、算法工程師、圖像處理工程師、產(chǎn)品經(jīng)理、產(chǎn)品運(yùn)營(yíng)、IT咨詢(xún)?nèi)恕⒃谛熒恢驹刚邆儊?lái)自IBM、AVL、Adobe、阿里、百度等知名企業(yè)，北大、清華、港大、中科院、南卡羅萊納大學(xué)、早稻田大學(xué)等海內(nèi)外高校研究所。
如果，你也是位熱愛(ài)分享的AI愛(ài)好者。歡迎與雷鋒字幕組一起，學(xué)習(xí)新知，分享成長(zhǎng)。
