ICLR 審稿人：這篇論文在標(biāo)簽平滑和知識(shí)蒸餾的關(guān)系上取得了重大突破！

AI 科技評(píng)論報(bào)道

編輯 | 陳大鑫

AI 科技評(píng)論今天給大家介紹一篇 已被 ICLR 2021 接收的論文，論文作者來(lái)自卡耐基梅隆大學(xué)、香港科技大學(xué)、北京大學(xué)和馬薩諸塞大學(xué)阿默斯特分校（是MEAL系列作者的一篇最新力作）。

論文地址：https://openreview.net/pdf?id=PObuuGVrGaZ

這是一篇非常特別的文章，其中一個(gè)審稿人評(píng)價(jià)這篇文章是標(biāo)簽平滑和知識(shí)蒸餾領(lǐng)域有突破性的一篇文章，并給出了8分的高分。

為什么說(shuō)它特殊呢，因?yàn)檎撐牡暮诵?/span>并不是常見(jiàn)的刷點(diǎn)打榜的工作，而是在澄清和糾正過(guò)去一篇比較有名的文章中提出的一個(gè)重要發(fā)現(xiàn)，基于這個(gè)發(fā)現(xiàn)衍生出來(lái)的一個(gè)觀點(diǎn)和在這個(gè)問(wèn)題上的認(rèn)知，進(jìn)而讓人們更好的理解標(biāo)簽平滑和知識(shí)蒸餾的工作原理，那篇被糾正的文章發(fā)表于 NeurIPS 2019 [1] ，作者之一是我們大家都非常熟悉的深度學(xué)習(xí)先驅(qū)之一的Geoffrey Hinton。

大家應(yīng)該很好奇，大佬的文章也會(huì)有不完善的觀點(diǎn)嗎？答案是肯定的。人們對(duì)于某些問(wèn)題的認(rèn)知本來(lái)就是在曲折中不斷前進(jìn)的。我們首先來(lái)介紹一下Hinton那篇文章在講一個(gè)什么事情。

Hinton 這篇文章主要是在探究和解釋標(biāo)簽平滑的機(jī)制和工作原理，下面這張圖很好解釋了這種機(jī)制：

這篇文章里第一個(gè)有意思的發(fā)現(xiàn)是：Label smoothing encourages the activations of the penultimate layer to be close to the template of the correct class and equally distant to the templates of the incorrect classes.這是一個(gè)非常重要的發(fā)現(xiàn)，它的大意是在說(shuō)標(biāo)簽平滑可以消除類內(nèi)樣本之間的差異，讓學(xué)到的同一類別的特征表達(dá)更加緊湊。

更具體來(lái)說(shuō)，比如狗這個(gè)類別的圖片通常會(huì)包含不同的姿態(tài)，拍照角度，曝光程度，不同背景等等，標(biāo)簽平滑可以很好的消除不同樣本特征中這些差異的或者稱為noisy的信息，而更多地保留它的高層語(yǔ)義信息，即狗這個(gè)類別信息。

基于標(biāo)簽平滑這個(gè)特點(diǎn)，作者進(jìn)一步提出了一個(gè)觀點(diǎn)，即：If a teacher network is trained with label smoothing, knowledge distillation into a student network is much less effective.

怎么解釋這個(gè)結(jié)論呢？

如上圖最后一行所示，右側(cè)某類樣本在使用標(biāo)簽平滑之后會(huì)聚集在類中心點(diǎn)，因此不同樣本到其他兩種樣本的距離信息會(huì)趨向于相同，即標(biāo)簽平滑抹去了同一類別不同樣本到其他類別的距離的細(xì)微差別，作者認(rèn)為這種現(xiàn)象對(duì)于知識(shí)蒸餾來(lái)說(shuō)是有害的，因?yàn)檎麴s正是需要teacher能擁有這種捕捉同一類別不同樣本之間細(xì)微差別的能力才會(huì)有效的，因此他們還認(rèn)為: a teacher with better accuracy is not necessarily the one that distills better. 大概意思就是說(shuō)teacher性能好對(duì)于知識(shí)蒸餾來(lái)說(shuō)并不重要。

上述推理聽(tīng)上去是不是非常合情合理，那么ICLR 2021 這篇文章又在糾正一個(gè)什么事情呢？下面這張圖很好的解釋了它究竟在糾正什么：

作者首先重現(xiàn)了NeurIPS 2019那篇文章中的可視化過(guò)程，并證明了上述論文中提到的現(xiàn)象是真實(shí)存在并可重現(xiàn)的，但是他們還有了一個(gè)新的驚人的發(fā)現(xiàn)：

如果我們重新來(lái)審視上圖中兩個(gè)語(yǔ)義相似的類別（每個(gè)子圖左側(cè)的兩個(gè)靠近的類別），當(dāng)使用標(biāo)簽平滑訓(xùn)練的teacher時(shí)，同一類別樣本聚集會(huì)更加緊密，因?yàn)闃?biāo)簽平滑會(huì)促使每個(gè)樣本與該類中其他樣本的類中心等距，而緊密的聚類會(huì)顯著促使語(yǔ)義相似但不同類別的樣本的表達(dá)變得更加可分離，即兩個(gè)類中心距離 Dc 增大了，這進(jìn)一步體現(xiàn)為語(yǔ)義相近但是不同類別的樣本獲得更可區(qū)分的特征。

這個(gè)現(xiàn)象非常重要，因?yàn)檫@些相似類別（分辨困難的類別）是提高分類模型性能的關(guān)鍵。一般來(lái)說(shuō)，我們沒(méi)有必要去衡量"狗和魚有多像或者有多不像"，因?yàn)槲覀冇凶銐虻木€索和特征來(lái)區(qū)分它們（即右側(cè)類樣本到左側(cè)類別的距離不重要），但對(duì)于細(xì)粒度的類別之間比如不同種類的狗，如果能得到" toy poodle與miniature poodle不同的程度"的信息對(duì)于區(qū)分它們是非常關(guān)鍵的。

上述分析作者從原理上解釋了為什么標(biāo)簽平滑和知識(shí)蒸餾并不沖突，為了更好地闡述兩者關(guān)系，作者提出了一個(gè)能定量地衡量被抹去信息大小的指標(biāo)，稱之為stability metric，它的數(shù)學(xué)表達(dá)如下：

物理意義為：如果標(biāo)簽平滑會(huì)抹除類內(nèi)的信息，類內(nèi)樣本的特征表達(dá)的差異也將相應(yīng)減少，因此，我們可以使用這種差異來(lái)監(jiān)測(cè)標(biāo)簽平滑抹除信息的程度，因?yàn)榇酥笜?biāo)也可以評(píng)估同一類別中不同樣本特征表達(dá)波動(dòng)程度，因此我們也稱之為穩(wěn)定性指標(biāo)。

文章還有一個(gè)重要的觀點(diǎn)是：

作者提出如果知識(shí)蒸餾不考慮使用原始數(shù)據(jù)集one-hot標(biāo)簽項(xiàng)，本質(zhì)上標(biāo)簽平滑和知識(shí)蒸餾優(yōu)化方式是一致的（都是cross-entropy loss），唯一差別是soft的監(jiān)督信息的來(lái)源方式不一樣，知識(shí)蒸餾使用的是固定權(quán)重參數(shù)的teacher模型（一種動(dòng)態(tài)的監(jiān)督信息獲取方式），標(biāo)簽平滑使用的是人為制定的平滑規(guī)則（固定不變的標(biāo)簽信息）。

總言而之，文章中作者試圖去解答下面幾個(gè)關(guān)鍵問(wèn)題：

1、teacher網(wǎng)絡(luò)訓(xùn)練時(shí)候使用標(biāo)簽平滑是否會(huì)抑制知識(shí)蒸餾階段的有效性？

2、哪些因素將真正決定student在知識(shí)蒸餾中的性能？

3、標(biāo)簽平滑在什么情況下會(huì)真正失去有效性？

實(shí)驗(yàn)部分

作者在圖像分類，二值化網(wǎng)絡(luò)，機(jī)器翻譯等任務(wù)上進(jìn)行了大量的實(shí)驗(yàn)來(lái)驗(yàn)證他們的觀點(diǎn)，并且完全拋棄了可能會(huì)帶來(lái)誤導(dǎo)的小數(shù)據(jù)集，比如CIFAR。眾所周知，CIFAR上的實(shí)驗(yàn)結(jié)果和現(xiàn)象經(jīng)常會(huì)跟ImageNet上的不一致，從而產(chǎn)生誤導(dǎo)。

作者首先可視化了teacher產(chǎn)生的soft的監(jiān)督信息的分布如下圖所示，我們可以看到使用標(biāo)簽平滑訓(xùn)練teacher產(chǎn)生的監(jiān)督信號(hào)整體上是低于不使用標(biāo)簽平滑，這跟標(biāo)簽平滑本身的工作機(jī)制是一致的。

作者還展示了在一些次要類別上的信號(hào)分布（下圖2），這也是為什么soft標(biāo)簽可以提供更多細(xì)微的語(yǔ)義信息差別的原因。

接下來(lái)是在圖像分類任務(wù)上的結(jié)果，包括ImageNet-1K以及CUB200-2011。我們可以看到，不管teacher有沒(méi)有使用標(biāo)簽平滑訓(xùn)練，student的性能基本是跟teacher的性能保持正相關(guān)的，即teacher性能越高，student也越高。

作者進(jìn)一步可視化了知識(shí)蒸餾過(guò)程的loss曲線和測(cè)試誤差曲線，如下圖。作者發(fā)現(xiàn)如果teacher是使用標(biāo)簽平滑訓(xùn)練出來(lái)的，那么在知識(shí)蒸餾過(guò)程中產(chǎn)生的loss會(huì)比較大，如下圖左側(cè)，但是這個(gè)更大的loss值并不會(huì)影響student的性能，也就是說(shuō)，標(biāo)簽平滑訓(xùn)練的teacher產(chǎn)生的抑制作用只會(huì)發(fā)生在訓(xùn)練數(shù)據(jù)集上，并不會(huì)延續(xù)到測(cè)試數(shù)據(jù)上，即student的泛化能力還是得到保證的。

這也是一個(gè)非常有意思的發(fā)現(xiàn)，本質(zhì)上，這種更大的loss是由于監(jiān)督信號(hào)更加扁平（flattening）造成的，它具有一定的正則作用防止模型過(guò)擬合。

那么什么情況會(huì)真正導(dǎo)致標(biāo)簽平滑無(wú)效或者效果變?nèi)跄兀?/span>

作者發(fā)現(xiàn)在下列兩種情況下標(biāo)簽平滑會(huì)失效或者沒(méi)那么有效：

1、數(shù)據(jù)集呈現(xiàn)長(zhǎng)尾分布的時(shí)候（long-tailed）; 

2、類別數(shù)目變多的時(shí)候。具體猜測(cè)原因可以去閱讀原文。

最后回答一個(gè)大家或許最關(guān)心的問(wèn)題：

知識(shí)蒸餾到底需要怎么樣的teacher？

本質(zhì)上，針對(duì)不同的場(chǎng)景和任務(wù)，需要的teacher類型也不盡相同，但大體上來(lái)說(shuō)，精度越高的網(wǎng)絡(luò)，通常可以蒸餾出更強(qiáng)的student（如下圖），當(dāng)然student的性能也受其自身的結(jié)構(gòu)容量限制。

更多細(xì)節(jié)大家可以去閱讀原論文：

論文地址：https://openreview.net/pdf?id=PObuuGVrGaZ

項(xiàng)目主頁(yè)：http://zhiqiangshen.com/projects/LS_and_KD/index.html

References:

[1] Müller, Rafael, Simon Kornblith, and Geoffrey Hinton. "When does label smoothing help?." In NeurIPS (2019).

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。