0
| 本文作者： AI研習(xí)社-譯站 | 2020-11-11 11:06 |
譯者：AI研習(xí)社（聽風1996）
雙語原文鏈接：https://www.yanxishe.com/TextTranslation/2916
自監(jiān)督學(xué)習(xí)是一個非常有趣的研究領(lǐng)域，其目標是在沒有任何人工標注的情況下，從未標注的數(shù)據(jù)中學(xué)習(xí)豐富的表示。
我們可以通過創(chuàng)造性地提出一個問題來實現(xiàn)，這樣你就可以使用數(shù)據(jù)本身的一部分作為標簽并嘗試進行預(yù)測。這樣的表述被稱為前置任務(wù)
例如，你可以設(shè)置一個前置任務(wù)，給定灰度圖情況下來預(yù)測圖像的彩色版本。同樣，您可以刪除圖像的一部分，并訓(xùn)練一個模型從周圍預(yù)測該部分。有很多類似這樣的前置任務(wù)。
通過對前置任務(wù)的預(yù)訓(xùn)練，希望模型能夠?qū)W習(xí)到有用的表示。之后，我們可以只用一小組標記的訓(xùn)練數(shù)據(jù)，可以將模型微調(diào)到下游任務(wù)，例如圖像分類、對象檢測和語義分割。
所以，前置任務(wù)可以幫助我們學(xué)習(xí)表征。但是，這就提出了一個問題：
目前，衡量表征的標準方法是在一組標準任務(wù)和基準數(shù)據(jù)集上進行評估。
如何判斷一個表示學(xué)習(xí)的好壞？
線性分類：利用固定特征進行ImageNet分類
小樣本設(shè)定：ImageNet分類只使用1%至10%的數(shù)據(jù)。
遷移學(xué)習(xí)：在PASCAL VOC上進行目標分類、目標檢測和語義分割。
我們可以看到，上述評價方法要求我們對前置任務(wù)和目標任務(wù)使用相同的模型架構(gòu)。
這就會帶來了一些有趣的挑戰(zhàn)：
對于前置任務(wù)，我們的目標是在大規(guī)模的無標簽數(shù)據(jù)集上學(xué)習(xí)，因此更深的模型(如ResNet)將會幫助我們學(xué)習(xí)更好的表示。但是，對于下游任務(wù)，我們則更傾向于實際應(yīng)用的淺層模型(如AlexNet)。因此，我們目前在設(shè)計前置任務(wù)時就必須考慮這個限制。
如果有些方法使用了較簡單的架構(gòu)，而其他方法使用了較深的架構(gòu)，那么就很難公平地比較哪種前置任務(wù)更好。
我們無法將從前置任務(wù)中學(xué)習(xí)到的表征與HOG等人工設(shè)計的特征進行比較。
我們可能希望在前置任務(wù)中利用多個數(shù)據(jù)域，如聲音、文本和視頻，但目標任務(wù)可能會限制我們的設(shè)計選擇。
在前置任務(wù)上訓(xùn)練的模型可能會學(xué)習(xí)到對通用視覺識別無用的額外知識。如今，最后一層的任務(wù)特定層會被忽略，實際只取權(quán)重或特征到一定的卷積層。
Noroozi等人在他們2018年的一篇論文 “Boosting Self-Supervised Learning via Knowledge Transfer”中提供了一個非常簡單的想法去解決這些問題。
作者觀察到，在一個良好的表示空間中，語義相似的數(shù)據(jù)點應(yīng)該是緊密相連的。
在常規(guī)的有監(jiān)督分類中，圖像在語義上相似的信息是通過人類注釋的標簽進行編碼的。在這種標簽上訓(xùn)練的模型一般都會有一個表示空間，對語義相似的圖像進行分組。
因此，對于自監(jiān)督學(xué)習(xí)中的前置任務(wù)，目標是隱式學(xué)習(xí)一個使相同類別圖像相似而不同類別圖像不相似的度量。因此，如果我們能夠以某種方式將語義相關(guān)的圖像編碼到相同的標簽上，我們就可以對學(xué)習(xí)的表示提供可靠的估計。
作者提出了一個新穎的框架，可以將知識從一個深層的自監(jiān)督模型轉(zhuǎn)移到一個獨立的淺層下游模型。你可以使用不同的模型架構(gòu)來完成前置任務(wù)和下游任務(wù)。
將前置任務(wù)中的特征進行聚類，并將聚類中心分配給未標記的圖像作為偽標簽。然后，在偽標簽上重新訓(xùn)練一個具有目標任務(wù)架構(gòu)的小型網(wǎng)絡(luò)來預(yù)測偽標簽，并學(xué)習(xí)一種新的表示方法。
這種端到端的處理流程介紹如下：
在這里，我們選擇一些深度網(wǎng)絡(luò)架構(gòu)，并在一些數(shù)據(jù)集上對我們選擇的一些前置任務(wù)進行訓(xùn)練。在模型訓(xùn)練完成后，我們可以從一些中間層獲取特征。
圖：在前置任務(wù)上訓(xùn)練（資源）
對于數(shù)據(jù)集中所有未標記的圖像，我們計算前置任務(wù)模型中 的特征向量。然后，我們基于K-means聚類來分組語義上相似的圖像。我們的想法是，聚類中心將與ImageNet中的類別對齊。
圖：聚類特征（資源）
在論文中，作者使用的K-means在單臺Titan X GPU上運行了4個小時，將130萬張圖片聚成2000個類別。
聚類中心被當作偽標簽。我們可以使用與上一步相同的數(shù)據(jù)集，也可以自己使用不同的數(shù)據(jù)集。然后，我們計算這些圖像的特征向量，并為每個圖像找到最接近的聚類中心。這個聚類中心被用作偽標簽。
圖：生成偽標簽（來源）
我們采取將用于下游任務(wù)的模型架構(gòu)，并利用其將未標記的圖像分類為偽標簽。因此，目標架構(gòu)將學(xué)習(xí)一個新的表示，這樣它將把原本在預(yù)先訓(xùn)練的特征空間中接近的圖像映射到接近的點上。
在偽標簽數(shù)據(jù)上重新訓(xùn)練（來源）
我們看到了如何通過對特征進行聚類，然后使用偽標簽，我們可以將任何前置任務(wù)表征中的知識帶入一個共同的參考模型中，比如AlexNet。
因此，我們現(xiàn)在可以輕松地比較不同的前置任務(wù)，即使它們是使用不同的架構(gòu)和在不同的數(shù)據(jù)域上進行訓(xùn)練的。這也讓我們可以通過使用深度模型和具有挑戰(zhàn)性的前置任務(wù)來改進自監(jiān)督方法。
為了定量評價這個想法，作者設(shè)置了一個實驗，如下所述：
為了評估他們的方法，作者采取了一個名為 "拼圖 "的老式拼圖式前置任務(wù)，我們需要預(yù)測用來隨機打亂3 * 3正方形圖像網(wǎng)格的排列。
圖來自這篇論文
他們通過在某些隨機位置用另一個隨機圖像中的圖塊隨機替換0到2個圖塊來擴展任務(wù)。這增加了難度，因為現(xiàn)在我們只需要使用剩余的補丁來解決這個問題。新的前置任務(wù)被稱為 "Jigsaw++"。
圖來自這篇論文
在本文中，他們使用了701個總排列，其最小漢明距離為3。他們對每個圖像塊分別應(yīng)用均值和標準差歸一化。他們還將圖像的灰度化率提高到70%，以防止網(wǎng)絡(luò)利用低淺顯的統(tǒng)計信息而作弊。
作者使用VGG-16來解決前置任務(wù)并學(xué)習(xí)表征。由于VGG-16的容量增加，它可以更好地處理 "Jigsaw++"任務(wù)帶來的額外復(fù)雜性，從而提取更好的表征。
對來自VGG-16的表示進行聚類，并將聚類中心轉(zhuǎn)換為偽標簽。然后，AlexNet被訓(xùn)練來對偽標簽進行分類。
對于下游任務(wù)，使用偽標簽分類的權(quán)重初始化AlexNet模型的卷積層，并隨機初始化完全連接的層。然后，在各種基準數(shù)據(jù)集上對預(yù)訓(xùn)練的AlexNet進行微調(diào)。
使用像VGG-16這樣的更深層網(wǎng)絡(luò)，可以得到更好的表示和偽標簽，也可以在基準任務(wù)中獲得更好的結(jié)果。它在2018年的幾個基準上得到了最優(yōu)秀的結(jié)果，并進一步縮小了監(jiān)督和自監(jiān)督方法之間的差距。
使用VGG16訓(xùn)練 "Jigsaw++"，并使用AlexNet預(yù)測集群可獲得最佳性能。
切換到更具挑戰(zhàn)性的前置任務(wù) "Jigsaw++"比 "Jigsaw "提高了性能。
當在Jigsaw++和下游任務(wù)中都使用相同架構(gòu)的AlexNet時，知識遷移并沒有明顯影響。
| Task | Clustering | Pre-text architecture | Downstream arch. | Classification | Detction (SS) | Detection(MS) | Segmentation |
|---|---|---|---|---|---|---|---|
| Jiasaw | no | AlexNet | AlexNet | 67.7 | 53.2 | - | - |
| Jiasaw++ | no | AlexNet | AlexNet | 69.8 | 55.5 | 55.7 | 38.1 |
| Jiasaw++ | yes | AlexNet | AlexNet | 69.9 | 55.0 | 55.8 | 40.0 |
| Jiasaw++ | yes | VGG-16 | AlexNet | 72.5 | 56.5 | 57.2 | 42.6 |
2. 在ImageNet上的線性分類
在這種設(shè)定下，在從不同卷積層的AlexNet中提取的特征上訓(xùn)練線性分類器訓(xùn)練。對于ImageNet來說，使用VGG-16并通過聚類將知識轉(zhuǎn)移到AlexNet中，可以大幅提升2%。
3. ImageNet上的非線性分類
對于非線性分類器來說，使用VGG-16將知識遷移到AlexNet上并使用聚類可以在ImageNet上獲得最佳性能。
1. 簇的數(shù)量對性能有什么影響？
網(wǎng)絡(luò)并沒有受到聚類數(shù)量的顯著影響。作者在物體檢測的任務(wù)上測試了在不同簇數(shù)的偽標簽上訓(xùn)練的AlexNet。
2. 這與知識蒸餾有什么不同？
知識遷移與知識蒸餾有著本質(zhì)的區(qū)別。在這里，我們的目標是只保留表征中圖像的簇關(guān)聯(lián)，并將其轉(zhuǎn)移到目標模型中。與蒸餾不同的是，我們不對teacher的精確輸出做任何回歸。
3. 在聚類與預(yù)測偽標簽中可以使用不同的數(shù)據(jù)集嗎？
可以，這個方法很靈活，你可以在一個數(shù)據(jù)集上進行預(yù)訓(xùn)練，在另一個數(shù)據(jù)集上進行聚類，然后得到第三個數(shù)據(jù)集的偽標簽。
作者做了一個實驗，他們在ImageNet的表示上訓(xùn)練聚類，然后在 "Places "數(shù)據(jù)集上計算聚類中心，得到偽標簽。對象分類的性能僅有小幅下降（-1.5%）。
因此，知識遷移是一種簡單有效的方式，可以將表征從深層模型映射到淺層模型。
AI研習(xí)社是AI學(xué)術(shù)青年和AI開發(fā)者技術(shù)交流的在線社區(qū)。我們與高校、學(xué)術(shù)機構(gòu)和產(chǎn)業(yè)界合作，通過提供學(xué)習(xí)、實戰(zhàn)和求職服務(wù)，為AI學(xué)術(shù)青年和開發(fā)者的交流互助和職業(yè)發(fā)展打造一站式平臺，致力成為中國最大的科技創(chuàng)新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學(xué)習(xí)新知，分享成長。
