「合并」 樣本和標簽? IBM 為多標簽小樣本圖像分類帶來新進展！| CVPR 2019

雷鋒網 AI 科技評論按：目前大多數關于圖像小樣本分類的研究工作都是研究單標簽場景，每個訓練圖像只包含一個對象，然而現實中的場景中以多對象多標簽居多，因此對于多標簽小樣本的圖像分類研究更 具現實意義。IBM 的研究人員對多標簽小樣本的圖像分類進行了研究，并在 CVPR 2019 大會上進行了論文分享，相關成果發表在 IBM 官網博客上，雷鋒網 AI 科技評論編譯如下。

當我們將人工智能和機器學習擴展到面向企業和工業界應用的更廣泛的任務集時，從更少的數據集中學到更多是必要的。數據增強是一個重要的工具，特別是在沒有足夠的訓練數據的情況下，它通過自動合成新的訓練樣本來改進學習。小樣本學習就是這樣的一個例子，其每個類別只有一個或很少的樣本可用。之前大多數關于圖像小樣本分類的研究工作都是研究「單標簽」場景，其中每個訓練圖像只包含一個對象，因此只有一個類別標簽。然而，更具有挑戰性和現實意義的場景是多標簽、小樣本的圖像分類，其訓練數據樣本較少，圖像具有多個標簽，而之前的研究工作尚未對該場景進行廣泛的研究探索。

為了研究上述課題，我們在 2019 年 6 月舉行的 IEEE 計算機視覺與模式識別（CVPR 2019）大會上發表了相關論文，對多標簽、小樣本圖像分類進行了研究。本論文題目為《LaSO：面向多標簽小樣本學習的標簽設置操作網絡》（「LaSO：Label-Set Operations networks for multi-label few-shot learning」，論文地址：https://www.research.ibm.com/artificial-intelligence/publications/paper/?id=LaSO:-Label-Set-Operations-Networks-for-Multi-label-Few-shot-Learning），提出了一種訓練深度神經網絡的新方法，即將圖像樣本對與一定的標簽集相結合，合成具有「合并」標簽的新樣本。例如，考慮圖 1 中的兩幅圖像，一幅描繪的是「一個人遛羊和狗」，另一幅描繪的是「一個人抱著一只狗和一只貓」。第一張圖片的標簽是「人」、「羊」和「狗」，第二張是「人」、「狗」和「貓」。通過給定的這兩幅圖像，LaSO 網絡合成了新的訓練樣本，這些樣本通過對標簽執行聯合、交叉和減法操作而產生。「聯合」生成了一個標有「人」、「狗」、「貓」和「羊」的樣本，「交叉」和「減法」生成了分別標有「人」、「狗」和「羊」的多個樣本。LaSO 網絡直接在深度神經網絡學習的特征空間進行操作。 

圖 1：在兩幅圖像上進行 LaSO 網絡操作的案例

作為一個單一的多任務網絡，LaSO 網絡通過使用特定的損失函數共同訓練，以使其操作適應相應的標簽集操作任務（圖 2）。 

圖 2：支持交叉、聯合和減法操作標簽集的 LaSO 網絡體系結構

多任務網絡是在一個大規模的多標簽數據集上進行訓練的，每個圖像的多個標簽與出現在圖像上的目標相對應。我們通過使用不同的方法對產生的 LaSO 網絡進行了測試，以評估它們在操作多標簽內容方面的潛力。這些測試包括使用在真實、留存的多標簽數據上經過預訓練的分類器對生成的示例進行分類，以及使用 LaSO 網絡合成的特征向量來測試源自留存的測試集的檢索（圖 3）。 

圖 3：基于合成 LaSO 向量進行的圖像檢索的定性結果

LaSO 網絡被設計成直接在圖像表征進行操作，而不需要任何額外的輸入來控制操作。換句話說，就是不需要人工干預來指示它們要操作哪些標簽。因此，在訓練過程中，它們可以潛在地泛化到包含尚未見過的新類別的圖像上。在這方面，LaSO 網絡可以用來挑戰多標簽小樣本的分類任務。在這種情況下，LaSO 網絡從所提供的訓練樣本隨機對中合成新的訓練樣本。在本文中，我們將 LaSO 網絡的這種能力應用到一個新的多標簽小樣本分類基準中，希望能引起對這一重要問題的更多研究。通過使用 LaSO 網絡在所給出的基準上進行數據增強的結果表明，將其推廣到新的類別具有很強的潛力（圖 4）。

 

圖 4：LaSO 增強表現（底部四行）VS 基準（頂部三行）

多標簽小樣本分類是一項全新的、具有挑戰性和實用性的研究工作。我們為這個研究工作提出了第一個基準。在該基準上利用神經網絡對 LaSO 標簽集操作進行了評估，結果表明 LaSO 具有很好的應用潛力。我們希望本次工作能激勵更多的研究人員去研究這個有趣的問題。

via :  https://www.ibm.com/blogs/research/2019/06/few-shot-learning/   雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。