0
| 本文作者： 木子 | 2022-01-19 15:00 |
近日，創新奇智關于雙注意力機制少樣本學習的研究論文《Dual Attention Networks for Few-Shot Fine-Grained Recognition》被全球人工智能頂會AAAI 2022接收為Main Track論文。
AAAI（The National Conference on Artificial Intelligence）是人工智能領域的主要學術組織之一國際先進人工智能協會（American Association for Artificial Intelligence），主辦的A類人工智能學術會議。今年會議共收到9251篇投稿，最終經過大量的篩選，錄取率僅為15.0%，創下歷史新低。創新奇智投稿的論文脫穎而出，得益于一直以來在計算機視覺領域深厚的創新力。
創新奇智此次論文中提出的雙注意力機制少樣本學習主要針對少樣本細粒度圖像識別任務。
此方法可用于制造業等領域標注樣本極少的情況下區分屬于不同子類的圖像，如不同車型的汽車、不同類型的零件、零件上不同種類的缺陷等，減少實際應用場景中對數據量的依賴，并提高識別正確率。
由于細粒度屬性，該識別任務的難度在于需要獲取有限訓練數據中細小但具有辨識性的部件級別模式，這使得此問題較為挑戰。
創新奇智提出的由硬/軟雙注意力流構成的雙注意力網絡（DUAL ATT-NET），在三個常用的細粒度基準數據集上的結果明顯優于其他的現有先進方法。
概述：
細粒度圖像識別是計算機視覺和模式識別領域的基礎研究課題，但是大量優質細粒度圖像數據的獲取和標注需要耗費大量的人力和財力，這為細粒度圖像識別的推廣和使用帶來了巨大的障礙。
少樣本學習是目前研究的熱門方向之一，能夠極大地減少細粒度圖像識別對于標注樣本的依賴，故少樣本的設定下進行細粒度圖像識別的相關研究，內容和成果均符合實際應用的需求。
本文通過卷積神經網絡與注意力機制提取圖像中的部件與全局特征，通過基于圖的多示例學習對局部特征進行建模，豐富了細粒度部分的內在結構相關性，通過注意力機制發掘對細粒度圖像識別有用的微妙全局信息，從而得到更高的少樣本細粒度圖像識別的準確率。
主要貢獻
1、提出了一種由雙注意力流構成的元學習方式的新型少樣本細粒度框架，以獲取細粒度定制圖像嵌入表示。
2、開發了包含硬/軟注意力機制的雙注意力網絡，不僅實現細粒度物體部分間重要關聯的顯式構建，而且能夠隱式獲取細微但有辨識性的細節。
3、基于三個常用的細粒度基準數據集進行了綜合的實驗，本文提出的模型在識別準確性上明顯優于其他解決方案。
這是一種基于雙注意力流的少樣本細粒度圖像識別方法，包括以下步驟：
步驟1：提取樣本的特征圖（feature map），生成特征圖的空間注意力圖（spatial attention map）引導，利用注意力引導機制，生成用于軟注意力流的加權特征圖，同時篩選出用于硬注意力流的深度描述符（deep descriptor）。
步驟2：加權特征圖使用全局聚合操作得到全局嵌入特征；將一個樣本篩選出的所有深度描述符建模為一個多示例學習（multi-instance learning）的包（bag）, 使用基于圖的多示例學習方法挖掘樣本部件之間的關系，得到部件嵌入特征。
步驟3：將兩個注意力流得到的全局嵌入特征和部件嵌入特征拼接得到樣本最終的嵌入表示，基于原型表示和最近鄰方法進行類別預測和模型訓練。
本方法與現有技術相比，其顯著優點為：
（1）本方法使用了兩個注意力流分別得到了部件級別的關鍵信息和全局聚合信息，不僅對細粒度圖像識別提供了區分新的部件級信息，也補充了對細粒度圖像識別有用的微妙全局信息。
（2）對于硬注意力流，使用多示例方法將篩選出的有用深度描述符建模為包，并基于圖的方法對包進行編碼一體化得到對應細粒度部件的深度描述符的整體表示，豐富了細粒度部分的內在結構相關性。
（3）與基于雙線性池的方法相比，我們的方法復雜度更低更加易于訓練且有更高的識別效率。
在三個常用的少樣本細粒度圖像識別數據集 (CUB Birds，Stanford Dogs和Stanford Cars) 上進行了實驗，上圖實驗結果表明，論文提出的方法幾乎在所有數據集上均明顯優于其他基準方法。
上圖結果顯示出我們的模型對語義簇數的魯棒性，并且當簇數為3時識別的準確率最高。
我們提出的基于MIL的聚合方法與原始MIL池化方法的效果，上表結果顯示無論是否與全局特征進行連接，我們的方法均表現出較好的效果。
從上表結果可見，引入本文中考慮細粒度部件間關系的方法會顯著提高少樣本低粒度識別的準確性。
最后，我們將實驗中一些硬/軟注意力樣例進行可視化，上圖中第一排為輸入圖像；第二排為硬注意力選取的深度描述符的位置，可見均對應物體的細粒度部分，如頭、耳、尾、輪胎等；第三排展示軟注意力，更多的細節細粒度模式能夠被軟注意力關注到。
雷峰網(公眾號：雷峰網)
