0
| 本文作者： 叢末 | 2019-05-30 10:39 | 專題：CVPR 2019 |
雷鋒網(wǎng) AI 科技評論按：百度研究院、華中科技大學、悉尼科技大學聯(lián)合新作——關于無監(jiān)督領域自適應語義分割的論文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 類學術會議 CVPR2019 收錄為 Oral 論文 。該論文提出了一種從「虛擬域」泛化到「現(xiàn)實域」的無監(jiān)督語義分割算法，旨在利用易獲取的虛擬場景標注數(shù)據(jù)來完成對標注成本高昂的現(xiàn)實場景數(shù)據(jù)的語義分割，大大減少了人工標注成本。 本文是論文作者之一羅亞威為雷鋒網(wǎng) AI 科技評論提供的論文解讀。 雷鋒網(wǎng)
基于深度學習的語義分割方法效果出眾，但需要大量的人工標注進行監(jiān)督訓練。不同于圖像分類等任務，語義分割需要像素級別的人工標注，費時費力，無法大規(guī)模實施。借助于計算機虛擬圖像技術，如3D游戲，用戶可以幾乎無成本地獲得無限量自動標注數(shù)據(jù)。然而虛擬圖像和現(xiàn)實圖像間存在嚴重的視覺差異（域偏移），如紋理、光照、視角差異等等，這些差異導致在虛擬圖像上訓練出的深度模型往往在真實圖像數(shù)據(jù)集上的分割精度很低。
圖1. 問題背景
針對上述域偏移問題，一種廣泛采用的方法是在網(wǎng)絡中加入一個域判別器Discriminator (D），利用對抗訓練的機制，減少源域Source (S）和目標域Target（T）之間不同分布的差異，以加強原始網(wǎng)絡（G）在域間的泛化能力。方法具體包括兩方面：
（1）利用源域的有標簽數(shù)據(jù)進行有監(jiān)督學習，提取領域知識：
其中Xs，Ys為源域數(shù)據(jù)及其對應標簽。
（2）通過對抗學習，降低域判別器（D）的精度，以對齊源域與目標域的特征分布：
其中XT為目標域數(shù)據(jù)，無標簽。
以上基于對抗學習的傳統(tǒng)域適應方法只能對齊全局特征分布（Marginal Distribution），而忽略了不同域之間，相同語義特征的語義一致性（Joint Distribution），在訓練過程中容易造成負遷移，如圖2（a）所示。舉例來說，目標域中的車輛這一類，可能與源域中的車輛在視覺上是接近的。因此，在沒有經(jīng)過域適應算法之前，目標域車輛也能夠被正確分割。然而，為了迎合傳統(tǒng)方法的全局對齊，目標域中的車輛特征反而有可能會被映射到源域中的其他類別，如火車等，造成語義不一致。
針對這一問題，我們在今年CVPR的論文中，向?qū)箤W習框架里加入了聯(lián)合訓練的思想，解決了傳統(tǒng)域適應方法中的語義不一致性和負遷移等鍵問題。具體做法見圖2（b），我們采用了兩個互斥分類器對目標域特征進行分類。當兩個分類器給出的預測很一致時，我們認為該特征已經(jīng)能被很好的分類，語義一致性較高，所以應減少全局對齊策略對這些特征產(chǎn)生的負面影響。反之，當兩個分類器給出的預測不一致，說明該目標域特征還未被很好地分類，依然需要用對抗損失進行與源域特征的對齊。所以應加大對齊力度，使其盡快和源域特征對應。
圖2. 傳統(tǒng)方法和本文方法對比
為了實現(xiàn)上述語義級對抗目標，我們提出了Category-Level Adversarial Network (CLAN)。 遵循聯(lián)合訓練的思想，我們在生成網(wǎng)絡中采用了互斥分類器的結(jié)構(gòu)，以判斷目標域的隱層特征是否已達到了局部語義對齊。在后續(xù)對抗訓練時， 網(wǎng)絡依據(jù)互斥分類器產(chǎn)生的兩個預測向量之差（Discrepancy）來對判別網(wǎng)絡所反饋的對抗損失進行加權(quán)。網(wǎng)絡結(jié)構(gòu)如下圖3所示。 
圖3. 網(wǎng)絡結(jié)構(gòu)
圖3中，橙色的線條表示源域流，藍色的線條表示目標域流，綠色的雙箭頭表示我們在訓練中強迫兩個分類器的參數(shù)正交，以達到互斥分類器的目的。源域流和傳統(tǒng)的方法并無很大不同，唯一的區(qū)別是我們集成了互斥分類器產(chǎn)生的預測作為源域的集成預測。該預測一方面被標簽監(jiān)督，產(chǎn)生分割損失（Segmentation Loss），如式（3）所示：
另一方面，該預測進入判別器D，作為源域樣本。
綠色的雙箭頭處，我們使用余弦距離作為損失，訓練兩個分類器產(chǎn)生不同的模型參數(shù)：
目標域流中，集成預測同樣進入判別器D。不同的是，我們維持兩個分類器預測的差值，作為局部對齊程度的依據(jù) (local alignment score map）。該差值與D所反饋的損失相乘，生成語義級別的對抗損失：
該策略加大了語義不一致特征的對齊力度，而減弱了語義一致的特征受全局對齊的影響，從而加強了特征間的語義對齊，防止了負遷移的產(chǎn)生。
最后，根據(jù)以上三個損失，我們可以得出最終的總體損失函數(shù)：
基于以上損失函數(shù)，算法整體的優(yōu)化目標為：
在訓練中，我們交替優(yōu)化G和D，直至損失收斂。
圖4. T-SNE
我們重點關注不常見類，如圖4（a）中黃框內(nèi)的柱子，交通標志。這些類經(jīng)過傳統(tǒng)方法的分布對齊，反而在分割結(jié)果中消失了。結(jié)合特征的t-SNE圖，我們可以得出結(jié)論，有些類的特征在沒有進行域遷移之前，就已經(jīng)是對齊的。傳統(tǒng)的全局域適應方法反而會破壞這種語義一致性，造成負遷移。而我們提出的語義級別對抗降低了全局對齊對這些已對齊類的影響，很好的解決了這一問題。
我們在兩個域適應語義分割任務，即GTA5 -> Cityscapes 和 SYNTHIA -> Cityscapes 上進行了實驗驗證。我們采用最常見的Insertion over Union作為分割精度的衡量指標，實驗結(jié)果如下。從表1和表2中可以看出，在不同網(wǎng)絡結(jié)構(gòu)（VGG16，ResNet101）中，我們的方法（CLAN）域適應效果都達到了 state-of-the-art的精度。特別的，在一些不常見類上（用藍色表示），傳統(tǒng)方法容易造成負遷移，而CLAN明顯要優(yōu)于其他方法。
表 1. 由虛擬數(shù)據(jù)集GTA5 遷移至真實數(shù)據(jù)集 Cityscapes 的域適應分割精度對比。 
表 2. 由虛擬數(shù)據(jù)集SYNTHIA 遷移至真實數(shù)據(jù)集 Cityscapes 的域適應分割精度對比。
第二個實驗中，我們了展示隱空間層面，源域和目標域間同語義特征簇的中心距離。該距離越小，說明兩個域間的語義對齊越好。結(jié)果見圖 5。
最后，我們給出分割結(jié)果的可視化效果。我們的算法大大提高了分割精度。
《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》引入了聯(lián)合訓練結(jié)合對抗學習的設計，在無監(jiān)督域適應語義分割任務中取得了較好的實驗結(jié)果。該算法能應用前景廣泛，比如能夠很好地應用到自動駕駛中，讓車輛在不同的駕駛環(huán)境中也能保持魯棒的街景識別率。
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
