優(yōu)必選悉尼 AI 研究院 AAAI 2018 頂會論文一覽

雷鋒網(wǎng) AI 科技評論按：第 32 屆人工智能頂級會議 AAAI 2018 在美國新奧爾良召開。在今年的 AAAI 上，優(yōu)必選悉尼 AI 研究院共有 5 篇論文入選，其中 3 篇 oral，2 篇 poster。

在 AI 科技評論推出的數(shù)據(jù)庫項目「AI 影響因子」中，優(yōu)必選悉尼 AI 研究院已經(jīng)憑借 4 篇 CVPR 錄用論文上榜「AI 影響因子論文類目活躍企業(yè)」。優(yōu)必選悉尼 AI 研究院也即將在五月份于 AI 慕課學(xué)院上做論文解讀的直播分享，敬請期待。

論文摘要如下：

論文 1：Domain Generalization via Conditional Invariant Representation

為了將從源域的數(shù)據(jù)里學(xué)習(xí)到的模型泛化到將來的某個目標(biāo)域，我們的方法希望學(xué)習(xí)到域不變的特征。以前的域自適應(yīng)方法都是通過匹配特征的邊緣分布 P(X) 來學(xué)習(xí)域不變特征，但是這種方法假設(shè) P(Y|X) 在不同的域穩(wěn)定不變，現(xiàn)實情況很難保證。我們提出通過匹配條件概率 P(X|Y) 并同時衡量 P(Y) 的變化來保證不同域之間的聯(lián)合分布 P(X,Y) 相同。條件域不變特征通過兩個損失函數(shù)進行學(xué)習(xí)，一個衡量以類為條件的分布差異，一個衡量以類別歸一化的邊緣概率分布的差異，從而達到匹配聯(lián)合分布的效果。如果目標(biāo)域的 P(Y) 變化不大，那么我們可以保證得到很好的匹配目標(biāo)域的特征。

論文 2：Adversarial Learning of Portable Student Networks

學(xué)習(xí)具有較少參數(shù)的深度神經(jīng)網(wǎng)絡(luò)的方法是迫切需要的，因為重型神經(jīng)網(wǎng)絡(luò)的龐大的存儲和計算需求在很大程度上阻止了它們在移動設(shè)備上的廣泛使用。與直接去除權(quán)值或卷積核以獲得比較大的壓縮比和加速比的算法相比，使用教師網(wǎng)絡(luò)-學(xué)生網(wǎng)絡(luò)學(xué)習(xí)框架的模式來訓(xùn)練輕型網(wǎng)絡(luò)是一種更靈活的方法。然而，在實際應(yīng)用中，我們很難確定利用哪一種度量方式來從教師網(wǎng)絡(luò)中選擇有用的信息。為了克服這一挑戰(zhàn)，我們提出利用生成對抗網(wǎng)絡(luò)來學(xué)習(xí)輕型的學(xué)生神經(jīng)網(wǎng)絡(luò)，具體地，生成器網(wǎng)絡(luò)就是一個具有非常少權(quán)值參數(shù)的學(xué)生神經(jīng)網(wǎng)絡(luò)，判別器網(wǎng)絡(luò)被當(dāng)作一個助教，用來區(qū)分學(xué)生神經(jīng)網(wǎng)絡(luò)和教師神經(jīng)網(wǎng)絡(luò)所生成的特征。通過同時地優(yōu)化生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，本文生成的學(xué)生神經(jīng)網(wǎng)絡(luò)可以對輸入數(shù)據(jù)生成具有跟教師神經(jīng)網(wǎng)絡(luò)特征具有同樣分布的特征。

論文 3： Reinforced Multi-label Image Classification by Exploring Curriculum

人和動物學(xué)習(xí)經(jīng)過組織的知識比學(xué)習(xí)雜亂的知識更為高效?；谡n程學(xué)習(xí)的機制，我們提出了一種強化多標(biāo)簽分類的方法來模擬人類從易到難預(yù)測標(biāo)簽的過程。這種方法讓一個強化學(xué)習(xí)的智能體根據(jù)圖像的特征和已預(yù)測的標(biāo)簽有順序地進行標(biāo)簽預(yù)測。進而，它通過尋求一種使累計獎賞達到最大的方法來獲得最優(yōu)策略，從而使得多標(biāo)簽圖像分類的準(zhǔn)確性最高。我們在 PASCAL VOC2007 和 PASCAL VOC2012 數(shù)據(jù)集上的實驗表明了，在真實的多標(biāo)簽任務(wù)中，這種強化多標(biāo)簽圖像分類方法的必要性和有效性。

論文 4： Learning with Single-Teacher Multi-Student

本文研究了如何通過一個單一的復(fù)雜通用模型來學(xué)習(xí)一系列的輕量專用模型，即單老師多學(xué)生 (Single-Teacher Multi-Student) 問題。以經(jīng)典的多分類和二分類為例，本文圍繞著如何利用一個預(yù)訓(xùn)練的多分類模型來衍生出多個二分類模型，其中每個二分類模型對應(yīng)不同的類別。在實際場景中，許多問題可以被看做這一范疇；例如，基于一個通用的人臉識別系統(tǒng)對于特定的嫌犯進行快速準(zhǔn)確地判斷。然而，直接使用多分類模型進行二分類操作的推斷效率不高，從頭訓(xùn)練一個二分類器的分類表現(xiàn)往往不好。本文通過將多分類器看做老師，將目標(biāo)的二分類器看做學(xué)生，提出了一種門化支持向量機 (gated SVM) 模型。此模型中，每一個二分類器可以結(jié)合多分類器的推斷結(jié)果給出自己的預(yù)測；此外，每個學(xué)生可以獲得由老師模型給出的樣本復(fù)雜度度量，使得訓(xùn)練過程更加自適應(yīng)化。在實際實驗中，所提模型取得了不錯的效果。

論文 5： Sequence-to-Sequence Learning via Shared Latent Representation

受人腦可以從不同的模態(tài)學(xué)習(xí)和表達同一抽象概念的啟發(fā)，本文提出了一個通用的星狀框架實現(xiàn)序列到序列的學(xué)習(xí)。該模型中將不同模態(tài)的內(nèi)容（外圍節(jié)點）編碼到共享隱表征（shared latent representation，SLR），即中央節(jié)點中。SLR 的模態(tài)不變屬性可以被視為中間向量的高級正則化，強制它不僅捕獲每個單個模態(tài)的隱式表示（如自動編碼器），而且還可以像映射模型一樣進行轉(zhuǎn)換。因此，我們可以從單個或多個模態(tài)學(xué)習(xí) SLR，并且生成相同的（例如句子到句子）或不同的（視頻到句子）的模態(tài)信息。星型結(jié)構(gòu)將輸入與輸出分離，為各種序列學(xué)習(xí)應(yīng)用提供了一個通用且靈活的框架。此外，SLR 模型是內(nèi)容相關(guān)（content-specific）的，這意味著它只需要對數(shù)據(jù)集進行一次訓(xùn)練，就可以用于不同的任務(wù)。