0
雷鋒網(wǎng) AI 科技評論按：2018 年 5 月 11 日，由微軟亞洲研究院、清華大學(xué)媒體與網(wǎng)絡(luò)技術(shù)教育部-微軟重點實驗室、商湯科技、中國計算機學(xué)會計算機視覺專委會、中國圖象圖形學(xué)會視覺大數(shù)據(jù)專委會合作舉辦了 CVPR 2018 中國論文宣講研討會，數(shù)十位 CVPR 2018 收錄論文的作者在此論壇中分享其最新研究和技術(shù)觀點。研討會共包含了 6 個 session（共 22 個報告），1 個論壇，以及 20 多個 posters，AI 科技評論將為您詳細(xì)報道。
雷鋒網(wǎng)注：全球計算機視覺頂級會議 IEEE CVPR 2018 將于 6 月 18 - 22 日在美國鹽湖城召開。據(jù) CVPR 官網(wǎng)顯示，今年大會有超過 3300 篇論文投稿，其中錄取 979 篇；相比去年 783 篇論文，今年增長了近 25%。
更多報道請參看雷鋒網(wǎng)更多報道：
Session 3: Person Re-Identification and Tracking
Session 4: Vision and Language
本文為 Session 1，報告論文主要以使用 GAN 方法和生成方法為主，共有四場論文報道。
在第一個報告中，北京大學(xué)劉家瑛副教授介紹他們團(tuán)隊使用 Attentive GAN 從單幅圖像中去除雨滴的工作；第二個報告由來自中科院自動化所的胡一博博士介紹他們通過 CAPG-GAN 算法實現(xiàn)人臉旋轉(zhuǎn)任意角度的工作；隨后是由北京大學(xué)連宙輝副教授介紹了他們提出的交互式紋理變換的通用框架；最后由來自微軟亞洲研究院的傅建龍研究員介紹了他們提出的基于instance-level的 DA-GAN（深度注意生成對抗網(wǎng)絡(luò)），該網(wǎng)絡(luò)在圖像到圖像翻譯中能夠?qū)崿F(xiàn)更精細(xì)的生成結(jié)果。
報告題目：Attentive Generative Adversarial Network for Raindrop Removal from A Single Image
報告人：劉家瑛，北京大學(xué)
論文下載地址：
[1] Attentive Generative Adversarial Network for Raindrop Removal from A Single Image
[2] Deep Joint Rain Detection and Removal From A Singal Image
去除圖片中的雨痕，一般有四種情景，如下圖所示，分別為：落下的雨滴（Rain Drop 1），落在鏡頭上的雨滴（Rain Drop 2），雨線（Rain Streak），以及雨霧（Mist）。
劉家瑛團(tuán)隊在去年 CVPR 中曾發(fā)表過一篇關(guān)于去除雨痕的文章《Deep Joint Rain Detection and Removal From A Singal Image》，在這篇論文中他們主要研究如何去除圖片中的雨線。但在無人駕駛或相關(guān)研究中，更具挑戰(zhàn)性的一個任務(wù)是如何去除落在玻璃或者鏡頭上的雨滴。劉家瑛在本次分享會上介紹了她所指導(dǎo)的北大大二學(xué)生 Rui Qian 所做的該方面工作，也即去除單張圖片上隨機散布的雨滴（Rain Drop 2）。
在此之前僅有的一篇類似研究，是由 David Eigen 等人發(fā)表在 ICCV 2013 的一篇文章，在這篇文章中由于作者只使用了 3 層卷積網(wǎng)絡(luò)，所以只能處理很少的 case，同時能夠處理的圖片上的雨滴也非常小，基本上可以視為灰塵。
在劉家瑛所分享的這篇文章中，其思路仍然延續(xù)去年文章的方法，即生成數(shù)據(jù)集，然后用生成的數(shù)據(jù)集來訓(xùn)練模型。
數(shù)據(jù)集的生成方式是，本文作者 Rui Qian 使用單反+一個 3 毫米厚的玻璃片（或者直接把水噴在鏡頭上）收集了 1000 多對（有雨和無雨）在不同戶外環(huán)境、不同背景、不同尺寸和形狀的雨滴圖像，以模擬真實環(huán)境中雨滴的多樣性。使用一個數(shù)學(xué)公式來表達(dá)帶有雨滴圖像的話，如圖中公式所示：
在該論文中作者選擇使用 GAN 的方法，整個模型的框架如下圖所示：
共包含三個部分，分別為：Generator（Attention-recurrent Network），Context Autoencoder 和 Dicriminator Network。
第一部分主要的工作是做檢測（即檢測雨滴在圖片中的位置），然后生成 attention map。首先使用 Residual block 從雨滴圖片中抽取 feature，漸進(jìn)式地使用 Convs 來檢測 attentive 的區(qū)域。訓(xùn)練數(shù)據(jù)集中圖片都是成對的，所以可以很容易計算出相應(yīng)的 mask（M），由此可以構(gòu)建出 Loss 函數(shù)；由于不同的 attention 網(wǎng)絡(luò)刻畫 feature 的準(zhǔn)確度不同，所以給每個 loss 一個指數(shù)的衰減。相應(yīng)的 loss 函數(shù)如下：
隨后將 attention map 和雨滴圖像一起送給 autoencoder，生成去雨滴圖像。autoencoder 的結(jié)構(gòu)用了 16 個 Conv 和 Relu。為了避免網(wǎng)絡(luò)本身造成的 blur，作者使用了 skip connection，因為在低級層次這會帶來很好的效果。在構(gòu)建 loss 方面，除了多尺度的考慮，還加上了一個高精度的 loss，即：Multi-scale loss + perceptual loss。
最后一個是 discriminator。這個步驟有兩種方式，一種是只使用 autoencoder 生成的無雨滴圖像，進(jìn)行判斷；另一種則是加入 attention map 作為指導(dǎo)。如圖所示：
作者使用兩個數(shù)據(jù)集（PSNR 和 SSIM）進(jìn)行了驗證，其中 PSNR 是他們自己收集的數(shù)據(jù)集。作者選用 Eigen 等人 2013 年發(fā)表的工作以及 Pix2Pix 的方法作為對比。結(jié)果如下：
其中 A 表示只有 Autoencoder，A+D 表示 Autoencoder+Discriminator，A+AD 表示 Autoencoder + Attention Discriminator，AA + AD 表示 Attention Autoencoder + Attention Discriminator。
實際去雨效果如圖所示：
參考資料：
[1] https://arxiv.org/abs/1609.07769
[2] https://arxiv.org/abs/1711.10098
[3] https://arxiv.org/abs/1802.07412
[4] 生成式對抗網(wǎng)絡(luò)去除雨滴效果，如何實現(xiàn)有哪些論文？
[5] 第十三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議，張廣軍院士等學(xué)者報告其多年研究工作
報告題目：Pose-Guided Photorealistic Face Rotation
報告人：胡一博，中科院自動化所
論文下載地址：Pose-Guided Photorealistic Face Rotation
對于如何將圖像中的人臉旋轉(zhuǎn)任意角度，例如從一張正臉圖像生成側(cè)臉圖像，或反之從側(cè)臉恢復(fù)其正臉圖像，無論是學(xué)術(shù)界還是工業(yè)界都給予了很大的關(guān)注，因為這可以用于人臉編輯、姿態(tài)變換、數(shù)據(jù)增強、表示學(xué)習(xí)等當(dāng)中。
視角旋轉(zhuǎn)有 x、y、z 三個方向，目前研究中主要考慮左右偏轉(zhuǎn)。如果從單張圖像進(jìn)行旋轉(zhuǎn)的話，這其實是一種「無中生有」、一對多的病態(tài)問題。因此目前人臉旋轉(zhuǎn)存在真實性不高、分辨率較低、身份信息保持較差的問題。
胡一博在介紹他們的工作之前，簡單介紹了人臉旋轉(zhuǎn)研究的歷程，如下圖所示：
從 2015 年的 CVPR 論文開始，人臉識別逐漸引起廣泛的關(guān)注。目前人臉識別主要分成兩個部分，一個是人臉正面化，一個是水平方向的任意角度旋轉(zhuǎn)。之所以將人臉正面化作為一個單獨的部分，是因為人臉正面化的過程中可以引入「對稱性」的強約束，從而降低一對多問題的困難。
其中的 TP-GAN 是人臉正面化中一個里程碑式的工作，這種方法出現(xiàn)之后使得人臉轉(zhuǎn)正能夠達(dá)到以假亂真的效果。TP-GAN 之所以能夠這么有效是因為，它通過一條全局通路和 4 個局部通路（分別對應(yīng)人的五官），最終讓局部和全局的通路進(jìn)行融合。但是這種方法有兩點不足：1）它受限于最慢通路的約束存在一定的性能瓶頸；2）只適用于人臉正面化的問題中，而不能應(yīng)用于更廣泛的人臉旋轉(zhuǎn)中。針對這兩個問題，胡一博認(rèn)為我們需要提升其網(wǎng)咯性能以及實現(xiàn)任意姿態(tài)的人臉旋轉(zhuǎn)。
另一方面，全局優(yōu)先拓?fù)涓兄碚撝赋錾镆曈X系統(tǒng)對全局拓?fù)浣Y(jié)構(gòu)非常敏感。人臉五官包含著很豐富的全局拓?fù)湫畔ⅲ虼艘匀四樔滞負(fù)湫畔⒆鳛橐粋€條件指導(dǎo)整個人臉的過程。
基于上面兩方面的啟發(fā)，胡一博等人提出了 CAPG-GAN 的方法，該方法能夠進(jìn)行二維空間中任意角度的人臉旋轉(zhuǎn)。選擇人臉全局拓?fù)湫畔⒆鳛闂l件有兩個優(yōu)勢，首先它可以提供人臉的結(jié)構(gòu)信息促使生成的圖像更加的逼真，其次在判別器中它可以作為先驗知識，可以提高判別器對于人臉結(jié)構(gòu)的判別性，進(jìn)而促使生成器生成分辨率較高的圖像。CAPG-GAN 的結(jié)構(gòu)圖如下：
輸入包括原始圖像 I^a，原始圖像的五個關(guān)鍵點 P^a，以及目標(biāo)姿態(tài)的關(guān)鍵點 P^b，通過生成器 G 輸出目標(biāo)圖像。判別器采用的是 couple-agent 的結(jié)構(gòu)，本質(zhì)上就是兩個獨立的判別器，agent 1 判別旋轉(zhuǎn)角度的真實性，agent 2 判斷的是拓?fù)浣Y(jié)構(gòu)的真實性。
針對兩個 agent，對應(yīng)的損失函數(shù)如下圖所示：
胡一博團(tuán)隊針對人臉正面化以及旋轉(zhuǎn)任意角度的任務(wù)在多種數(shù)據(jù)集上進(jìn)行實驗驗證，其結(jié)果表現(xiàn)優(yōu)異。效果如下：
參考資料：
[1] https://ieeexplore.ieee.org/document/4641931/
[2] 中科院自動化所智能感知與計算研究中心11篇論文被CVPR接收 | CVPR 2018
[3] https://www.zhihu.com/question/23830904
[4] http://www.cripac.ia.ac.cn/irds/People/rhe.html
[5] http://science.sciencemag.org/content/218/4573/699
[6] 中科院自動化所赫然：大規(guī)模人臉圖像編輯理論、方法及應(yīng)用
報告題目：A Common Framework for Interactive Texture Transfer
報告人：連宙輝，北京大學(xué)
論文下載地址：
研究來源于需求。連宙輝副教授來自北京大學(xué)計算機科學(xué)技術(shù)研究所（該研究所是由）的字形計算技術(shù)實驗室。傳統(tǒng)上，字形設(shè)計需要人工對每個字進(jìn)行手寫或者設(shè)計，然后輸入系統(tǒng)才能夠被利用。但是由于中文有大量的漢字，且很多漢字的結(jié)構(gòu)非常復(fù)雜，所以這項工作艱難且費時。一種解決方法就是，設(shè)計一個特定風(fēng)格的字，然后通過變換遷移到別的字上。
那么是否可以將任意紋理的圖像風(fēng)格通過變換遷移到一個目標(biāo)漢字上呢？更廣義一點，是否可以將任意紋理風(fēng)格遷移到任意圖像上呢？基于這些思考，連宙輝團(tuán)隊在其論文中提出一種交互式的紋理遷移通用框架。
如上圖所示，該通用框架能夠：（a）將涂鴉轉(zhuǎn)換為藝術(shù)品，（b）編輯裝飾模式，（c）生成特殊效果的文本，（d）控制文本中的效果分布圖像，（e）交換紋理。
紋理遷移的問題其實就是，如何輸入原始紋理圖像、原始圖像的語義圖以及目標(biāo)圖像的語義圖后，從而輸出目標(biāo)紋理圖像。
其中較為關(guān)鍵的問題是，如何將兩張語義圖進(jìn)行匹配。例如上圖中，對于邊緣由于有豐富的語義信息指引，因此可以較為容易地進(jìn)行匹配；但是對于內(nèi)部大面積的區(qū)域（d、e），同一個點有很多地方可以去匹配，作者選擇利用從邊緣傳過來的信息（紋理一致和結(jié)構(gòu)引導(dǎo)）可以實現(xiàn)很好的匹配效果。
整個流程如上圖所示，共分為三大部分 7 個步驟。需要說明的是，基于交互式結(jié)構(gòu)的圖像合成是由語義映射和結(jié)構(gòu)信息來指導(dǎo)的，其中用戶可以對語義通道進(jìn)行注釋來控制目標(biāo)圖像中風(fēng)格化紋理的空間分布。在結(jié)構(gòu)提取環(huán)節(jié)，通過內(nèi)容感知顯著性檢測自動提取結(jié)構(gòu)通道，并將其從源樣式圖像傳遞到目標(biāo)。具體而言，傳播步驟通過在源圖像和目標(biāo)圖像之間的關(guān)鍵輪廓點的配準(zhǔn)來獲取內(nèi)部結(jié)構(gòu)對應(yīng)關(guān)系。結(jié)合語義和結(jié)構(gòu)信息進(jìn)行動態(tài)指導(dǎo)，可以使轉(zhuǎn)換過程產(chǎn)生具有內(nèi)容意識和低級細(xì)節(jié)的高質(zhì)量紋理。
本文提出了一個結(jié)構(gòu)指導(dǎo)的交互式紋理傳遞的一般框架。該方法可以自動將樣式從給定的源圖像遷移到用戶控制的目標(biāo)圖像，同時保持結(jié)構(gòu)的完整性和視覺豐富性。更具體地說，作者引入了通過自動提取顯著區(qū)域和傳播結(jié)構(gòu)信息獲得的結(jié)構(gòu)指導(dǎo)。通過將結(jié)構(gòu)通道與語義和紋理一致性結(jié)合起來，可以實現(xiàn)指導(dǎo)紋理轉(zhuǎn)移。實驗結(jié)果表明，所提出的框架廣泛適用于許多紋理轉(zhuǎn)移挑戰(zhàn)。盡管目前大多數(shù)模型都傾向于使用基于神經(jīng)的方法進(jìn)行樣式轉(zhuǎn)換，但本文的結(jié)果表明，簡單的傳統(tǒng)的紋理合成框架仍然可以表現(xiàn)出優(yōu)異的性能。
參考資料：
[1] http://www.icst.pku.edu.cn/zlian/
[2] http://www.icst.pku.edu.cn/F/zLian/papers/CVPR18-Men.pdf
[3] http://www.icst.pku.edu.cn/cscl?p=556
報告題目：DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Network
報告人：傅建龍，微軟亞洲研究院
論文下載地址：
DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Network
本文是另外一篇將 Attention 機制與 GAN 相結(jié)合，以生成更高質(zhì)量目標(biāo)的工作。
傅建龍在報告中認(rèn)為，CV 中的圖像到圖像的翻譯任務(wù)（Image2Image Translation）是一個比較廣泛的概念，即根據(jù) source domain 中的圖像生成 target domain 中的對偶圖像，同時在翻譯過程中約束生成的樣本和 source 中的樣本有盡量一致的分布。事實上有許多基本的 CV 問題都屬于圖像到圖像的翻譯問題，例如白天到黑夜的圖像轉(zhuǎn)換、黑白照到彩色照的轉(zhuǎn)換、低像素到高像素的轉(zhuǎn)換、去除水印、圖像分割、2D 到 3D、梵高風(fēng)格化、木炭風(fēng)格、缺失部分復(fù)原等。
更高級的如下圖這些：
在這所有的任務(wù)中，根據(jù)是否是一對一的學(xué)習(xí)對，將這些任務(wù)劃分為 pair data 任務(wù)和 unpair data 任務(wù)。（如下圖所示）
其中前者在訓(xùn)練數(shù)據(jù)集中具有一對一的數(shù)據(jù)對，x 作為輸入，y 用來計算輸出的 loss 函數(shù)，目前效果最好的網(wǎng)絡(luò)是 Pix2Pix 網(wǎng)絡(luò)；而后者則是兩個獨立的數(shù)據(jù)集之間的訓(xùn)練，模型應(yīng)該能夠從兩個集合中自動地發(fā)現(xiàn)集合之間的關(guān)聯(lián)，從而來學(xué)習(xí)出映射函數(shù)，其中目前效果最好的網(wǎng)絡(luò)是 CycleGAN 模型。
但是以上這些都是基于圖像級的特征學(xué)習(xí)，若想完成更高質(zhì)量要求的生成任務(wù)（例如要求改變圖像區(qū)域的風(fēng)格）則較為困難。于是有人便提出了基于 instance-level 的圖像到圖像的翻譯方法——PatchGAN：
如傅建龍所說，做研究就是要找到前人所沒有填補的空缺。通過畫出上圖，可以很明白地看出，對應(yīng)的也應(yīng)該有基于 unpaired instance-level 的圖像到圖像的翻譯方法。這正是本文的工作，即能否自動地發(fā)現(xiàn) source domain 和 target domain 的 instance 之間的關(guān)聯(lián)，同時這是一種 unpair 的方法，不需要任何人類標(biāo)注。
既然是基于 instance-level 的方法，那么首先就要問：什么是 instance？
事實上，這是一個比較寬泛的概念，在不同的任務(wù)中可以有不同的定義。例如在生成鳥的任務(wù)中，鳥本身是一個 instance，鳥的嘴、腿、翅膀、尾巴等也都可以是 instance；如果想要建立更細(xì)致的生成模型，也可更加細(xì)致地去定義更多種 instance。
介紹了以上的思路后，模型本身的構(gòu)建就很清晰了。如上圖所示，首先通過一個深度 Attention 編碼器（DAE）來自動地學(xué)習(xí)各個 instance，然后將不同的部分分別投射到一個「隱空間」，最后通過 GAN 網(wǎng)絡(luò)進(jìn)行生成。
定量的比較可以看出，DA-GAN 相比于其他方法有較大的提升。
在定性比較方面，有下面三種：
Text to Image
object configuration
pose morphing
從左到右分別為 source bird、target bird 和 DA-GAN 生成的鳥。一個疑問是：鳥腿缺失是因為什么呢？
本文提出了一種無監(jiān)督的圖像翻譯的方法，即通過更細(xì)致化的 instance-level 的 GAN 生成來獲得更高質(zhì)量的翻譯圖像。通過實驗結(jié)果可以很明顯地看出 DA-GAN 相較于其他網(wǎng)絡(luò)在性能上的提升。但是需要注意的是，在生成結(jié)果中仍然存在一些失敗的地方（例如前面提到的「缺失的鳥腿」），這可能由于模型中的 instance 是通過弱監(jiān)督 Attention 機制學(xué)到的，這與完全監(jiān)督下的學(xué)習(xí)還是有一定的差距。如何彌補，或許要靜等傅建龍團(tuán)隊接下來的工作了。
相關(guān)文章：
[1] DA-GAN技術(shù)：計算機幫你創(chuàng)造奇妙“新物種”
[2] https://blog.csdn.net/sinat_31790817/article/details/79658006
[3] https://github.com/wolegechu/learning-every-day/issues/2
[4] http://chenpeng.online/2018/05/23/DA-GAN/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
