0
| 本文作者： 付靜 | 2020-06-22 18:44 |
昨天，李榮浩又因?yàn)檠劬π∩蠠崴蚜恕?/p>
在名為 #特效都整不大李榮浩的眼睛# 的話題下面，有一個(gè)李榮浩楊丞琳二人結(jié)婚照的換臉視頻，只見換臉后的李榮浩眼睛完全變成了一條線，孫紅雷也轉(zhuǎn)發(fā)微博“五十步笑百步”：
這個(gè)特效太過分了，李先生，有人黑你！
對此，網(wǎng)友的評論清一色成了“哈哈哈哈哈”。
細(xì)心的人可能留意到了視頻里的抖音 APP logo。沒錯(cuò)！上面這個(gè)對小眼睛群體不怎么友好的功能正是抖音新上線的「變身漫畫」特效。
而在這樣的真人一鍵變身漫畫的效果背后，是生成式對抗網(wǎng)絡(luò) GAN（Generative Adversarial Networks）。
當(dāng)前，抖音「變身漫畫」特效榮登熱門挑戰(zhàn)榜的“本周實(shí)時(shí)榜”（2002 年 6 月 15-21 日）TOP 1，已有約 867.2 萬用戶使用。
其中，不少明星拍了同款視頻，玩法也是五花八門。
比如陳赫拿出神似蒼蠅拍的“神秘鑰匙”解除二次元封印。
鄧紫棋擦玻璃換臉。
張藝興來一段 rap 的功夫已經(jīng)不知道用手勢在次元之間穿梭了多少回了。
進(jìn)入二次元后，明星們的發(fā)型、五官等細(xì)節(jié)“神還原”，同時(shí)還多了一絲俏皮靈動。
不過，把真人變成漫畫畫風(fēng)并不稀奇了。近幾年特效拍照 APP 層出不窮，用戶想把圖片、視頻變成漫畫風(fēng)、古風(fēng)、手繪風(fēng)、油畫風(fēng)，甚至想換性別、變年齡，都不是問題。
生成式對抗網(wǎng)絡(luò) GAN
提到換臉，就繞不開一項(xiàng)技術(shù)——生成式對抗網(wǎng)絡(luò) GAN。
雷鋒網(wǎng)此前曾報(bào)道，GAN 作為一種深度學(xué)習(xí)模型，是機(jī)器學(xué)習(xí)中一個(gè)較新的概念，首次出現(xiàn)于 2014 年 10 月前谷歌大腦著名科學(xué)家 Ian Goodfellow 及其團(tuán)隊(duì)發(fā)表的論文《對抗式生成網(wǎng)絡(luò)》（Generative Adversarial Networks）中。
機(jī)器學(xué)習(xí)的模型分為生成模型（Generative Model）和判別模型（Discriminative Model）兩種，顧名思義，其各自的功能分別是根據(jù)數(shù)據(jù)集生成和判斷。
而 Ian Goodfellow 之所以能成為“GANs 之父”，就在于創(chuàng)造性地提出了一個(gè)通過對抗（Adversarial）估計(jì)生成模型的概念，同時(shí)訓(xùn)練生成模型和判別模型，讓二者進(jìn)行對抗，生成模型要盡可能地生成真實(shí)的圖片去欺騙判別模型，與此同時(shí)判別模型也要盡量把生成模型生成的圖片和原數(shù)據(jù)集區(qū)分開。
這一過程就像游戲中的兩個(gè)玩家進(jìn)行 battle，一開始兩臉懵逼，最后“真理越辯越明”。這種機(jī)器之間自發(fā)的相互學(xué)習(xí)，可以說是非常智能了。
而 GAN 的種類也不少，其中最常見的比如說 Cycle GAN。
實(shí)際上，CycleGAN 是人臉轉(zhuǎn)換早期的一個(gè)重要嘗試，能從源轉(zhuǎn)換到目標(biāo)，也能進(jìn)行反向轉(zhuǎn)換，從而便捷地學(xué)習(xí)了兩個(gè)類別之間的轉(zhuǎn)換關(guān)系，也更好地保證了轉(zhuǎn)換后的圖像品質(zhì)。
如上圖所示，能把斑馬變成馬，那么即便是換個(gè)動作，馬也能再次轉(zhuǎn)換成斑馬；同理，夏天能變冬天，換了場景后冬天也可以變回夏天。
雖然上文所說的抖音動漫風(fēng)換臉特效并未公開具體的技術(shù)信息，但此前將人臉變?yōu)槁嬓蜗蟮膰L試的確用到了 CycleGAN，相關(guān)論文也在 2019 年 7 月登上了預(yù)印本平臺 arXiv。
值得一提的是，這項(xiàng)研究利用的是所謂的 landmark assisted CycleGAN。
據(jù)論文介紹，這里的“l(fā)andmark”不是我們經(jīng)常說的“地標(biāo)”，而是指面部特征，所以我們可以將這種技術(shù)理解為 CycleGAN 特別版——「有人臉特征輔助的 CycleGAN」。
技術(shù)如何，還是看看效果（雷鋒網(wǎng)注：右二列為 CycleGAN 生成；右一列由有人臉特征輔助的 CycleGAN 生成）。
現(xiàn)實(shí)中的美女變成了二次元小蘿莉。
型男生成的漫畫形象看上去也不錯(cuò)。
此外，也有研究團(tuán)隊(duì)曾基于 GAN，利用面部特征，將低分辨率圖像轉(zhuǎn)換為高分辨率圖像。感覺多年的老近視被治好了！
看到這里是不是想感嘆一句真神奇？
其實(shí)還有更神奇的，比如大變活人。
這是西班牙一家互聯(lián)網(wǎng)國際象棋棋盤制造商 REGIUM 網(wǎng)站上的員工個(gè)人信息頁面，看上去似乎并沒有什么異常。但實(shí)際上，框出來的四位工程師都是“假人”，現(xiàn)實(shí)生活中并不存在。
雷鋒網(wǎng)了解到，這些“人造人”來自國外一個(gè)造臉網(wǎng)站 this person does not exist.com，而這些照片也都是基于 GAN。
不過，隨著換臉技術(shù)出現(xiàn)的還有諸多問題——比如曾經(jīng)一夜爆火、三天涼涼的 ZAO APP 和在全世界范圍內(nèi)臭名昭著的 Deepfake，都引起了各界的擔(dān)憂。
怎樣合理地利用這類換臉技術(shù)，是個(gè)需要思考的問題。
引用來源：
https://blog.csdn.net/cf2SudS8x8F0v/article/details/80035700
https://arxiv.org/abs/1703.10593
https://arxiv.org/pdf/1907.01424.pdf
https://arxiv.org/pdf/1908.08239.pdf
http://www.specdd.com.cn/news/202003/e51V70tdn5WKpowO.html
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
