0
雷鋒網 AI 開發者按：近日，微軟研究院與北京大學的研究小組共同提出了一種全新的 AI 換臉框架 FaceShifter，以及一種檢測偽造人臉圖像的方法 FaceX-Ray。前者可以極大提高換臉的高保真度，而后者則用于檢測出復雜偽造人臉圖像。
一個致力于造假，一個專注于打假；光是聽起來，就不禁讓人聯想到「矛」與「盾」的故事。那到底哪個更勝一籌呢？VB 發布了的相關內容介紹了這兩個成果，雷鋒網 AI 開發者將其整理及編譯如下。
圖片來源：360圖片
目前，最先進的機器學習算法不僅可以完成對地點或物體的圖像改變與生成，以 Deepfake 為代表的 AI 換臉技術甚至已經可以達到以假亂真的換臉效果；但由于換臉技術的濫用可能會為社會帶來一系列惡劣影響，研究人員也在不斷探索該技術的原理，并希望能夠解決這一難題。
就在最近，這一技術又有了新的進展。微軟研究院和北京大學的研究小組發表的兩篇學術論文中，他們分別提出了一種用于生成高保真和遮擋感知的人臉交換框架——FaceShifter，以及一種用于檢測偽造人臉圖像的方法——FaceX-Ray。
與現有的方法相比，微軟研究的面容轉換
圖片來源：微軟研究院
據相關研究人員表示，與多個現行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得更好的效果，而且它們所需的數據比以前的方法少得多。
從相關資料可以看到，FaceShifter 能夠將目標圖像中的人替換為源圖像中的另一個人的同時，保留其頭部姿勢、面部表情、燈光、顏色、強度、背景和其他屬性特征。
雖然像 Reflect 和 FaceSwap 這樣的應用程序聲稱可以相當準確地做到這一點，但是微軟論文的合著者表示 FaceShifter 對姿態和視角的變化則敏感度更高。
取源圖像中的臉來替換目標圖像中的面，換臉結果顯示在右邊
圖片來源：FaceShifter論文（https://arxiv.org/pdf/1912.13457.pdf）
FaceShifter 通過使用生成性對抗網絡（GAN）來提高換臉的保真度，它主要由兩部分架構組成。第一部分主要利用利用自適應注意力非正規化（AAD）層的新生成器整合人臉合成圖片的特征和屬性，該層可以自適應地學習整合面部屬性的位置；第二部分則重點解決面部遮擋問題，這部分則包括了一個新的啟發式錯誤確認細化網絡（HEAR-Net），可利用重建圖像與其輸入之間的差異來識別遮擋。
更多來自 FaceShifter 的樣本
圖片來源：微軟研究院
研究小組稱，「該框架在生成任意真實圖像相對的換臉圖像時，無需特定的訓練，都顯示出了優越的性能。大量實驗表明，該框架明顯優于以前的人臉交換方法。」
可以看到，在一項定性測試中，FaceShifter 保留了人臉形狀，并自動適應換臉圖像的光線和圖像分辨率。此外，即使是從互聯網上抓取的「狂野面孔」，該框架也能夠在不依賴人工注釋數據的情況下恢復異常區域——包括眼鏡、陰影和反射效果，以及其它不常見的遮擋。
而與 FaceShifter 相比，FaceX-Ray 則恰好是偽造頭像的克星。正如研究人員在相應的論文中所指出的那樣，我們確實需要這樣的工具來防止偽造圖像被濫用的情況。
2019 年 6 月曾有份報告披露，一名間諜利用人工智能生成的個人資料圖片愚弄 LinkedIn 中的聯系人；而就在去年 12 月，Facebook 發現數百個賬戶上面都有使用人工智能合成的假面像來作為個人資料照片。
各種面部操作方法的視覺結果，包括自監督生成的混合圖像
圖片來源：Face X-Ray論文（https://arxiv.org/pdf/1912.13458.pdf）
談回 Face X-Ray 檢測技術，它與現有方法不同，它不需要事先知道操作方法或人工監督；相反的是它會生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個圖像的混合。
研究人員表示這一想法是可行的，因為大多數操作換臉的方法，都會有「將已改變的面部混合到現有背景圖像中」這一步驟。但每幅圖像都有自己獨特的標記，這些標記是從硬件（如傳感器和鏡頭）或軟件組件（如壓縮和合成算法）引入的，并且這些標記往往在整個圖像中也以類似的方式呈現。
生成訓練樣本概述
圖片來源：Face X-Ray論文
因此，Face X-Ray 不需要依賴于與特定人臉操作技術相關聯的偽影知識，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓練。
在一系列實驗中，研究人員在 FaceForensics++（一個包含 1000 多個用四種最先進的人臉置換方法生成的原始剪輯的大型視頻語料庫），以及另一個包含由真實圖像構建的混合圖像的訓練數據集上訓練了 Face X-Ray。
他們評估了 FaceX-Ray 使用四個數據集進行概括的能力，其中包括：
上述 FaceForensics++語料庫的一個子集；
谷歌發布的數千個 deepfake 影視集合，deepfake 檢測挑戰賽的圖像；
Celeb DF，一個包含 408 個數據集真實視頻的語料庫和 795 個減少了視覺偽影的合成視頻。
結果表明，Face X-Ray 能有效地識別出未被發現的偽造圖像，并能可靠地預測融合區域。研究人員指出，該方法依賴于混合步驟的存在，因此它可能不適用于全合成圖像，并且它可以無法成功檢測出對抗性樣本的真偽。但撇開這一點，這也算是朝通用化面部偽造圖像檢測工具邁出的有希望的一步。
原文地址：
FaceShifter 論文地址：
https://arxiv.org/pdf/1912.13457.pdf
FaceX-Ray 論文地址：
雷鋒網 AI 開發者
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
