1
| 本文作者： 老王 | 2016-11-15 16:53 | 專題：微軟亞洲研究院院友會 |
編者按：昨日，周昆教授在微軟亞洲研究院院友會中，結合自己在該領域多年來的研究經驗，提出計算機圖形學 2.0 的概念，闡明了計算機圖形學的用戶從專業人員轉變成了普通大眾，即從 1.0 時代演化到 2.0 時代。然后，他從三個自身的研究案例：人物發型重建、人臉追蹤與動畫、計算制造（3D打印），詮釋了 2.0 的概念。報告最后，周教授從三個方面總結了圖形學的變化。
周昆教授，博士生導師，教育部長江學者特聘教授，國家杰出青年科學基金獲得者，國際電氣電子工程師協會會士（IEEE Fellow）。2002 至 2008 年就職于微軟亞洲研究院，2008年全職回到浙江大學工作。研究領域包括計算機圖形學、人機交互、虛擬現實和并行計算。近年來在 ACM/IEEE Transactions 上發表論文 70 余篇，獲得美國發明專利 30 余項。。曾獲得2010年中國計算機圖形學杰出獎、2011 年中國青年科技獎、2011 年麻省理工學院《技術評論》全球杰出青年創新人物獎 （MIT TR35 Award）、2013年國家自然科學二等獎、2016年陳嘉庚青年科學獎（信息技術科學獎）。
一提到計算機圖形學應用到的場景，人們首先想到的是電影和游戲。正如每個玩過電腦游戲的人有這樣一個想法：怎樣讓計算機生成如現實世界般栩栩如生的圖像。
周昆博士指出，以電影和游戲為代表的娛樂產業，計算機圖形學在其中應用可總結為三點：建模、做成動畫、渲染。
先在計算機中把三維物體建模出來，然后再讓它變為動態（動畫），最后把物體或者動畫渲染成圖片或電影。
計算機圖形研究人員們最終做出來的技術和軟件（類似 3D Max 和 MAYA）多供游戲和電影工作者使用，這些人利用圖形工具制作出優秀的電影和游戲作品。然而大多數普通用戶幾乎沒有機會使用這些產品進行創作。
因此周昆提出一個設想，計算機圖形學 2.0 不僅只為電影、游戲、AR，VR，移動應用、3D 打印相關工作人員使用，而且能夠滿足新應用的需求，使得普通用戶也能使用。
正如 Web 1.0 時代網絡上的內容由編輯撰寫，而 Web 2.0 則是 UGC 時代，用戶開始深入參與內容的產出。周昆博士希望計算機圖形學 2.0 從用戶角度講變為人人可參與、可進行創造的時代。
隨后周昆教授著重講述了最近五年他在探索計算圖形學 2.0 時做的研究，主要專注兩個方向的研究：
數字化身（digital avatar）
計算制造（computational fabrication）
目前數字化身的研究主要集中在人臉上，周昆團隊希望用普通的相機就能人臉進行追蹤和捕捉。當然，這個方向的研究，計算機圖形學和計算機視覺已經做了很多年，研究主要集中在追蹤效果和抓取方式，以及兩者是否能達到一個較好的妥協標準。雖然這些技術早已開始應用，但多為提供給專業人士使用的專業級產品。
周昆博士的設想是希望把這些技術應用在普通用戶經常使用的移動終端和移動設備中，尤其是 VR 和 AR：普通人用普通的攝像頭就能把人臉捕捉到，然后繼續捕捉到表情，把表情抽取出來去應用在任意一個化身當中。
他們目前正在做的是，任意一個人進入相機視場中，他的人臉就會被捕捉到，他臉部 3D 數據隨之被計算而出，然后定制到任意的化身上來。這當中需要應對三大挑戰：
惡劣的環境：如光線陰暗的網吧、戶外環境下陽光直射造成陰陽臉，這些環境均是對算法的執行有著較大的干擾。
計算性能問題：捕捉工具應用在移動設備中對計算性能要求較高，目前周昆博士的團隊可在 iPhone上達到每一幀 10 毫秒，安卓平臺上小米三每幀 20毫秒。
對存儲的要求：因為它只能放在端上計算，不能放在云端，放在云端存在視頻帶寬的問題。
頭發模擬是數字化身中的一個巨大難題，通常利用計算機圖形學和計算機視覺的方式做頭發非常困難，而且需要在實驗室環境下，布置一定數量的相機，設置好特定的光照，抓取不同狀態的 60 張的圖像，根據照片中頭發的特征，把 3D 頭發重建出來。
周昆教授研究一項全新的單一視圖發型模擬技術，在只有適度用戶交互的情況下，生成在視覺上和物理上均表現合理的 3D 頭發模型，以此創建的頭發模型可以形象地匹配原始輸入圖像。
這是他們今年工作的重點，利用一張照片即可模擬頭發：先利用深度學習為頭發設計一個神經網絡，然后做出發絲建模，并計算出發絲朝向的預測，最終把頭發的 3D 形狀重建。
上述提到的是頭發建模問題，而如何把頭發做成動態這又是一個新的挑戰：
在現實世界中，頭發的一點點變動都意味著發絲之間遮擋關系的變化：一些原來看不到的發絲暴露出來，另一些原先可見的發絲被遮擋住和交叉等問題。而在圖像中，這種變化是無法用傳統的基于像素操作的圖像編輯工具實現的。
周昆博士提到，他們在 2014 年做出來的解決方案比當時最好的方法快過三個數量級，模擬 15 萬根頭發可以做到每幀 45 多毫秒。目前數字化身更多應用在臉部和頭發上，未來還將繼續涉及到身體、衣服等組成部分中，以至于達到把人“復制”出來，也就是數字替身（Digital Double）。
周昆博士指出，上述提到的研究是把物理的形狀數字化 3D 化，而計算機圖形 2.0 需要做的事情是把數字模型物理化，從而制造出新的東西。
把 3D 模型應用在工業制造領域，有些人會提到說用 3D 打印，但其實 3D 打印在復雜形狀物體打印中表現不錯，但要打印出具有復雜圖案的全彩色三維物體仍然相當困難，這其中存在的巨大問題就是它對顏色的支持很弱，著色效果遠不如二維彩打，而且價格昂貴。另外還受限于塑料和石膏等極少的材料。
環顧整個傳統制造業，至今都沒有一個很好的方式給 3D 曲面上色。以瓷器生產為例，瓷器的其他工藝自動化已非常成熟，唯獨在上色和貼花方面仍舊保持著最原始傳統的方式。
“我們希望能通過計算手段，去解決三維打印生產環節中的瓶頸問題，讓原來很困難的事情變得簡單。”周昆說。
為此，周昆團隊提出了全新的計算水轉印技術，解決為三維物體進行精確上色的難題。水轉印是當前在工業上被廣泛應用的曲面上色技術，但只能用于對精確性沒有要求的上色任務，比如迷彩、大理石等紋理。周昆團隊通過計算機圖形學和計算機視覺技術，讓水轉印能夠‘瞄準’，為三維物體穿上任意設計的彩色‘外衣’。
至于如何實現呢？這需要計算機將三維設計稿“降維”成一個二維的“展開圖”。他們先對水轉印過程中水轉印薄膜的形變進行了物理建模，得到三維設計圖與膜上的每一個點的映射關系。在這一理論基礎上，開發出一套用于實際著色的自動原理樣機。
具體應用層面，特效師在電腦上完成一張人臉 3D 紋樣設計后，周昆團隊開發出的軟件根據 3D 紋樣后快速計算生成一個二維“展開圖”。隨后，普通噴墨打印機就打印出一張印有“展開圖”的水轉印薄膜。將薄膜放在靜止的水面上，將需要上色的人臉模型浸入水中，薄膜即可包裹住人臉模型。通俗講，這像是一種完美精確的自動‘貼膜’技術。
周昆提到這項技術的本質是將三維數字化模型表面上的一個點，精確對應到其物理模型表面上的點。有了這種從虛擬數字世界到物理世界的對應關系，未來的技術開發將有更大的想象空間。著色，只是其中的一項應用。
最后，周昆博士指出計算機圖形學從 1.0 升級到 2.0 的三大要素。
Input 在變：以往做的是點云和 MASH（MAYA 節點控制器插件），現在直接處理大量圖像和視頻中，以及從其他傳感器抓取到的信息。而且未來計算機圖形學和計算機視覺的結合將越來越緊密。
Output 在變：以往輸出的均為數字圖像和模型，而現在不僅可得到數字圖像，也可把數字圖像和模型應用在實體制造中，生產出實體物體。
應用場景在變：從電影和游戲場景這兩大應用場景延伸到 VR、AR、移動應用以及3D打印中。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
