4
| 本文作者： 劉芳平 | 2016-12-06 20:50 |
騰訊AR研究員劉驍
12月6日，SIGGRAPH Asia 2016正在澳門舉行，今年有相當(dāng)一部分內(nèi)容都與VR/AR有關(guān)。今天，在騰訊優(yōu)圖實(shí)驗(yàn)室、清華大學(xué)-騰訊聯(lián)合實(shí)驗(yàn)室以及騰訊AI Lab聯(lián)合舉行的一場分享會(huì)議中，來自騰訊的劉驍首次介紹了騰訊“QAR開放平臺(tái)”，一個(gè)增強(qiáng)現(xiàn)實(shí)平臺(tái)。
在騰訊從事AR研究超過3年的劉驍告訴雷鋒網(wǎng)，該平臺(tái)目前還沒有對(duì)外推出，預(yù)計(jì)會(huì)在明年隨其它產(chǎn)品一并發(fā)布。
以下內(nèi)容整理自劉驍?shù)腒eynote演講。
近些年AR領(lǐng)域越來越火，特別是在廣告和游戲等領(lǐng)域。當(dāng)前的AR可以分為兩種：一種是移動(dòng)AR，另一種是頭戴顯示器。由于它們使用的傳感器不同，通常其追蹤技術(shù)也不同。
對(duì)于希望開發(fā)AR應(yīng)用的開發(fā)者來說，目前比較流行的AR SDK有Vuforia、ARToolkit、Metaio和Wikitude。而app開發(fā)者遇到的問題是：
1、一些強(qiáng)大的API對(duì)入門開發(fā)者來說太難了；
2、對(duì)輕量級(jí)App來說過重；
3、模型渲染需要額外工作；
4、建立識(shí)別服務(wù)需要額外的工作；
5、一些前沿的功能沒有包括進(jìn)來：SLAM，室外臉部AR等等。
QAR=Quick+AR，其目標(biāo)是構(gòu)建易用、輕型、一站式、多特性并且免費(fèi)的AR SDK，開發(fā)者只需要3行代碼就能為自己的App加入騰訊的AR模塊功能。
對(duì)“Quick”的定義：
易用：容易使用，代碼少；
輕型：輕量；
一站式：包含識(shí)別服務(wù)、模型存儲(chǔ)；
多特性：包含2D/3D Markers、SLAM、Face AR、Handy AR等功能；
免費(fèi)。
現(xiàn)場視頻演示了四個(gè)Demo，分別是：The Smurfs 2和NARUTO的3D動(dòng)畫Demo，The Avengers AR預(yù)告片Demo，以及和真實(shí)3D模型合影的AR相機(jī)Demo。
首先，我們建立了一個(gè)AR網(wǎng)絡(luò)服務(wù)器，用于圖像隊(duì)列和模型管理（Image Queue and Model Management）。用戶與AR數(shù)據(jù)庫的交互分兩步，首先是上傳Marker圖像到服務(wù)器，然后服務(wù)器會(huì)對(duì)其進(jìn)行識(shí)別，并將AR模型調(diào)整后與之匹配，然后進(jìn)行顯示。整個(gè)過程非常迅速，且支持多用戶和巨大用戶規(guī)模，每個(gè)用戶有自己的數(shù)據(jù)庫。
圖像和目標(biāo)檢索方面，我們使用了CDVS（Compact Descriptors for Visual Search）算法。
探測(cè)追蹤是AR技術(shù)里的核心，在探測(cè)方面，我們使用了ORB探測(cè)器，基于一般采用詞集（bags of words）方法的搜索，針對(duì)二維圖像使用Homography，三維圖像則是PnP+RANSAC。這使得我們?cè)谝苿?dòng)平臺(tái)上支持低于1000個(gè)目標(biāo)的檢索。
下面這張圖是我們追蹤方案的技術(shù)實(shí)現(xiàn)過程，我們使用基于SLAM的追蹤技術(shù)，因?yàn)橄Ｍ瑫r(shí)支持目標(biāo)和場景追蹤，所以我們也要做Mapping。
在模型渲染方面我們使用了基于Open GL ES的輕量級(jí)引擎，Android只需66kb，iOS為140kb。同時(shí)擁有很高的渲染速度，在低端的Android手機(jī)上小于1.5ms。
對(duì)于建筑、辦公場所等地，我們有不需要Marker點(diǎn)的SLAM追蹤技術(shù)。同時(shí)，我們采用了Kalman過濾器將IMU和相機(jī)的數(shù)據(jù)融合到一起，提供快速和穩(wěn)定的追蹤。
QAR還沒有對(duì)外發(fā)布，但騰訊內(nèi)部已經(jīng)有一些應(yīng)用對(duì)這個(gè)平臺(tái)非常感興趣了，下面就分享一些應(yīng)用場景。
QAR應(yīng)用：
1、微信電影票；
2、RTX+Tencent Explorer；
3、QQ手機(jī)瀏覽器；
4、KM
5、微信公開課；
6、微信掃一掃；
7、手機(jī)管家；
8、應(yīng)用寶。
以微信電影票為例，用戶可以在App里打開攝像頭對(duì)準(zhǔn)海報(bào)，比如熱門電影《天將雄師》，之后3D的成龍就會(huì)跳出來，用戶可以和他合影交分享到朋友圈。
目前我們正與內(nèi)部許多應(yīng)用一起探索AR的應(yīng)用場景，正在合作的項(xiàng)目包括：RTX+Tencent Explorer、微信、QQ瀏覽器、手機(jī)管家和應(yīng)用寶。
除了已有的目標(biāo)追蹤功能，未來我們還將在QAR SDK中加入另外三項(xiàng)功能：Face AR、Handy AR和Scene AR。
除了針對(duì)App開發(fā)者，我們還將為網(wǎng)頁開發(fā)者推出H5開放平臺(tái)。再往后，我們希望對(duì)各種頭戴顯示器進(jìn)行支持，包括HoloLens、Meta等。
開發(fā)者若想了解QAR，可以訪問www.aropen.com。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
