老北京生活影像和3D AI主播為什么在2020年火爆全網？

AI給我們的生活帶來了許多樂趣，從AI美顏到AI變臉，再到今年火爆全網的AI修復1929年老北京生活的3分鐘影像資料和全球首個3D版AI合成主播。這些新鮮有趣的應用為什么在2020年火爆全網？背后推動力是什么？

火爆B站的AI修復老北京影像--盲人"爵士"樂隊

全球首個3D版AI合成主播新小微，圖片來自新華社

北京國際廣播電影電視展覽會（BIRTV）2020期間的一場媒體活動上，NVIDIA專業可視化亞太區業務主管沈威表示，傳統“離線式”渲染、預錄式的內容無法加入更多互動和特效的直播視頻內容已經不能夠滿足當前廣播電視行業的需求，尤其是當下的AI時代。利用NVIDA GPU的實時光線追蹤技術及深度學習技術，可以為廣播電影電視行業帶來更多不一樣的體驗。

AI帶給廣電行業的兩大變革

修復老北京生活影像和3D AI主播恰好代表了AI給廣播電影電視行業帶來的兩個變革——對過去缺損畫面、素材殘缺像素的“無中生有”，以及實時渲染帶來的更強互動性。

NVIDIA 中國區高級技術市場經理施澄秋表示：“我們看到廣電行業的趨勢是從OTT（流媒體服務）向SVOD（視頻點播）過渡，并且市場也在蓬勃壯大。在這個增長過程中，要么內容極劇爆炸、要么讓老影片有更高分辨率。”

GPU“無中生有”修復過去

7月份火遍全網的1929年的老北京生活視頻，不僅用AI對視頻進行上色、補幀、提升了分辨率，還通過時代原聲還原了老北京味。這個視頻的火爆離不開新的AI算法DeepRemaster，當然也需要有強大硬件作為支撐。

為圖像處理而生的GPU是不二的選擇。據悉，NVIDIA有一項叫做NGX的技術，先用像DeepRemaster這樣自動完成畫面修補、美化和降噪的AI算法對GPU進行訓練，然后NGX就能“無中生有”來做畫面插幀、超級分辨率、慢動作等。

施澄秋對雷鋒網表示，對于插幀而言，如果用傳統的人工方式來做，一天只能做2-3幀，借助基于GPU的AI技術后，一天的插幀和修復可以達到百萬幀級別，這是一個巨大的效率提升。

AI插幀還能在大幅縮短周期的同時實現更好效果。施澄秋以很多電影中都有千軍萬馬的場面舉例，如果用一匹馬復制，不僅呆板而且運動軌跡都一樣。但用人工的方式周期長且成本高，借助NGX技術，就可以得到形態各異的馬。

AI插幀能讓老視頻有更好的流暢度，達到1080P甚至4K、8K。借助AI插幀和著色技術，還能夠實現超級慢動作。超級慢動作是用超高幀率的攝像機（120楨/秒、240楨/秒）拍攝視頻，然后再以低幀率（30楨/秒、40楨/秒）播放。

但很多素材比如用手機拍攝的突發新聞本身就只有30楨/秒的幀率，如果做慢動作就會像放幻燈片一樣卡頓。利用NVIDIA NGX的“無中生有”技術生成幀間像素，就可以得到非常平滑逼真的慢動作。

幀率決定著視頻的流暢度，分辨率更直接的影響著觀感。“SUPER-RES（超級分辨率）不是新概念，以前要實現SUPER-RES可能需要非常昂貴的硬件，且制作周期非常長，現在利用我們的NGX AI技術就可以做實時4K分辨率的超級分辨率。” 施澄秋表示。

那效果如何？當虹科技就基于NVIDIA圖靈（Turing）架構GPU推出了離線超級分辨率產品，支持標清轉高清/4K、高清轉4K/8K等。借助AI算法訓練高頻細節，實現高保真縮放。

當虹科技AI超分技術

還有強氧科技的DaVinci Resolve，這是一款融合了專業8K剪輯、調色、視覺特效和音頻后期制作工具。能夠通過插補幀做慢動作，驚艷的自動調色，也能做匹配內容、物體自動移除等。

值得注意的是，當虹科技和強氧科技都提到了NVIDIA實時光線追蹤GPU的性能優勢。根據當虹科技給出的數據，不同的NVIDIA GPU的AI超分深度學習推理性能相比CPU有10倍到25倍不等的性能優勢。

強氧科技給出的4K BRAW、6K BRAW、8K BRAW的測試顯示，NVIDIA的Quadro RTX 6000相比CPU也有2倍左右的性能優勢。

GPU實時渲染增強互動性

“無中生有”技術更多的是對已有視頻素材的增強，面向未來，GPU帶來的是互動效果的增強，讓廣電的單向推薦也借GPU的AI功能變成雙向智能推薦。

文中開頭提到的AI合成的主播，其實2018年就已經有，但受限于當時的AI技術以及計算、渲染能力，那時的AI主播只有面部表情，沒有肢體動作等。因此，今年全國兩會期間進行新聞資訊播報的3D版AI主播新小微一亮相就獲得了極大的關注。

圖片來自新華社

GPU的實時渲染能力決定著數字人的逼真程度，據悉，要實現一個特別寫實的數字人，臉部的模型、加上毛發等面數接近500-600萬。這個量級上，要做到面部表情、整個身體實時驅動，需要幀率保持在50-60幀之間，因此算力是主要的瓶頸所在。

博采傳媒前期部總監沈辰奇也表示：“2017年我們推出了國內第一部全部用GPU渲染而成的動畫電影《昆塔：反轉星球》，GPU渲染比以前用CPU渲染的成本優秀太多，但仍然是我們制作流程的一個瓶頸。”

施澄秋說：“GPU在3D建模、3D圖形圖像電視廣電素材的片源制作中非常有優勢。圖靈架構的RTX GPU非常擅長實時渲染，能夠滿足數字人的渲染能力和算力要求。另外，交互式、對話式AI也可以應用到數字人中。”

嘗到了GPU渲染整片的甜頭，博采傳媒在繼續探索純第二部GPU渲染動畫時，想要實現基于Unreal Engine（虛幻引擎）實現虛擬場景的反向投射。投射屏的尺寸規劃是800平米，驅動這個巨型屏用NVIDIA GPU進行實時渲染測試還是有點慢。

“我們最后選擇了NVIDIA RTX 8000，利用nDisplay技術，實時驅動1.8億個像素點。在實際拍攝時，攝影基地的景深和透視的變化完全同步匹配。這其中革命性的意義在于把后期合成的環節砍掉，做到所見即所得。”沈辰奇指出。

解決了拍攝背景的問題，博采傳媒開發了一個基于超寫實的數字人項目，可以用于代言、直播等。

基于虛幻引擎的天氣播報，圖片來自unrealengine

數字人是給觀眾帶來不一樣的體驗，Epic Games的虛幻引擎則幫助創作者更好的創新，它被越來越多地用來做實時預覽、特效預中期預演、后期預演等。Epic Games China商務發展經理徐良安表示：“虛幻引擎不僅可以讓所有參與制作的人員都可以實時修改，實時看到效果，具有很大的靈活性，還能大大節約成本。”

虛幻引擎和nDisplay技術不僅可以用于線性內容拍攝，還可以把場景分單元或者分組投射到不同屏幕上并進行融合，在演唱會上讓觀眾和表演者能夠更好的互動。Epic Games也和美國著名說唱歌手Travis Scott合作，在《堡壘之夜》游戲中進行演出，讓粉絲可以一邊玩游戲一邊觀看演唱會，實現了很好的傳播。

實時渲染正在打破行業的邊界。新奧特產品中心總監王寧也表示：“去年開始，4K、8K的內容越來越廣泛。以前我們是通過CPU進行渲染加速，CPU能處理更多線程，但實時渲染能力不強，所以我們選擇了NVIDIA的RTX系列GPU。特別是像我們石墨超清在線需要實時呈現到大屏幕的，需要GPU的顯存能力。”

 

除此之外，基于GPU的AI也能應用到智能插播廣告，通過AI算法插入5-10秒的廣告，既不影響觀眾的收看體驗，也讓廣電的互動變成雙向互動。

SDI轉向IP，高清視頻的時代即將到來

性能更強的圖靈架構RTX GPU是讓老北京視頻、數字人在2020年備受關注的重要因素，但這些AI應用能否普及還有一個關鍵因素——視頻傳輸。NVIDIA Mellanox 高級市場開發經理陳龍指出，1080P以前，廣電行業的視頻傳輸靠SDI （Serial Digital Interface，數字分量串行接口）。隨著4K和8K業務的興起，SDI不能滿足4K視頻8G-9G的傳輸帶寬需求。

如果用4根3G帶寬的SDI傳輸4K視頻，成本變高且組網復雜。直接換12G帶寬的SDI，由于高速信號在SDI銅纜中傳輸距離和速率成反比，只能傳輸大概50米的距離，不能滿足廣電行業需求。8K的最低帶寬需求將達到25G-140G，SDI更難以滿足需求。

“我們判斷，SDI轉向數據中心里的IP解決方案是大概率事件，后者不僅成本比定制化SDI成本更低，帶寬也更高。” 陳龍介紹。

但SDI轉換為IP解決方案之后，終端CPU處理協議棧的負載就會大幅上升。為此，Mellanox的網卡集成了Rivermax技術，解決SDI轉IP化之后傳輸標準的問題，也就是通過這個技術發送符合SDI要求的數據。另外，借助是Kernel Bypass技術，將協議棧的大量負載放在網卡，大幅降低CPU的負載。

還有Frames技術，網卡把接收到的每一行像素整合成一張圖片后再傳輸給CPU，也可以降低CPU的使用率。Mellanox的網卡也支持虛擬化和云化，能夠滿足高清視頻傳輸的穩定性要求，也有助于開拓更廣闊的市場。

IP解決方案優勢明顯，但也面臨一層的鏈路、二層的邏輯鏈路、三層路由轉發、報文緩存等問題，帶來了故障的排查就非常復雜。這需要What Just Happened技術，實時監測交換機的狀態，以及網卡內部的一些信息，有助于故障的診斷和排查。

陳龍說：“要IP化，只需要將價格昂貴的SDI加速卡換為Mellanox的網卡，可以支持10G、25G、50G、100G、200G乃至400G的傳輸帶寬。當設備IP化之后，不僅解決了傳輸帶寬不夠、傳輸距離過短的主要的痛點，還降低了整個設備的采購成本。除此之外，因為本身IP是一個彈性的管道，在IP之上能夠傳輸任意格式的報文。”

雷鋒網了解到，Mellanox已經與全球各大視頻解決方案合作商開發了不同的產品，打入了NBC、BBC、CNN等著名的視頻內容提供商。

雷鋒網小結

廣電行業正在越來越多地探索與AI的結合，基于更強大的GPU和優化的技術，AI正越來越多的應用于提升分辨率，包括降噪、插幀、插植等應用中，讓珍貴的舊視頻煥發新的生命力，再次吸引大家的注意力。同時，GPU更強大的實時渲染能力也讓直播或者視頻內容的制作增加了更多互動和特效，更加靈活和高效的創作方式打破了行業的邊界，為未來的創新奠定基礎，當然，這里面還需要SDI專向IP解決方案，滿足4K/8K的視頻傳輸需求。

面向數據中心的安培架構A100 GPU已經在5月推出，安培架構游戲GPU+Mellanox網卡又會把專業可視化行業引向何方？

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。