0
作者丨何思思
編輯丨林覺民
有一種情懷叫Beyond，黃家駒一開口，誰的DNA動(dòng)了？
7月3日19點(diǎn)，“Beyond Live 1991生命接觸演唱會(huì)精選及紀(jì)念音樂會(huì)精選超清修復(fù)版”在抖音、西瓜視頻、今日頭條等多個(gè)平臺重映。時(shí)隔31年，Beyond再次走進(jìn)了大眾視野。
一句“今天只有殘留的軀殼 迎接光輝歲月 風(fēng)雨中抱緊自由”瞬間將人們拉回了1991年9月Beyond在中國香港紅磡體育館舉行的“Beyond Live 1991 生命接觸演唱會(huì)”，那場演唱會(huì)也成了Beyond播放率最高的一場演唱會(huì)。
此次修復(fù)版演唱會(huì)，從《光輝歲月》、《海闊天空》再到《不再猶豫》...一首首經(jīng)典歌曲，吸引了1.4億人次的在線觀看。活動(dòng)結(jié)束時(shí)，不少人在評論區(qū)紛紛刷起“沒有看夠，再回放一次，在哪可以下載高清版視頻”等留言，致敬經(jīng)典，致敬Beyond。
除了滿滿的情懷和回憶外，在這場演唱中可以感受到，無論是畫面清晰度、色彩飽和度、還是音質(zhì)降噪等方面都極大地還原了線下演唱會(huì)觀看的效果，火山引擎就參與了這場演唱會(huì)的修復(fù)工作，在其算法的加持下，為觀眾呈現(xiàn)了一場具有情懷的視聽盛宴。
對于抖音和火山引擎來說，其使命不在于修復(fù)一場演唱會(huì)，提升畫面清晰度和辨識度這么簡單，而是通過修復(fù)喚起幾代人背后的回憶，從而產(chǎn)生共鳴擦出火花，這才是修復(fù)的價(jià)值所在。
時(shí)隔31年，年輕的Beyond 回來了
在各大短視頻平臺經(jīng)常刷到修復(fù)版影片的重映，這也成了人們致敬經(jīng)典的最佳途徑之一，這背后往往需要AI技術(shù)的加持。
AI修復(fù)影片早已不是一件新鮮事，隨著技術(shù)的更新迭代，近段時(shí)間AI修復(fù)演唱會(huì)成了新風(fēng)口。從修復(fù)類型來看，雖然二者都屬于視頻修復(fù)的范疇，但卻著較大的差別。
火山引擎音頻技術(shù)團(tuán)隊(duì)研究員舒曉峰表示，影視和演唱會(huì)的內(nèi)容和制作方式有較大的差別，其中演唱會(huì)是以唱歌的形式輸出，現(xiàn)場環(huán)境較影片環(huán)境復(fù)雜，不僅有環(huán)境聲還有歌聲，另外拾音設(shè)備也存在一定距離，這就導(dǎo)致演唱會(huì)修復(fù)要比影視片修復(fù)復(fù)雜得多。
值得注意的是，畫面通常是演唱會(huì)修復(fù)的重要環(huán)節(jié)之一，因?yàn)樗鼪Q定了整體演唱會(huì)的觀感。
火山引擎多媒體實(shí)驗(yàn)室研究員趙世杰告訴雷峰網(wǎng)，演唱會(huì)的畫質(zhì)修復(fù)并非大家想象的那么簡單，以Beyond Live 1991 生命接觸演唱會(huì)為例，由于當(dāng)時(shí)演唱會(huì)整體環(huán)境較暗，細(xì)節(jié)不夠豐富，場景切換快，燈光以及聲音環(huán)境復(fù)雜等給修復(fù)工作帶來了嚴(yán)峻的挑戰(zhàn)，從而給算法增加了難度。
趙世杰介紹，早期錄像設(shè)備的解析度比較差，拍攝的畫面分辨率低且清晰度差，往往會(huì)造成畫面模糊、紋理缺失等問題；壓縮存儲方面，早期影片隔行掃描的方式造成了交錯(cuò)條紋的瑕疵問題，對畫面的美觀性和完整性都有較大的影響。
另外，色彩、亮度也是修復(fù)的一大難點(diǎn)，由于早期拍攝設(shè)備的原因，影片存在大量的過曝和死黑場景以及較重的底噪，在亮度調(diào)解過程中如何避免底噪被放大，以及如何降低過躁造成的不適感是算法的難點(diǎn)。
其實(shí)在畫質(zhì)修復(fù)環(huán)節(jié)，最難的是人臉，這也是觀眾最在意的點(diǎn)。演唱會(huì)中人臉往往會(huì)出現(xiàn)多個(gè)角度，比如正臉、側(cè)臉、俯視、仰視等，甚至有被樂器遮擋的人臉，如何調(diào)節(jié)不同景別，不同姿態(tài)下人像修復(fù)效果且跟背景不同，這就對算法提出了嚴(yán)峻考驗(yàn)。
面對這些問題，趙世杰向雷峰網(wǎng)闡述了火山引擎增強(qiáng)算法的應(yīng)對之道：
清晰度修復(fù)方面，基于在大量數(shù)據(jù)上訓(xùn)練的深度學(xué)習(xí)算法，火山引擎通過清晰度增強(qiáng)和瑕疵修復(fù)法的能力將視頻分辨率從低清處理變?yōu)槌咔澹⒃谌鄙偌y理的區(qū)域生成更豐富的細(xì)節(jié)。
同時(shí)對于隔行掃描的視頻畫面，火山引擎多媒體實(shí)驗(yàn)室設(shè)計(jì)了多幀輸入的神經(jīng)網(wǎng)絡(luò)去交錯(cuò)法。
趙世杰特別強(qiáng)調(diào)道，這主要在于早期視頻大多采用隔行掃描的方式進(jìn)行處理、編碼、顯示，會(huì)造成現(xiàn)代設(shè)備直接播放過程中產(chǎn)生嚴(yán)重的閃爍現(xiàn)象。這主要是因?yàn)楦粜袙呙栌嵦枺瑑尚兄挥幸恍杏杏跋瘢硗庖恍腥呛诘模远夹枰?jīng)過去交錯(cuò)處理，將隔行掃描訊號轉(zhuǎn)換為逐行掃描訊號。
在這種情況下，傳統(tǒng)去交錯(cuò)方式一般輸入僅做單交錯(cuò)幀，對時(shí)域上的內(nèi)容變化感知較弱，因此對于運(yùn)動(dòng)場景的拉絲情況處理較差。
與傳統(tǒng)去交錯(cuò)方式相比，火山引擎設(shè)計(jì)的多幀輸入神經(jīng)網(wǎng)絡(luò)去交錯(cuò)法就實(shí)現(xiàn)了傳統(tǒng)交錯(cuò)法無法達(dá)到的技術(shù)效果，憑借其泛化性的特點(diǎn)，修復(fù)了Beyond演唱會(huì)中更多的細(xì)節(jié)和運(yùn)動(dòng)場景下產(chǎn)生的拉絲情況。
通過前后對比效果可以看出，在樂手的手部原本有橫紋拉絲的問題，并且畫面較為模糊，經(jīng)修復(fù)后，無論是琴還是人的手部畫面都完美還原了現(xiàn)場的真實(shí)感和清晰度。
亮度、色彩修復(fù)方面，針對Beyond演唱會(huì)中存在的老舊視頻褪色、顏色異常、過曝、過暗等問題，火山引擎采用了基于美學(xué)評分的自適應(yīng)分區(qū)域色彩亮度增強(qiáng)算法。
該算法主要以具體片源效果作為基礎(chǔ)，依據(jù)美學(xué)評分，在色彩、亮度、對比度、飽和度、人像ROI和背景方面做分區(qū)域增強(qiáng)，并根據(jù)不同幀的色彩統(tǒng)計(jì)信息進(jìn)行自適應(yīng)亮度增強(qiáng)，使亮區(qū)與暗區(qū)都能得到最好的表現(xiàn)效果，還使修復(fù)老舊視頻的褪色和保留老舊視頻的復(fù)古感，兩者之間達(dá)到了平衡。
人臉修復(fù)方面，演唱會(huì)很多片段中的人臉存在較大的彩色噪聲，壓縮損傷等問題。另外據(jù)了解目前業(yè)界大部分的人臉修復(fù)只是基于單張照片，很難找到基于視頻的人臉修復(fù)，因?yàn)橐曨l中每一幀中臉的角度不一樣，各種姿態(tài)下的臉都需要算法處理。
火山引擎重點(diǎn)突破，基于深度學(xué)習(xí)模型，在Beyond演唱會(huì)修復(fù)中采用自適應(yīng)人像增強(qiáng)算法進(jìn)行修復(fù)，通過先驗(yàn)特性，在消除人臉模糊和壓縮損傷的同時(shí)還可以對五官進(jìn)行重建，甚至可以對發(fā)絲等細(xì)節(jié)和紋理進(jìn)行重建和添加，做到不同景別、不同姿態(tài)下的人臉修復(fù)工作，使人臉更為清晰。
從整體演唱會(huì)的主觀感受上看，修復(fù)后的畫面更清晰、更真實(shí)。
有用戶在評論區(qū)留言，修復(fù)后的演唱會(huì)有一種現(xiàn)場觀影的即視感，歌手樂手的臉部以及樂器舞臺等細(xì)節(jié)，清晰可見，有一種置身Beyond Live 1991生命接觸演唱會(huì)的感覺。
時(shí)隔31年重現(xiàn)，Beyond歌聲不減“現(xiàn)場”
大多數(shù)人認(rèn)為，高清的音質(zhì)能提升整個(gè)演唱會(huì)的完整度和精致度，也會(huì)極大增加觀眾的觀感。
對于Beyond這類能觸發(fā)人情懷的經(jīng)典演唱會(huì)更是如此，修復(fù)的好可能熱評如潮，修復(fù)不好可能就是一場悲劇。
在Beyond這場演唱會(huì)修復(fù)過程中，音質(zhì)同樣給修復(fù)帶來了不同程度的困難挑戰(zhàn)。
舒曉峰向雷峰網(wǎng)介紹了音質(zhì)修復(fù)的難點(diǎn)：
其一，由于錄音設(shè)備和環(huán)境的噪音導(dǎo)致音質(zhì)差，加上周邊環(huán)境會(huì)錄制到一些底噪聲；
其二，設(shè)備壓縮算法等導(dǎo)致截止效率低帶來的帶寬不足問題；
其三，混響過大導(dǎo)致音質(zhì)差以及響度問題帶來聽覺不適等問題。
為此，火山引擎音視頻技術(shù)團(tuán)隊(duì)做了針對性研究，并給出了相應(yīng)的解決方案。
首先，面對噪音干擾問題，舒曉峰表示，目前業(yè)界大多采用傳統(tǒng)降噪方式，但其特點(diǎn)主要適用于人聲，音樂被降噪算法處理后會(huì)受到不同程度的損傷，而演唱會(huì)是一個(gè)人聲、音樂聲，現(xiàn)場環(huán)境聲等交雜的聲音環(huán)境，顯然傳統(tǒng)降噪方式不適用于演唱會(huì)的音質(zhì)修復(fù)。
考慮到這點(diǎn)，火山引擎研發(fā)了針對這種多元素場景的音頻降噪算法，與傳統(tǒng)降噪方案不同的是，該算法兼容了音樂場景和人聲場景，可以在保留人說話聲、音樂聲的前提下，抑制其他噪聲。
其次，帶寬也是影響演唱會(huì)音質(zhì)的關(guān)鍵要素。舒曉峰告訴雷峰網(wǎng)(公眾號：雷峰網(wǎng))，演唱會(huì)中由于拾音設(shè)備、錄制硬件或者壓縮等原因，會(huì)使高頻信息受到損傷，影響聽覺體驗(yàn)感。基于此，火山引擎通過音頻超分算法，對人聲部分進(jìn)行了頻帶拓展，在不傷害音質(zhì)的前提下豐富高頻信息，使聲音從悶變得更清亮。
從頻譜圖中可以看到，通過超分模塊的處理，原始音頻的高頻部分得到了拓展和增強(qiáng)。
再者，演唱會(huì)往往伴有不同的樂器聲，觀眾歡呼聲以及現(xiàn)場各種忽大忽小的聲音，火山引擎通過響度算法單獨(dú)提取唱歌部分，然后進(jìn)行調(diào)整，最后混合，使得人聲和其他聲音的音量配比更加舒適，從而提升觀眾的聽覺感受。
值得注意的是，此次修復(fù)演唱會(huì)是由1991 生命接觸的演唱會(huì)和紀(jì)念音樂會(huì)音樂會(huì)兩部分組成。舒曉峰表示，這極大增加了修復(fù)難度，為了避免兩部分音量不同，對兩場演唱會(huì)的拼接部分做了響度調(diào)整，此外也對前后兩部分不同歌手的音量大小做了響度調(diào)整，極大提升了聽覺體驗(yàn)。
通過Beyond演唱會(huì)的重映，許多觀影者都給予了高度評價(jià)，不少人表示，不僅畫面清晰，音質(zhì)方面也體驗(yàn)到了線下聽演唱會(huì)般的聽感。
老舊視頻修復(fù)，Beyond之后又是誰？
AI修復(fù)視頻，已經(jīng)成了近兩年許多廠商感興趣且愿意花費(fèi)時(shí)間精力去做的有意義的事情，其也逐漸成為了諸多平臺新的增長極。
視頻修復(fù)方面，其實(shí)火山引擎早在去年就有了動(dòng)作。去年10月，西瓜視頻就聯(lián)合火山引擎推出了“經(jīng)典視頻4K修復(fù)計(jì)劃”。不到一年的時(shí)間，已經(jīng)通過AI 技術(shù)手段完成了百部經(jīng)典動(dòng)畫片的修復(fù)，其中包括71部影片的4K修復(fù)，童年記憶《葫蘆兄弟》的播放次數(shù)達(dá)到300萬。
火山引擎能完成如此高質(zhì)量的修復(fù)任務(wù)，主要是在視頻云方面的技術(shù)積累和成功實(shí)踐。同時(shí)抖音、西瓜視頻、今日頭條等不同場景還為其提供了試驗(yàn)田。
據(jù)介紹，火山引擎視頻云通過技術(shù)的積累，可以為用戶的四大體驗(yàn)負(fù)責(zé)，包括互動(dòng)、播放、畫質(zhì)、性能四方面的體驗(yàn)感。在優(yōu)秀的用戶體驗(yàn)的加持下，火山引擎的音視頻技術(shù)已經(jīng)滲透到了游戲、電商、教育以及金融等行業(yè)。
老舊視頻的修復(fù)才剛剛開始，從經(jīng)典動(dòng)畫片到演唱會(huì)，再到更多的經(jīng)典影像修復(fù)，仍需要通過不斷的技術(shù)迭代來實(shí)現(xiàn)。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
