0
| 本文作者： nebula | 2024-06-28 18:17 |
沉睡2000多年的兵馬俑與歌手董寶石 “跨時空同臺”，用華陰老腔展現(xiàn)“大秦雄風”；從北宋“穿越”而來的蘇軾，與歌手李玉剛共同演繹《水調(diào)歌頭》……在阿里通義EMO技術的支持下，這些畫面變?yōu)榭赡堋?月28日，央視《2024中國·AI盛典》將為觀眾們展示一場融合中華文化與數(shù)字科技的視聽盛宴。
（依托阿里通義EMO技術，沉睡2000多年的AI兵馬俑用華陰老腔展現(xiàn)“大秦雄風”）
僅僅一張照片、一個音頻就可以讓靜止的形象，伴隨著音頻的跌宕起伏、抑揚頓挫，演繹得惟妙惟肖。秦始皇帝陵博物院院長李崗表示，“我們希望隨著AI技術的不斷進步，未來的文化遺產(chǎn)保護和傳播會更加多元化、智能化，更好地弘揚中華文化，講述中國故事。”
打開通義APP，在主對話框搜索“EMO”，或找到“全民舞臺”頻道點擊產(chǎn)品頁面“全民唱演”，即可體驗同款“兵馬俑”同唱《從軍行》。此外，用戶還可以自定義唱演，選擇喜歡的歌曲、熱梗、表情包，上傳肖像照片，EMO隨即就能合成視頻。
（打開通義APP，即可體驗央視《2024中國·AI盛典》同款“兵馬俑”，同唱《從軍行》）
據(jù)了解，EMO是通義實驗室研發(fā)的AI模型，其背后的肖像說話（Talking Head）技術是當前大熱的AIGC領域。EMO之前的Talking Head技術都需針對人臉、人頭或者身體部分做3D建模，通義實驗室在業(yè)界率先提出了弱控制設計，無需建模就可驅(qū)動肖像開口說話，不僅降低視頻生成成本，還大幅提升了視頻生成質(zhì)量。
EMO模型在海量的人物講話視頻上進行了訓練，不僅能夠找到音頻中具體發(fā)音與人像口型的匹配關系，更重要的是能發(fā)現(xiàn)音頻中的語氣特征與人物表情的關聯(lián)性，將音頻暗含的情緒色彩反映到了人物微表情上。可以說，EMO在訓練中慢慢學習并編碼了人類表達情緒的能力。
通義實驗室應用視覺團隊負責人薄列峰表示，“未來我們希望用AI的力量將中國傳統(tǒng)文化展現(xiàn)得更豐富，更加‘通情，達意’，讓收藏在博物館里的文物、陳列在廣闊大地上的遺產(chǎn)、書寫在古籍里的文字都‘活’起來。”
2月底，通義實驗室公布相關論文，EMO隨之成為繼SORA之后最受關注的AI模型之一。EMO項目頁此前已在Github展示，收獲Stars數(shù)迅速超6600。僅僅兩個月后，通義實驗室就將EMO產(chǎn)品化，正式在通義APP推出，所有人都可免費使用，讓照片開口唱歌、說段子。未來，EMO技術有望應用于數(shù)字人、數(shù)字教育、影視制作、虛擬陪伴、電商直播等場景。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
