阿里巴巴智能計(jì)算研究院的研究人員開發(fā)了一種名為“EMO”的新型人工智能系統(tǒng)，它是“Emote Portrait Alive”的縮寫，可以將單張肖像照片動(dòng)畫化，并生成人物說話或唱歌的視頻，非常逼真。

arXiv 上發(fā)表的一篇研究論文描述了該系統(tǒng)，它能夠創(chuàng)建流暢且富有表現(xiàn)力的面部動(dòng)作和頭部姿勢(shì)，與所提供的音軌的細(xì)微差別緊密匹配。

這代表了音頻驅(qū)動(dòng)的頭部說話視頻生成的重大進(jìn)步，這個(gè)領(lǐng)域多年來一直對(duì)人工智能研究人員提出挑戰(zhàn)。

“傳統(tǒng)技術(shù)往往無法捕捉人類表情的全部光譜和個(gè)人面部風(fēng)格的獨(dú)特性，”主要作者田林瑞在論文中說。

“為了解決這些問題，我們提出了 EMO，這是一種利用直接音頻到視頻合成方法的新穎框架，繞過了對(duì)中間 3D 模型或面部標(biāo)志的需求?！?/p>

直接將音頻轉(zhuǎn)換為視頻

EMO 系統(tǒng)采用了一種稱為擴(kuò)散模型的人工智能技術(shù)，該技術(shù)顯示出生成逼真合成圖像的巨大能力。

研究人員在包含超過 250 小時(shí)的頭部說話視頻的數(shù)據(jù)集上訓(xùn)練了模型，這些視頻來自演講、電影、電視節(jié)目和歌唱表演。

與之前依賴 3D 面部模型或混合形狀來近似面部運(yùn)動(dòng)的方法不同，EMO 直接將音頻波形轉(zhuǎn)換為視頻幀。

這使得它能夠捕捉與自然語音相關(guān)的微妙動(dòng)作和特定于身份的怪癖。

就在？

這是我見過的最令人驚嘆的音頻視頻。

它被稱為 EMO：表情肖像活著 pic.twitter.com/3b1AQMzPYu

— 時(shí)間旅行者 Stelfie (@StelfieTT) 2024 年 2 月 28 日

根據(jù)論文中描述的實(shí)驗(yàn)，EMO 在衡量視頻質(zhì)量、身份保存和表現(xiàn)力的指標(biāo)方面顯著優(yōu)于現(xiàn)有的最先進(jìn)方法。

研究人員還進(jìn)行了一項(xiàng)用戶研究，發(fā)現(xiàn) EMO 生成的視頻比其他系統(tǒng)生成的視頻更自然、更富有情感。

生成逼真的歌唱視頻

除了對(duì)話視頻之外，EMO 還可以制作與人聲同步的適當(dāng)嘴型和令人回味的面部表情的歌唱肖像動(dòng)畫。

該系統(tǒng)支持根據(jù)輸入音頻的長(zhǎng)度生成任意持續(xù)時(shí)間的視頻。

論文指出：“實(shí)驗(yàn)結(jié)果表明，EMO 不僅能夠制作令人信服的演講視頻，還能夠制作各種風(fēng)格的歌唱視頻，在表現(xiàn)力和真實(shí)感方面顯著優(yōu)于現(xiàn)有的最先進(jìn)方法。”

EMO 研究暗示，未來可以僅從照片和音頻剪輯合成個(gè)性化視頻內(nèi)容。

然而，道德方面的擔(dān)憂仍然存在，即可能濫用此類技術(shù)來未經(jīng)同意冒充他人或傳播錯(cuò)誤信息。

研究人員表示，他們計(jì)劃探索檢測(cè)合成視頻的方法。

熱點(diǎn)：EMO 人工智能 克里斯 視頻