2020年12月31日晚,“美好有你”2021年浙江衛(wèi)視跨年晚會精彩上演。網(wǎng)易互娛AI Lab與可以傳媒聯(lián)合打造的數(shù)字女孩“萬一”,在晚會中首次驚艷亮相,其逼真細(xì)膩的表情和靈動自然的神態(tài)變化,令人眼前一亮。以數(shù)字人物替代真人進行節(jié)目演出,將炫酷的虛擬偶像技術(shù)與大膽的內(nèi)容創(chuàng)意相結(jié)合,日漸成熟的AI制作技術(shù),為即時性、現(xiàn)場感強的直播類晚會帶來了一種全新的呈現(xiàn)模式。

在浙江衛(wèi)視跨年晚會中穿插的四條下節(jié)預(yù)告VCR中,萬一化身AR世界里的虛擬助手,出演了在跨年夜這天與四個人物之間發(fā)生的小故事。雖然是數(shù)字人,但萬一的形態(tài)堪比真人。從表情上看,這個青春可愛的女孩高度還原了真人的神態(tài),她的眼神、唇動、眉毛、甚至法令紋等表情變化都細(xì)致入微。說話時,她的每一個字都能精準(zhǔn)匹配相應(yīng)的口型。在不同的語境下,不論是天真機靈、嘟嘴生氣,還是驚訝好奇的多種情緒變化,萬一都能生動演繹、精準(zhǔn)表達(dá)。而這一切,都離不開網(wǎng)易互娛AI Lab的AIxFace面部動捕技術(shù)的強力支撐。

通過AIxFace實現(xiàn)的萬一表情特寫

AIxFace是網(wǎng)易互娛AI Lab開發(fā)的輕量級面部動捕系統(tǒng),不同于傳統(tǒng)的面部動捕技術(shù),AIxFace無需復(fù)雜專業(yè)的動作捕捉場地和設(shè)備,也不需要設(shè)置任何面部標(biāo)記點,只需要一個單目攝像頭,就可以實時將演員的面部表情遷移到數(shù)字女孩萬一的臉上,并實現(xiàn)舌頭、視線、口型等表情細(xì)節(jié)變化的精準(zhǔn)跟蹤。虛擬偶像的面部表情向來是粉絲衡量其表現(xiàn)力的重要標(biāo)準(zhǔn),然而為了實現(xiàn)高水準(zhǔn)的神態(tài)變化,其耗費的技術(shù)成本通常比較高昂,這也是虛擬偶像行業(yè)的關(guān)鍵門檻之一。借助AIxFace,萬一的表情動畫在動捕階段就可以基本實時展現(xiàn)出最終的效果,這能夠大幅節(jié)省制作時間和成本,給后期渲染等環(huán)節(jié)預(yù)留更多的空間,最終達(dá)到晚會所呈現(xiàn)的動畫效果。

AIxFace面部動捕技術(shù)效果展示

(眼神、眉動、法令紋、嘴型變化跟蹤)

除了動畫制作,AIxFace憑借其實時驅(qū)動的特性,還能夠幫助虛擬偶像真正“打破次元壁”。過去,由于技術(shù)局限,傳統(tǒng)的虛擬偶像即便可以通過全息技術(shù)進行線下演出,但也難以根據(jù)實況與粉絲進行互動。通過AIxFace,虛擬偶像可實現(xiàn)在直播等場景與觀眾實時互動,在與粉絲拉近距離的同時能確保準(zhǔn)確而傳神的表情變化,增強情緒的感染力和真實感。在萬一項目之前,AIxFace已成功幫助多個虛擬人物實現(xiàn)直播互動,例如《第五人格》Bilibili禿禿杯游戲決賽的虛擬偵探主播,首秀即突破60萬人氣值。

《第五人格》Bilibili“禿禿杯”虛擬偵探直播

(AIxFace實現(xiàn)眼神、口型的精準(zhǔn)跟蹤)

網(wǎng)易互娛AI Lab成立于2017年,是游戲行業(yè)領(lǐng)先的人工智能實驗室,除了致力于游戲場景下的AI落地研究以外,同時也提供虛擬偶像相關(guān)的人工智能技術(shù)支持,如面部表情動捕、視頻動捕和音樂自動生成舞蹈動畫等。網(wǎng)易互娛AI Lab希望通過領(lǐng)先的人工智能技術(shù)不斷提升虛擬偶像內(nèi)容生成的智能化程度,進一步增強虛擬偶像的精細(xì)度、真實感和交互能力,從而促進其商業(yè)模式逐漸走向多元化。未來,虛擬偶像不僅可以活躍在當(dāng)下已非常普遍的影視、游戲、直播領(lǐng)域,也能夠逐漸擴展至金融、教育、醫(yī)療等更加廣闊的應(yīng)用場景。