19年前的愚人節(jié)，張國榮悄然離去，和全世界開了一個真實的玩笑。之后的每年此日，全球各地榮迷都會自發(fā)舉行各類紀念活動緬懷哥哥。

《熱·情》演唱會在不少榮迷心中都堪稱經(jīng)典，其母帶也一直被封存至今。得益于智能影像修復(fù)技術(shù)的加持，這個被塵封21余年的“時代符號”被首度解鎖。

2022年4月1日晚上8點，由騰訊云多媒體實驗室領(lǐng)先算法團隊修復(fù)、騰訊音樂娛樂集團攜手環(huán)球音樂旗下廠牌寶麗金，并聯(lián)合騰訊云、微信視頻號、騰訊視頻等多個團隊聯(lián)合呈現(xiàn)的“張國榮2000年《熱·情》演唱會超清修復(fù)版”全球首播。

《熱·情》演唱會傾注了張國榮對華語樂壇的滿腔熱忱，整場演唱會從舞美到燈光、從服裝到編排，無不體現(xiàn)著走心的細節(jié)。

而借助騰訊云多媒體實驗室智能影像修復(fù)技術(shù)，仿佛讓每一位榮迷都進入了穿越時光的隧道，瞬間回到22年前的舞臺中央，近距離感受哥哥的迷離眼神，重溫舞臺之上的絕代風(fēng)采。

超清沉浸感修復(fù)引擎，解開“時光之鑰”的技術(shù)密碼

談起《熱·情》演唱會，再多的溢美之詞都不足為過。有人提到它是張國榮曲折且傳奇一生的傾情演繹，為所有現(xiàn)場觀眾帶來了一場前衛(wèi)、華麗、優(yōu)雅的視聽盛宴。

但受限于彼時拍攝器材及視頻素材的存儲介質(zhì)，寶麗金珍藏21年母帶及網(wǎng)絡(luò)上流傳的《熱·情》演唱會版本，畫質(zhì)普遍欠佳。而借助數(shù)字技術(shù)讓經(jīng)典再現(xiàn)，成為寶麗金團隊及眾多榮迷們的共同期待。

藉由此，騰訊音樂娛樂集團于今年年初聯(lián)系到環(huán)球音樂，雙方一拍即合決定通過多媒體實驗室修復(fù)技術(shù)，開啟塵封21年的《熱·情》演唱會母帶修復(fù)工作。

騰訊云多媒體實驗室是全球領(lǐng)先的多媒體通信和處理研發(fā)團隊，在多媒體數(shù)據(jù)傳輸與壓縮、智慧融合媒體、互動沉浸式媒體等領(lǐng)域都積累了完整的解決方案，在老片修復(fù)領(lǐng)域也有很深的技術(shù)積累，擁有多項業(yè)界領(lǐng)先的自研老片修復(fù)技術(shù)。

修復(fù)歷史影像作品甚至殘損影像，對于經(jīng)驗豐富的多媒體實驗室來說挑戰(zhàn)并不大，此前他們深度參與了包括《康熙王朝》、《天下人家》等多部經(jīng)典影視劇高清修復(fù)工作。

“但接到張國榮《熱·情》演唱會的修復(fù)需求時，我內(nèi)心還是比較忐忑的。”多媒體實驗室專家研究員夏珍表示。

他提到，“借助實驗室的修復(fù)引擎等技術(shù)積累可以極大限度地還原演唱會視頻的清晰度，但對于演唱會視頻中的色彩、畫面切換很快，外加視頻素材清晰度不高等問題，如何做到修舊如舊，能夠給觀眾帶來融入其中的沉浸感體驗，對于團隊來說是一個不小的挑戰(zhàn)。”

經(jīng)過多次研判和技術(shù)驗證，夏珍和他的團隊給這項修復(fù)工作制定了一個硬標(biāo)準(zhǔn)，即修復(fù)后的影像能夠給榮迷帶來“現(xiàn)場感”的觀影體驗。

而解開這一“時光之鑰”的技術(shù)密碼，正是多媒體實驗室的超清沉浸感修復(fù)引擎。

“超清沉浸感修復(fù)引擎”是面向老片修復(fù)場景專門推出的技術(shù)解決方案，它沉淀了騰訊云多媒體實驗室多年的多媒體通信和處理研發(fā)經(jīng)驗，包含多項業(yè)界領(lǐng)先的老片修復(fù)技術(shù)，涵蓋四大模塊：智能分析、畫質(zhì)修復(fù)、畫質(zhì)增強和智能編碼。

首先，利用多種智能評估算法的智能分析模塊會對視頻內(nèi)容進行全方位、多維度分析，主要為了評估視頻的運動和紋理復(fù)雜度、壓縮失真程度等。

得到不同維度的分析結(jié)果后，畫質(zhì)修復(fù)模塊就能利用多種智能算法，有的放矢地修復(fù)各類破壞畫質(zhì)的主要因素，包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題。

“這其中的算法基本都是騰訊自研。譬如劃痕算法，實話說在公開服務(wù)中還沒遇到過。”

夏珍解釋道，劃痕與雪花點的面積和數(shù)量與觀看體驗成反比關(guān)系。面積越大體驗越差、反之亦然。

與此同時，劃痕修復(fù)也存在諸多難點。一方面劃痕修復(fù)不可逆且成本高昂；另一方面目前缺少龐大的劃痕公開數(shù)據(jù)庫，算法難以調(diào)優(yōu)，建設(shè)成本也非常昂貴。

為此，實驗室專門設(shè)計了針對性的多方向數(shù)據(jù)增廣方案。方案包括劃痕的裁切及合并、隨機尺寸、隨機模糊程度、局部及全局隨機亮度調(diào)整、隨機透明度調(diào)整等。

緊接著，畫質(zhì)增強模塊便會選擇最佳視頻增強算法，對畫面進行多維度畫質(zhì)提升，在空間和時間上提升視頻的分辨率和幀率，在空域上提升細節(jié)清晰度、色彩豐富度。

夏珍需要更好地駕馭和平衡CNN(卷積神經(jīng)網(wǎng)絡(luò))和GAN(生成對抗網(wǎng)絡(luò))兩種智能算法。

其中，CNN是經(jīng)過大量圖像數(shù)據(jù)訓(xùn)練而成的熟練工”，它修復(fù)的結(jié)果比較真實，但有時細節(jié)會不夠豐富；而GAN經(jīng)過自我博弈成長而來，它修復(fù)的結(jié)果更為豐富細膩，但有時會顯得不太真實。

在完成視頻修復(fù)及畫質(zhì)增強后，智能編碼模塊可以通過自適應(yīng)編碼在減少輸出文件大小、視頻傳輸成本的同時，保證視頻的主觀質(zhì)量不受影響，實現(xiàn)最佳的畫面效果。

“人工修復(fù)比較依賴修復(fù)者的經(jīng)驗和其對于畫面的理解度，不同人修復(fù)的同一個畫面可能會存在較大差別。”據(jù)夏珍介紹，超清沉浸感修復(fù)引擎則可以很好地規(guī)避這個問題，在尊重歷史和原版的基礎(chǔ)上，保證畫質(zhì)的提升。

于該引擎系統(tǒng)來說，能夠做到這一點的最大前提便是擁有強大的數(shù)據(jù)儲備。夏珍解釋道，技術(shù)解決方案對場景的要求非常強，系統(tǒng)核心能力體現(xiàn)在算法，而算法的優(yōu)劣則體現(xiàn)于數(shù)據(jù)的多寡。

一直以來，騰訊都在以算法為翼探索各個場景。在多媒體領(lǐng)域，依靠騰訊視頻等渠道，已經(jīng)積累了海量優(yōu)質(zhì)數(shù)據(jù)，算法可用性相比業(yè)界大為提升。

對于修復(fù)效果的把握，實驗室團隊更是精益求精。針對整體效果和特殊場景進行了十多次的算法升級和優(yōu)化，為技術(shù)應(yīng)用提供了穩(wěn)定性和魯棒性更強、跟蹤速度更快的技術(shù)支撐。

夏珍截取了一幀張國榮在舞臺中央的靜態(tài)畫面，放大后仿佛可以透過哥哥閃爍的眼眸看到舞臺折射的影像輪廓。而這樣的修復(fù)效果，在演唱會修復(fù)版直播過程中，也引發(fā)了不少榮迷們的共鳴。

?圖注：超清修復(fù)后的版本，張國榮的臉部、舞臺等細節(jié)清晰可見。

音樂帶來溫暖，視頻號“音悅會”生態(tài)正繁榮。去年12月，西城男孩（Westlife）全球首場線上直播演唱會現(xiàn)身視頻號，吸引超2700萬人圍觀，強勢破圈。在2022年伊始，微信視頻號與共青團中央共同舉辦了“追光”大型直播，其中的“追光”音樂會也在新的一年初始便給眾多觀眾帶來力量和溫暖。

此外，陳鴻宇華等音樂人也相繼在視頻號平臺開展“線上演唱會”，加上眾多中長尾的音樂創(chuàng)作者持續(xù)發(fā)布短視頻作品及開展直播，優(yōu)質(zhì)的音樂內(nèi)容正不斷呈現(xiàn)給廣大的視頻號用戶。在疫情背景下，即使很久沒有看過演唱會，但“打開視頻號就能聽live、看演唱會”正變成越來越多人的日常。

將超高清視頻搬上視頻號直播平臺，是一項超級工程

本次修復(fù)版演唱會得以高質(zhì)、流暢地現(xiàn)場直播，背后還有一項超能技術(shù)不得不提：視頻編解碼。

如果說自研算法是視頻修復(fù)的引擎，那么“視頻編解碼”可以說是如期達成4月1日全球直播的重要保障。

這是一項容易被忽視的技術(shù)，但卻是引領(lǐng)和驅(qū)動音視頻技術(shù)發(fā)展的關(guān)鍵技術(shù)。它所解決的問題可以用一句話總結(jié)：在不改變視頻主觀質(zhì)量的前提下，壓縮視頻的大小，以更順暢、高質(zhì)地在各個平臺播放。

超高清技術(shù)的發(fā)展極大提升了視頻的清晰度，但同時也讓文件大小成倍增長。壓縮之前的原視頻極占存儲空間，雖然分辨率是480p的，但碼率高達50M/s，如果修復(fù)后的4K高清版本按高碼率輸出，將占據(jù)300GB的存儲空間。

談及至此，不得不提實驗室的一項“王牌技術(shù)”：新一代國際編解碼標(biāo)準(zhǔn)。它在業(yè)內(nèi)廣受關(guān)注。

該標(biāo)準(zhǔn)于2020年7月正式發(fā)布，成為視頻產(chǎn)業(yè)跨時代的里程碑，相比上一代標(biāo)準(zhǔn)，其壓縮性能顯著提高，可在視頻主觀質(zhì)量不變的條件下減少50%的數(shù)據(jù)大小，大大減少視頻傳輸帶來的流量、帶寬成本，推動整個視頻產(chǎn)業(yè)進化。

騰訊云多媒體實驗室正是這項標(biāo)準(zhǔn)制定的主要貢獻者之一，提交的技術(shù)提案被國際和國內(nèi)標(biāo)準(zhǔn)采納，數(shù)量全球領(lǐng)先。同時，實驗室專家們還在標(biāo)準(zhǔn)組織中擔(dān)任包括新一代國際編解碼標(biāo)準(zhǔn)聯(lián)合主編、參考軟件聯(lián)席主席等重要席位。騰訊是中國最早參與并致力于開發(fā)視頻信息壓縮和解碼標(biāo)準(zhǔn)的公司之一，現(xiàn)已在視頻編解碼技術(shù)上處于全球領(lǐng)先的地位。

在2021 MSU世界視頻編碼器大賽中，首次參賽的騰訊自研最新一代266編碼器即在競爭最激烈的高清離線賽道中奪得Y-VMAF、Y-PSNR第一名的成績。

與此同時，騰訊云音視頻轉(zhuǎn)碼及相關(guān)媒體處理應(yīng)用已于2021年7月全線支持新一代國際編解碼標(biāo)準(zhǔn)，這是該標(biāo)準(zhǔn)首次在云上商用，填補了全球云廠商在該領(lǐng)域的空白。

此外，騰訊云多媒體實驗室在標(biāo)準(zhǔn)截稿僅三個月后，發(fā)布了新一代國際編解碼播放器，解碼速度較標(biāo)準(zhǔn)參考軟件快了約 20 倍，能對 UHD 影像進行實時解碼，其性能在全球處于領(lǐng)先地位。

騰訊杰出科學(xué)家、騰訊云多媒體實驗室總經(jīng)理劉杉博士也是全球音視頻領(lǐng)域的頂尖技術(shù)帶頭人。

劉杉博士是國際著名多媒體專家，騰訊首位女性杰出科學(xué)家，IEEE Fellow, APSIPA杰出工業(yè)領(lǐng)袖，2020年入選福布斯中國科技女性50人，擁有500+已授權(quán)專利，發(fā)表100+學(xué)術(shù)論文和一部專著，本科畢業(yè)于清華大學(xué)電子工程系，碩士和博士畢業(yè)于美國南加州大學(xué)，研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統(tǒng)和智能化應(yīng)用。深耕多媒體數(shù)據(jù)壓縮、傳輸協(xié)議和系統(tǒng)、無線網(wǎng)絡(luò)、IoT等行業(yè)標(biāo)準(zhǔn)領(lǐng)域，曾多次擔(dān)任國際標(biāo)準(zhǔn)專家組主席和聯(lián)席主席，現(xiàn)任IEEE數(shù)據(jù)壓縮標(biāo)準(zhǔn)委員會副主席。

自2017年加入騰訊以來，劉杉博士帶領(lǐng)團隊研發(fā)和交付多項多媒體核心技術(shù)，并深度參與了國際國內(nèi)行業(yè)標(biāo)準(zhǔn)制定工作。

超高清視頻修復(fù)市場需求巨大，騰訊已形成完整技術(shù)矩陣

近年來，隨著5G、人工智能等數(shù)字技術(shù)的發(fā)展，超高清視頻技術(shù)成為推動我國超高清視頻產(chǎn)業(yè)迅猛發(fā)展的重要動力。工信部、國家廣播電視總局、中央廣播電視總臺聯(lián)合印發(fā)的《超高清視頻產(chǎn)業(yè)發(fā)展行動計劃》明確提出，到2022年超高清視頻產(chǎn)業(yè)總規(guī)模要超4萬億元，超高清內(nèi)容制作每年要超3萬小時。

然而，在超高清內(nèi)容生產(chǎn)端，則存在著超高清內(nèi)容制作、經(jīng)典老片及視頻轉(zhuǎn)高清的成本高、效率低等痛點，成為制約產(chǎn)業(yè)發(fā)展的關(guān)鍵因素。

夏珍表示，全球有非常多的諸如演唱會、電視劇、電影、紀錄片等經(jīng)典影像，騰訊云多媒體實驗室目前已經(jīng)形成了較為完整的智能老片修復(fù)技術(shù)矩陣，未來希望通過超清沉浸感修復(fù)引擎，幫助更多的時代經(jīng)典高質(zhì)、高效地重現(xiàn)于觀眾面前。

未來，騰訊云多媒體實驗室將在多媒體技術(shù)領(lǐng)域中持續(xù)深耕，推動多媒體技術(shù)在多個產(chǎn)業(yè)領(lǐng)域中落地應(yīng)用的同時，踐行騰訊可持續(xù)社會價值創(chuàng)新，助力經(jīng)典文化的傳承。

借助數(shù)字化技術(shù)助力傳統(tǒng)文化和經(jīng)典作品傳承，也是騰訊技術(shù)價值外溢、科技向善的又一體現(xiàn)。