《熱·情》超清修復版刷屏朋友圈

性感服裝、紅色高跟鞋、貼身熱舞...在2000年《熱·情》演唱會上，張國榮用前衛(wèi)大膽的衣著和妖嬈的舞姿，突破傳統(tǒng)界限，締造了永恒經(jīng)典。

2022年4月1日晚20點，張國榮《熱·情》演唱會超清修復版在線上首播。這張塵封21年的母帶，經(jīng)過智能4K超清修復，讓千萬粉絲仿佛回到當年的紅館現(xiàn)場，重溫絕代風華。

這場跨越歲月重逢的背后，除了騰訊音樂娛樂集團與環(huán)球音樂集團旗下廠牌寶麗金唱片的合作外，還離不開騰訊云多媒體實驗室的數(shù)字影像修復技術支持。

一個月修復老片，「復刻」永恒經(jīng)典

談到此次修復的契機，騰訊云多媒體實驗室總監(jiān)李松南說：“其實，源于一個偶然的機會，我們與版權方——環(huán)球音樂旗下的寶麗金唱片接觸后，感到彼此非常契合，就很快就達成了合作意向，決定在4月1日這個特殊的日子，用特殊的AI畫質修復的方式，將張國榮這場經(jīng)典演唱會重新帶給粉絲們。我們感到特別榮幸，非常有意義，也很有價值。”

三月初，騰訊云多媒體實驗室團隊拿到了演唱會的母帶，從拿到母帶到最終呈現(xiàn)直播，只花了差不多一個月時間。騰訊云多媒體實驗室專家研究員夏珍說，純算法耗費的時間其實并不算長，大約2天左右。如果傳統(tǒng)人工修復的話，則需要花費1、2月時間。

修復前后對比

談到老片修復后的效果，李松南認為：“雖然效果是主觀感受，因人而異，但此次修復后，整體畫面變得更清晰、更逼真。例如，臉部的輪廓、毛孔、胡須、眼神等細節(jié)都清晰可見。”原本母帶的分辨率較差，大概僅為720×480，修復后接近4K畫質，提升了約6倍。同時，優(yōu)化了幀率，畫面的流暢度也有所提升，而且更具沉浸感。

夏珍提到了“修舊如舊”，為了保留整場演唱會的藝術效果，團隊嘗試了多種算法和效果的搭配，以達到平衡的目的。期間，團隊也遇到了一些bad case（壞案例），需要更精細的修復和多種算法的調整，但最終獲得了不錯的成效。

四大模塊解決四大難點

李松南總結了本次修復的四大技術難點。首先，時間跨度太大，母帶有劃痕和噪點等問題。修復引擎中有一個專門的“去劃痕”及“去噪點”的算法，針對難以修復的部分，在后期通過畫面修復技術，將這些問題逐一解決。

其次，數(shù)據(jù)量不足，需要在少量數(shù)據(jù)的情況下，盡可能提升算法的學習效果。李松南說，這是團隊第一次修復演唱會。此前修復主要的是老電影、老電視劇，所以演唱會相關的數(shù)據(jù)積累較少。所以，需要通過不斷優(yōu)化算法，以加強深度學習效果。

然后，演唱會現(xiàn)場環(huán)境較復雜、多變，且場景較暗，細節(jié)也不夠豐富，還面臨運動場景、景深切換等較多等各種情況，對算法帶來更大的要求和挑戰(zhàn)。修復中，需要運用多種修復手段，并依據(jù)不同的場景，不斷嘗試適合的算法，提升效果，為以后的修復積累了寶貴的經(jīng)驗。

最后，清晰度較差的部分難以精確建模，需要嘗試不同的算法、調整不同的參數(shù)，以達到更好的修復效果。

修復前后對比

李松南介紹道，目前老片修復分為物理修復和數(shù)字修復兩種。其中，物流修復主要是去除膠片雜質以及對變形進行修復，數(shù)字修復基于機器學習、深度學習等方法，無需人為介入，通過算法進行全自動的修復，以減少后續(xù)的人工成本。此次，騰訊云多媒體實驗室采用的就是一種數(shù)字修復的解決方案——“超清沉浸感修復引擎”。

該解決方案包括智能分析、畫質修復、畫質增強和智能編碼四大模塊。智能分析，就是分析視頻的質量和內容，通過算法評估，找出視頻中存在的失真和噪點，以便打開相應的畫質修復模塊；畫面修復，是利用多種人工智能修復算法針對老片中常見的豎線、雪花點、噪聲、壓縮失真、抖動等問題進行修復；畫質增強，是在現(xiàn)有的視頻基礎上進一步提高畫質，包括分辨率、幀率、動態(tài)范圍，甚至是沉浸式等方面；智能編碼，能夠在低帶寬的情況下，盡可能提高視頻的質量。所以，四大模塊其實就是數(shù)字修復過程中的四個關鍵流程，系統(tǒng)性地解決各種難題。

值得一提的是畫質修復中的“人臉修復”模塊。其基于自研的人臉修復模型，利用人臉檢測、人臉修復和融合模塊，將圖像修復遷移到視頻過程中加入幀間穩(wěn)定性處理，解決人臉檢測穩(wěn)定性，優(yōu)化多角度人臉效果，解決視頻中動態(tài)人臉遇到的復雜場景問題。

夏珍以此次演唱會修復為例，由于燈光較多，顏色種類繁多、多變，一旦照射在人臉，算法就難以處理，為修復帶來了一定的麻煩。通過專用的人臉修復算法，經(jīng)過不斷優(yōu)化和調整，從而解決了這些難題，也為后期工作和優(yōu)化提供了大量的寶貴經(jīng)驗。

技術迭代帶來超清沉浸感

李松南強調，數(shù)字修復技術并不局限于老片修復。隨著終端設備的升級換代，目前認為品質尚可的視頻，幾年之后，可能為了適配新終端的更新?lián)Q代，也需要畫質修復，屆時數(shù)字修復技術將發(fā)揮出作用?！半S著技術不斷迭代，如果我們過幾年再來修復這場《熱·情》演唱會的話，效果可能會更好?！彼f道。

騰訊云多媒體實驗室專家研究員 夏珍

夏珍說，數(shù)字修復技術的迭代主要有兩個方向，即系統(tǒng)級別和算法級別。系統(tǒng)級別就是整個流程的相關技術迭代。他以智能分析為例，最初的解決方案中并未包含智能分析引擎，這是由于此前接觸的視頻種類不多的緣故。但加入該引擎后，智能分析的作用越來越重要，原因在于不同年代視頻的失真的類型強度都有較大的差別，需要進行分析后，才能作出正確的判斷。同時，目前智能分析模塊還必須不斷提升適應能力，以盡可能減少人力介入，以便適應更多不同類型的視頻。

同時，對于算法的優(yōu)化、調整和整合，這也是系統(tǒng)級別技術迭代的重要方向之一。夏珍認為，視頻超分是一個典型的算法迭代的例子，從最傳統(tǒng)的降噪、背景增強到深度學習，再從人工邁向自動化，算法的不斷迭代，效果也隨之大大提升。

沉浸感官是另一個重要的方向。夏珍表示，無論是解碼還是視頻處理，以及AR/VR等應用場景，沉浸感官都是發(fā)展的重要方向。在視頻處理的過程中，往往采用提高分辨率、幀率、微深度來提升沉浸感。

修復過程

李松南介紹道，騰訊云多媒體實驗室設有沉浸式組，專注于類似全息視頻、VR360、自由視點、3D重建、六自由度等相關技術方向。視頻處理方面，還是聚焦在2D視頻的修復和增強。在原有分辨率和幀率上，盡可能在2D條件下，提升用戶的沉浸感。當然，未來也會在3D視頻、三自由度、六自由度、全息等各方面加大投入。同時，播放設備也會邁向VR等新興顯示設備發(fā)展，帶來更沉浸的視覺效果。

提到應用場景，他繼續(xù)說道，畫質修復技術將在廣電、傳媒等行業(yè)得到廣泛的應用。例如，視頻留存、重新上映以及適配現(xiàn)有4K/8K電視設備等，都離不開畫質修復技術所帶來的全新感官體驗。李松南說，未來，實驗室會將超清沉浸感的畫質修復技術，與更多合作伙伴展開合作，幫助更多經(jīng)典影視劇、電影以及演唱會等珍貴歷史影像傳承下去。

助力文化傳承，踐行社會價值

李松南說，騰訊云多媒體實驗室為騰訊CSIG事業(yè)群旗下的多媒體通信和處理研發(fā)團隊，主要工作分為兩大部分?！笆紫仁菢藴氏嚓P，即參與國內外多媒體相關的標準制定；其次是技術輸出，就是為騰訊內部其他產品部門提供相應的先進技術，例如目前騰訊云音視頻、媒體AI中臺、數(shù)據(jù)萬象等采用了實驗室的相關視頻處理技術。其中，畫質修復就是屬于視頻處理中的關鍵技術之一。”他說道。

關于投入的產出，李松南坦言，騰訊云多媒體實驗室只是一個技術部門，并不盈利，而只是將技術輸出給騰訊內部各個部門。從公司整體的角度出發(fā)，實驗室同樣帶來了一定的社會價值和收益。他透露：“公司非常支持這樣公益性的項目。雖然確實會投入一定的人力、算法等成本，但我們都覺得非常值得。”

此前，騰訊云多媒體實驗室深度參與了包括《康熙王朝》、《天下人家》等多部經(jīng)典影視劇高清修復工作。李松南說，此次與寶麗金的合作，是為了表達對張國榮先生的緬懷，其中沒有任何的商業(yè)行為。雖然修復過程中的機器算法、bad case等都需要人工輔助調整，難免會帶來一定的基礎服務和人力成本的投入。“整個修復初衷是希望用我們的技術去踐行騰訊“可持續(xù)社會價值創(chuàng)新”的理念，并不涉及任何商業(yè)化行為，只是為了推動經(jīng)典文化的傳承?！?/p>

最后，李松南直言，在此次張國榮《熱.情》演唱會修復過程中，接觸了不少相關機構和團隊，并收獲了一些新的合作意向，也探討了不少新的方向?！敖酉聛?，希望尋找出更多新的合作方式和方向。一方面，尋找一個既可良性地支撐算法投入，也能實現(xiàn)雙方共贏的商業(yè)模式；另一方面，結合可持續(xù)社會價值創(chuàng)新理念，以公益為目的，將助力具有社會價值的經(jīng)典文化作品的傳承。”■

本文來自微信公眾號“福布斯”（ID：forbes_china），作者：Forbes China，36氪經(jīng)授權發(fā)布。