技術解碼｜騰訊雲視頻超分辨率技術

隨着信息技術的高速發展和泛娛樂時代的來臨， 視頻應用遍佈人類社會生活的方方面面，視頻的內容和質量也越來越受大家關注，其中幀率、分辨率和碼率是影響視頻質量的最主要因素。高分辨率的視頻能提供更多的細節、更清晰的畫面和更好的觀看體驗，因此提升視頻分辨率，對於提升視頻質量和用戶體驗有很大的幫助。

超分辨率技術，是通過硬件或軟件的方法提高圖像或視頻幀的分辨率， 通過一系列低分辨率圖像獲取到高分辨率圖像的過程。超分辨率技術不僅可以應用在一些低分辨率的老片和手機拍攝的不清晰場景中，也可以對多次壓縮的一些新電影進行恢復， 提高這些視頻質量，給客戶更好的觀看體驗。同時超分辨率技術還可以應用在清晰的視頻源中，將視頻的分辨率從 1080P 提高到 4K，支持視頻在更大的屏幕上播放， 提供更高清的視野。

目前超分辨率技術主要可以分爲兩類，單圖像超分辨率（Single Image Super Resolution, 簡稱 SISR）和視頻超分辨率（Video Super Resolution，簡稱 VSR）。對於 SISR，我們只需要輸入一張低分辨率圖像就可以獲得高分辨率圖像的輸出；而 VSR 會利用視頻的時間關聯性來獲得對某一幀的 SR。目前對於超分辨率的研究已經持續了多年， 在 SISR 和 VSR 上都取得了很多不錯的成果， 下圖列出了在這兩方面做的部分算法研究：

超分辨率技術發展到現在，已經可以在實際場景中進行應用了，爲了給客戶提供更高清高質的視頻，視頻雲團隊推出了一個完備的視頻超分辨率解決方案，根據客戶不同的使用場景， 選用最適合該場景的模型。

 超分辨率技術的使用場景主要可分爲直播場景（實時超分）與點播場景（離線超分）， 直播場景對實時性要求較高，要求超分算法效果穩定且有比較高的性能，因此我們在直播場景中主要採用的是 SISR 中的殘差網絡算法，並對於實際工程運用中遇到的問題，如壓縮算法帶來的壓縮失真：塊效應、馬賽克、邊緣毛刺、重影等進行了處理， 提升了超分網絡的噪聲抑制能力。下面是直播超分在遊戲直播中的效果圖，可以看出超分辨率技術確實大幅度的提升了直播內容的清晰度：

而在點播場景中，我們使用的是一種基於光流生成對抗網絡的 VSR 超分算法， 利用了視頻的時間關聯性，可以明顯的細化邊界、增加細節，同時保持視頻序列幀間的一致性。

基於光流生成對抗網絡的超分算法，它的基本模型結構如下圖所示：

該算法由一個光流生成器網絡和時空判別器網絡組成。訓練過程中，超分網絡和光流估計一起訓練，在不斷的對抗中欺騙時空判別器。時空判別器同時也在優化，形成相互博弈，時空判別器是重要組成部分，因爲它既考慮圖像內容又考慮幀間差異，同時兼顧時空信息，並對幀間不連貫性進行懲罰，使得超分網絡不斷生成與之前幀連續的高頻細節。通過這個算法，我們訓練出了一個泛化能力強的超分模型，具有降噪、畫面加清、細節增強的能力。下面是幾組我們在實際應用中的效果範例：

綜上所述，目前騰訊視頻雲團隊已經提供了一個比較完備的視頻超分辨率解決方案，能夠很好的應用在實時和離線的場景中，提高視頻的分辨率， 給予客戶更高清的視野和更好的觀看體驗。在這裏也要感謝騰訊多媒體實驗室在這方面的支持和幫助。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/8IDuv1Gjx7rDaxGxY1PH4g