一行命令,瞬間從 "馬賽克" 到高清影像

如上圖,從 100x133pix→400x532pix,除了肉眼可見的清晰,擁有可以將分辨率提升 400% 的技術到底意味着什麼?

它意味着:

圖片

圖片引用自公開數據集 [1][2][3]

讓世界變得更清晰的不是魔法,而是一項被稱爲超分辨率提升的技術(簡稱「超分」),能夠將低分辨率的圖像、視頻,通過特徵提取、特徵融合、圖像重建與上採樣(Pix-Shuffle),恢復並補足丟失的信息,最終重建成高分辨率的圖像、視頻。

超分的實現路徑有很多種,而峯值信噪比 PSNR32.53、結構相似度 SSIM0.9083 的視頻超分算法 PP-MSVSR,以其卓越的性能達到業界 SOTA

話不多說,** 直接看 PP-MSVSR** 在視頻超分權威數據集上與其他算法**性能(峯值性噪比、結構相似度)的對比圖表:**

如圖所示,PP-MSVSR 提供了 1.45M 和 7.4M 兩種參數量大小的模型,峯值信噪比與結構相似度均高於其他開源算法,同時還保持了參數量較小。也就是說,PP-MSVSR 在對分辨率提升效果達到最細膩的情況下,還保持體積小的優勢,是真正意義上的高性能、低成本!並且,PP-MSVSR 還不限制輸入視頻的分辨率,支持分辨率一次提升 400%,將超分自定義做到了極致,給大家無限想象空間~

PP-MSVSR 的源碼與教程也已經開源至 PaddleGAN 項目,除了視頻超分,PaddleGAN 中也提供業界領先的單張圖片超分系列算法。

心動不如行動,趕緊 Star⭐收藏上手試試吧~

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

下面,讓我們詳細來看看 PP-MSVSR 超分算法到底是如何解決實際問題的吧!

**1、**將老電影從模糊變清晰,實現影像修復

在文娛領域,如社交、新聞媒體、電商等行業,常常涉及到對於視頻的增強與編輯,PP-MSVSR 的表現着實可圈可點。

**2、**通過提升訓練數據的清晰度,提升算法精度

無論是目標檢測、圖像識別,還是圖像分類、語義分割等 CV 相關任務,訓練數據質量的好壞對於最終任務效果影響都極大。因此,開發者可嘗試通過 PP-MSVSR 將任意分辨率下的視頻數據提升至理想分辨率,實現下游的檢測、識別、分割等任務的準確率有效提升。

圖片引用自公開數據集 [4][5]

**3、**降低視頻網絡傳輸成本,在終端使用算法對分辨率進行恢復提升

在這個對清晰度有着極致追求的時代,視頻的存儲與傳輸成本越來越高,比如,傳輸 4K 信號,一天的傳輸成本至少大幾千元,要想給成本來個「大降低」,就必須從存儲與傳輸下手。

在視頻超分的助力下,視頻雲端存儲空間可大幅降低,進一步降低視頻 CDN 傳輸帶寬,同時提高視頻傳輸速度,也就意味着,在存儲的空間、傳輸的成本大大下降的同時,視頻傳輸的速度也得到顯著提****升!

PP-MSVSR 這麼有用,他的使用複雜嘛?答案是:完全不!僅一行命令即可實現分辨率的提升!

圖片引用自公開數據集 [1]

除了 PP-MSVSR 詳細、完整的實現代碼、預訓練模型及文檔教程外,飛槳生成對抗網絡開發套件 PaddleGAN 還提供了圖像生成、脣形合成、人臉融合等豐富的前沿 GAN 相關能力與應用,還在等什麼,趕緊 Star⭐上手試試吧!

https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

圖片引用說明

[1] Ce Liu and Deqing Sun.  On bayesian adaptive video superresolution.IEEE transactions on pattern analysis and ma-chine intelligence, 36(2):346–360, 2

[2] 大谷. (2021, February 20). AI 還原的李煥英老照片動態影像!每個媽媽都了不起!【大谷紐約實驗室】_嗶哩嗶哩_bilibili. Retrieved December 6, 2021, from https://www.bilibili.com/video/BV1wh411k7YN?spm_id_from=333.999.0.0.

[3] A cat getting petting on the bed. Photo by Cottonbro on unsplash. Beautiful Free Images & Pictures. Retrieved December 5, 2021, from https://www.pexels.com/video/a-cat-getting-petting-on-the-bed-6865077/.

[4] Robben, S. (n.d.). Photo of a man in a brown polo shirt carrying a laptop ... pexels. Retrieved December 6, 2021, from https://www.pexels.com/photo/photo-of-a-man-in-a-brown-polo-shirt-carrying-a-laptop-8278886/.

[5] 《PCB 瑕疵檢測》數據來源於:北京大學印刷電路板(PCB)瑕疵數據集

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/_L9Zdf-4SxzcysVII43mxw