已经发布了新视频编解码器的国际标准,该新编解码器名为(ISO MPEG)VVC或(ITU-T)H.266。分享相关文章。
与HEVC不同,HEVC在深度学习技术问世之前完成了大多数技术,而在VVC的情况下,基于深度学习的技术试图进入标准。但是,由于没有高完成度的技术可以替代数十年来不断完善的整个Prediction + Transform混合框架,因此已努力提高现有框架部分技术的性能。
首先,在无法参考周围帧的情况下使用帧内图片的情况下,只能将周围像素用于预测。已经提出了一种将这些像素作为输入放入三层FCN并产生块像素作为输出的技术。此外,还使用了以超分辨率和使用CNN减少JPEG伪影而闻名的VDSR技术,并提出了将其作为环内滤波器的一种技术,该技术可提高编码完成后的图像质量。
但是,不幸的是,可以看出,最终没有在VVC中采用基于深度学习的技术。 3层FCN技术简化为1层,从而成为简单的矩阵乘法而不是神经网络,并且在实现复杂性方面也排除了基于CNN的环路滤波器,而是采用了ALF技术,该技术为每个帧估计卷积滤波器(无非线性元素)。 (自适应环路滤波器)。
主要原因是与增加的复杂性相比,获得的效率不是很高。它们中的大多数复杂度是它们的两倍以上,但是只能观察到5%内的效率提高,并且没有理由基于这些标准来包括基于深度学习的技术。您可能不知道它是否处于研究阶段,但是可以将其视为将其应用于实际市场时必须通过的网关。
国际标准视频压缩技术是应用于数十亿设备的大众市场。 (截至2019年,有15亿部智能手机,2亿台电视,3亿台PC,1.4亿平板电脑,其中H.264几乎为100%,HEVC约为60%)如果此时包含深度学习技术,则它可能会应用于全球大众市场。我个人很抱歉这是第一个深度学习技术。
下一个国际标准大约要八年才能出台。在此之前,我希望深度学习将在效率和降低复杂度方面取得很大进步,以便能够与持续20多年的现有技术竞争。