基于深度学习的超分辨率技术已在NVidia的最新GPU中以DLSS(深度学习超级采样)的名称采用,并且已成为真正为消费者服务的技术。它可以更改为4K。当然,以这种方式制作的4K是否可以称为真正的4K有一些要点,但它绝对比2K好,因此根据主观质量标准,似乎可以说它在2K和4K之间有所发展。 (不是物理分辨率,而是基于质量的分辨率角度)
Pixar使用此技术来降低动画渲染流程中的成本。根据链接,以2K渲染1帧需要50个CPU小时。假设一个90分钟的电影每秒24帧,则大约需要650万个CPU小时,但对于4K渲染,据说这里需要的是两倍以上。因此,通过以2K或1K渲染后提高分辨率,可以降低渲染场的成本。 (具体来说,在1K-> 2K应用的情况下,据说降低了50-75%的成本)
在超分辨率技术中,皮克斯的技术是苏黎世联邦理工学院和迪斯尼之间的一项联合研究,称为“单图像超高分辨率的完全渐进方法”,该研究似乎使用了GAN应用的研究结果。以下是此研究的论文和github的链接。
但是,在实践中应用初始研究结果时,已经添加了解决各种问题的解决方案,例如获得生产质量,考虑HDR,处理Alpha通道以及适应各种照明。当然,从数据的角度来看,与使用Div2K的最初研究论文(共800页)相比,我们使用Coco,Incredibles 2和Toy Story 4的实际渲染结果作为训练数据来开发实际的应用技术。 (我很羡慕这部分^^)研究结果并未直接应用于电影,但已应用于当前正在筛选的Onword的UHD磁盘上录制的辅助视频,并且有望在未来进行扩展。
就个人而言,我对基于深度学习的技术通过进入现实世界而不仅仅是在实验室中证明了其价值的情况非常感兴趣。与众多研究成果相比,应用案例仍然不足,但我们期待着将来朝着这个方向进行创新。