딥러닝 기반의 super resolution 기술은 NVidia의 최신 GPU에서 DLSS(deep learning super sampling)라는 이름으로 채용되어 consumer 대상으로 실 서비스되는 기술이 되었는데요, 주로 4K 게이밍 시장에서 4K 렌더링의 비용을 낮추기 위해 2K 신호를 4K로 바꾸는 역할을 합니다. 물론 이렇게 만든 4K가 real 4K라고 할 수 있는지에 대한 지적은 있지만 2K보다는 확실히 나으니 주관적 품질 기준으로 2K와 4K 사이 어느 지점 정도로는 옮겨준다고 할 수 있을 것 같습니다. (물리적 해상도가 아니라 품질 기준 해상도 관점)
Pixar에서는 animation rendering pipeline 과정에서 비용을 낮추기 위해 이 기술을 사용했습니다. 링크 글에 따르면 2K 기준 1 프레임을 rendering하는데 50 CPU hour가 필요하다고 합니다. 90분 영화 기준 1초에 24 프레임으로 가정하면 650만 CPU hour 정도가 되는데, 4K rendering의 경우에는 여기에서 다시 2배 이상이 필요하다고 하네요. 따라서 2K 혹은 1K로 렌더링한 후 resolution을 올리는 방법으로 rendering farm의 비용을 낮추었습니다. (구체적으로 1K -> 2K 적용의 경우 50-75%의 비용을 절감했다고 합니다)
Super resolution 기술 중 Pixar에서 사용한 기술은 “A Fully Progressive Approach to Single-Image Super-Resolution”라는 ETH Zurich와 디즈니의 공동연구인데, 이 연구의 결과물 중 GAN을 적용한 버전을 사용한 것으로 보입니다. 아래는 이 연구의 paper와 github 링크입니다.
다만 초기 연구 결과를 실제로 적용함에 있어서 여러 가지 고민들에 대한 해결 방법이 추가되었는데, 예를 들면 production-quality를 얻어야 한다는 것, HDR에 대한 고려, 알파채널 처리, 다양한 lighting에 대한 적응 등입니다. 물론 데이터 관점에서도 초기 연구 논문이 Div2K (800장)을 사용했던 것에 비해 실제 적용 기술을 개발하기 위해서 코코, 인크레더블2, 토이스토리4의 실제 렌더링 결과물을 학습 데이터로 사용했습니다. (이 부분은 부럽네요^^) 학습 완료된 결과가 영화에 바로 적용된 것은 아니고, 현재 상영중인 온워드의 UHD 디스크에 수록된 보조 영상에 적용되었다고 하고, 향후 적용 확대 예정이라고 하네요.
개인적으로 딥러닝 기반 기술들이 연구소에만 머무르는 것이 아니라 실 세계로 나와서 가치를 증명한 사례들에 대해서 관심이 많습니다. 아직은 수 많은 연구 성과들에 비해 적용 사례들이 미비한데, 향후에는 이런 방향에서의 혁신을 기대해 봅니다.
