2020년은 미디어 압축 분야에서 AI 기술 적용이 본격적으로 고려되는 원년이 될 것 같습니다. 올해 있었던 4가지 이벤트를 간략하게 살펴보면 다음과 같습니다.
(1) 차세대 영상 표준에서 딥러닝 기술이 빠지다
먼저, 7월에는 H.265/HEVC의 뒤를 잇는 H.266/VVC 표준이 완성되었습니다. 표준화 과정에서는 intra block prediction, in-loop filtering 등 다양한 분야에서 딥러닝 기반 기술이 제안되었지만 최종적으로는 표준안에서 빠지게 되어 아쉬움을 갖게 만들었습니다. 주된 이유는 복잡도 대비 성능 향상이 충분하지 않다는 것입니다. 이때만 해도 아직 시기상조인가? 하는 이야기가 많이 있었습니다.
(2) AI기반 미디어 압축 표준화 기구 MPAI의 등장
두 번째로, 그 동안 동영상 압축 표준을 이끌어오던 MPEG이 상위 기구에 흡수되어 사실상 문을 닫게 되었고, MPEG의 창립자인 Leonardo Chiariglione는 MPAI(Moving Picture, Audio and Data Coding by Artificial Intelligence)라는 새로운 비상업기구를 만들어서 AI 기반의 압축 기술을 표준화하는 새로운 시도를 시작하였습니다. MPEG을 수십년간 이끌어오던 수장이 다음 단계로 AI 기반 기술을 선택했다는 사실은 그 자체로 화제가 되었으며 H.266/VVC에서 딥러닝 기술이 빠진 결정과 묘하게 대비되었습니다.
(3) AI 기반 화상 통신, NVidia Maxine 발표
10월 NVidia는 Maxine이라고 불리는 클라우드 기반 화상 회의 플랫폼을 발표하는데, 기존 화상 회의 시스템들이 H.264/AVC등의 영상 압축 기술을 사용하는 것에 비해 facial landmark를 추출하고 이를 전송한 후 단말에서 생성하는 기술을 적용함으로써, 본격적으로 영상 압축 시장에서 기존의 신호 처리 방식과 AI 기반 방식간 전쟁의 시작을 알렸습니다.
(4) JPEG이 AI 기반 신규 표준 프로젝트를 공식적으로 런칭
이미지 표준화 단체인 JPEG에서는 AI 기반 이미지 압축 기술이 현재 최고의 표준 기술(JPEG-2000, HEIF) 대비 얼마나 유의미한 성능 향상을 가져오는지를 검증하기 위한 단계인 call-for-evidence를 올해 수행하였습니다. 총 4개의 제안서가 제출되었는데, 10월 89차 JPEG 미팅 결과 AI 기반 이미지 압축 기술의 성능이 월등히 뛰어나다는 결과를 얻었고, 공식적인 신규 프로젝트를 런칭하기로 하였습니다. (아래 링크 공유합니다)
참고로 어떤 표준을 만들기 위해서는 일반적으로 프로젝트 제안, call-for-evidence (성능 향상 검증), call-for-proposal (시작 기술 고르기), core experiment (부분 기술 최적화)를 거치게 됩니다. 누구라도 성능이 좋기만 하면 되는 call-for-evidence와는 달리 call-for-proposal은 시작 기술, 즉 다수의 제안서 중 1등을 선택하는 과정이라서 이제부터는 불꽃튀는 기술(+특허) 전쟁이 시작되었다고 보면 됩니다.
그간 AI 기반 이미지 압축 기술이 다양하게 발표되어 왔는데, 과연 어떤 기술 조합이 성능과 실용성 면에서 그 중 최고가 될 지 많이 궁금해집니다. 또한 전세계 수십억대 이상 적용되어 있는 JPEG이 신규 표준으로 대치될 수 있을까도 궁금합니다. 지속적으로 F/U해 볼 생각입니다.
