[생성지능개발팀 정택현]
ㅤ
컨텐츠 홍수라고 불리우는 최근에는, 우리가 접하는 미디어 컨텐츠들이 양적으로나 질적으로 이전과는 비교할 수 없게 다양화되고 또한 고도화되고 있습니다.
대표적인 예시로는 몇년 전까지만 해도 유튜브 등 영상 플랫폼에서는 HD(720p), FHD(1080p)의 해상도의 컨텐츠가 주를 이루었으나, 최근에는 UHD(4K)를 넘어 UHD+(5K), FUHD(8K)까지의 영상도 쉽게 찾아볼 수 있게 되었습니다.
또한, 실제로 한국의 인터넷은 UHD(4K) 영상을 인터넷으로 재생할 때 화질 구현율이 세계 1위라는 조사결과도 있어, 국내에서의 고품질의 컨텐츠 제작은 매우 중요한 일이 되었습니다. (관련기사)
ㅤ
2부 : <AI Media Studio>의 품질 개선 기술 소개
스마일게이트 AI 센터에서는 이러한 고품질의 컨텐츠 제작을 지원하기 위해 다양한 AI 기반의 이미지 및 영상 품질 개선 기술을 연구하였으며 일부는 시범 서비스를 진행중에 있습니다.
본 기사에서는 이러한 기술에 대한 간단한 소개와 앞으로의 계획 및 방향에 대해 소개 드리고자 합니다.
먼저, 저희는 기술을 개발하기 전 활용 목적에 따라 위의 그림과 같히 총 세 가지 방향으로 구분하였습니다.
첫번째는 대부분의 이미지나 영상에서 모두 활용 가능한 범용적인 기술을 의미하고, 두번째는 사람의 얼굴에 좀 더 최적화된 기술이 필요하다고 판단하였습니다.
그리고 마지막으로는 세아스토리, 에픽세븐과 같은 애니메이션 캐릭터 혹은 그림 등에 최적화된 기술을 개발하는 것을 목표로 하였습니다. 본 기사에서는 이러한 세 가지 방향 중 얼굴 특화 품질개선 기술과 애니메이션 특화 품질개선 기술에 관한 내용을 중점으로 기술하고자 합니다.
ㅤ
얼굴 특화 품질개선 기술
얼굴 이미지에 특화된 품질 개선 기술은 순차적인 단계로 연구/개발을 진행하였습니다.
먼저, 다양한 오픈소스에서 활용되는 FFHQ-Alignment, dlib 등의 기술로 얼굴 영역만 crop 및 정렬 후 품질을 개선하는 것으로 초기 연구를 진행하였습니다.
이러한 연구는 다양한 관련 기술을 베이스라인으로 삼아 조금씩 개선해나가는 방법으로 진행하였습니다.
이후, 새로운 기술이 확보되고 고도화 됨에 따라 데이터셋의 품질을 개선하여 브이로그, 셀피(Selfie) 등 상반신 일부까지 기술 적용의 범위를 확장하게 되었습니다.
ㅤ
ㅤ
본 기술은 현재 <AI Media Studio>를 통해 이미지 대상 시범 서비스를 진행하고 있습니다. 또한, 사내 API 제공을 지원하도록 백엔드를 개발하였는데, 다양한 컨텐츠를 제작하는 과정이나 AI 기술을 연구하는 과정에서 데이터셋의 가공이나 선처리, 후처리 등 유용하게 활용될 것으로 기대하고 있습니다.
아마 기술의 성숙도가 조금 더 개선된다면, 얼굴을 포함한 전신사진이나 단체사진 등에도 적용이 가능할 것이라고 생각됩니다.
ㅤ
애니메이션 특화 품질개선 기술
다음으로는 애니메이션 이미지에 특화된 품질개선 기술을 개발하였습니다. 본격적인 개발에 착수하기 전 다음의 2가지 요소를 중요 포인트로 삼게 되었습니다.
- 애니메이션 고유의 색감과 톤을 유지할 수 있어야 한다.
- PSNR, SSIM 등 정량적인 수치보다 사람이 직접 평가하는 블라인드 테스트의 결과를 우선으로 한다.
ㅤ
이러한 중요 포인트 설정은 애니메이션이나 그림, 일러스트 등이 가진 감성과 특유의 전달력을 딥러닝 프로세스의 과정에서 손실되지 않도록 하기 위함입니다.
따라서, 앞에서 설명드린 얼굴 특화 모델과는 달리 색차신호(chrominance)와 밝기(illuminance) 등을 조금 더 고려한 독자적인 아키텍처를 고안하였으며, 이에 맞는 데이터셋을 추가로 제작하여 학습을 진행하였습니다.
ㅤ
아래 데모 영상들은 우측 하단 메뉴를 통해 최고화질로 설정하여 감상하여 주시기를 추천 드립니다 📌
ㅤ
결과물을 살펴보게 되면, 완전한 애니메이션 형태인 에픽세븐 영상이나 로스트아크 팬아트에서는 아주 좋은 결과를 보였으며, 약간은 특성이 다른 세아스토리(유사 애니메이션 형태) 영상에서도 일부 효과가 있었습니다.
이러한 애니메이션 특화 품질개선 기술 또한 현재 <AI Media Studio>를 통해 이미지 대상 시범 서비스가 진행중이며, 영상의 경우 웹 개발이 완료되는 시점에서 서비스가 진행될 예정입니다.
ㅤ
정량적/정성적 평가 관련
이처럼 다양한 품질 개선 기술을 개발하는 과정에서 정량적/정성적인 평가는 매우 중요한 요소였습니다.
이에, PSNR(Peak Signal-to-Noise Ratio), SSIM(Structural similarity) 등의 정량적 측정 방법과 자체 개발한 블라인드 테스트 앱을 통해 사람의 정성적인 평가를 함께 진행하였습니다.
실제로 SOTA 수준의 품질 개선 기술들을 이러한 방법으로 측정해보면 이미지의 유형에 따라 측정결과의 우열이 바뀌기도 하고, 정량적 측정결과와 정성적 측정결과가 서로 상이한 경우가 많이 발생하게 됩니다.
이러한 특징에 따라, 요구사항 분석의 과정에서 어떠한 factor를 우선순위로 할지 AHP(Analytic Hierarchy process) 등을 통해 명확한 의사결정을 선행적으로 진행하였고 이러한 요구사항에 맞는 최적화된 기술을 개발하였습니다.
ㅤ
향후 발전 방향
앞으로는 크게 연구의 측면과 서비스의 측면에서 발전시켜 가고자 합니다.
연구의 측면에서는 3D 그래픽 이미지 특화 모델의 제작이나 다양한 상황에 맞는 최적화된 기술을 개발하여 기술의 다각화를 목표로 하고 있습니다.
그리고 서비스의 측면에서는 사용자들의 피드백 등을 수렴하여 실제 니즈를 반영하는 방향으로 서비스를 고도화하는 것을 향후 과제로 생각하고 있습니다.
ㅤ
지금까지 2부에서는 <AI Media Studio>에서 시범 서비스 중인 품질 개선 기술에 대해서 간략하게 설명드렸는데요,
이어지는 3부 기사에서는 실제 <AI Media Studio>의 형태나 및 사용에 관한 영상을 자세히 소개드릴 예정이니 많은 기대 및 응원을 부탁드립니다.
저희 스마일게이트 AI의 이러한 다양한 기술이 기획자, 아티스트, 디자이너 등 다양한 직종에서 활용할 수 있는 하나의 도구가 되기를 기대하며, 컨텐츠를 이용하시는 독자분들께서도 보다 좋은 품질의 서비스와 결과물을 경험하실 수 있기를 바랍니다.
ㅤ
감사합니다.
ㅤ
관련 포스트
스마일게이트의 AI Media Studio를 소개합니다. (1부)
