Snow나 Line Camera와 같이 현재 모바일 폰에서 구동되는 꾸미기 앱들은 대부분 facial landmark를 추출하고 미리 만들어 둔 오브젝트들을 오버레이시키는 형태로 동작합니다. 또한 최근에는 뷰티 필터 등 다양한 이미지 처리 기법들이 도입되어 더 풍성한 효과들을 보여주고 있습니다.
이러한 시각적 효과와 관련된 AI 기술로는 GAN이나 VAE와 같은 딥러닝 기반 생성 모델들을 생각해 볼 수 있습니다. 지금까지 발표된 결과들만 봐도 현재 서비스되고 있는 앱에서 지원되는 효과들을 훨씬 뛰어넘는 결과들을 얻을 수 있지만, facial landmark 추출에 비해 복잡도가 훨씬 높다는 단점이 있습니다. 이러한 복잡도 문제 때문에 딥러닝 기반 생성 모델들은 모바일 폰에서 직접 구동되기 어려울 뿐 아니라 적용 이미지의 해상도 또한 높이기가 어렵습니다.
모바일 폰이 아니라 서버 기반으로 구현하면 이러한 문제가 다소 완화되지만 이 경우 사용자가 늘어날 수록 서버 비용이 급격하게 증가할 뿐 아니라 네트워크 지연 때문에 동영상 기반 앱에는 적용하기 어렵습니다.
HyperGAN은 모바일 폰에서 동작하도록 만들어진 GAN 오픈소스입니다. HyperGAN이 위에서 언급한 문제들을 다 해결해 주는 것이 아니며, 아직 결과물의 품질 측면에서는 개선할 점이 많지만 레퍼런스 코드로는 충분히 그 역할을 할 수 있을 것 같습니다. 다음은 HyperGAN 프로젝트 페이지, 학습 방법과 모델 변환 방법이 포함된 HyperGAN github 저장소, 그리고 HyperGAN android 코드베이스 링크입니다:
