딥러닝 기반의 이미지 생성 방법으로서 GAN은 놀라운 결과들을 많이 만들어내고 있습니다. 특히 학습 후 latent vector를 변경함으로써 다수의 유의미한 의미를 갖는 변화를 만들 수 있기 때문에, latent space가 단순히 랜덤한 벡터공간이 아니라 이미지가 갖는 시각적 의미를 잘 표현하고 있다는 생각이 들게 합니다.
다만, latent space 상에서 latent vector를 변화시키는 것이 어떤 해석 가능한 변화를 가져오는지, 그리고 반대로 해석 가능한 변화를 만들기 위해서는 latent vector를 어떻게 변화시켜야 하는지에 대한 분석은 쉽지 않습니다.
Aalto University, Adobe Research, NVIDIA의 공동 연구인 GANSpace에서는 이러한 문제를 해결하기 위한 접근법으로 latent space, 혹은 유사한 변경 벡터 공간에 대해 PCA를 적용하여 복수 개의 주성분 벡터를 추출한 후, 이 주성분 벡터 방향으로 latent vector를 변경함으로써 쉽게 원하는 방향의 시각적 변형을 만들어 낼 수 있음을 보였습니다. StyleGAN과 BigGAN을 대상으로 연구가 진행되었으며, 두 모델의 구조상 차이 때문에 다소 다른 기법들이 적용되었지만 기본적으로는 유사한 방식의 제어가 가능했습니다. 특히, 기존 학습된 모델의 latent space 혹은 feature space에 PCA를 적용하기 때문에 재학습할 필요가 없다는 점도 큰 장점입니다.
GANSpace github 저장소에서는 상호 작용이 가능한 데모와 분석 결과를 시각화하는 툴이 공개되어 있으며, GAN 모델로는 ProGAN, BigGAN-512, BigGAN-256, BigGAN-128, StyleGAN, StyleGAN2를 지원합니다. 다음은 GANSpace github 저장소 링크입니다.
