作为基于深度学习的图像生成方法,GAN产生了许多惊人的结果。特别是,通过在学习后更改潜矢量,可以进行具有许多有意义含义的更改,因此您可能会认为潜空间不仅是随机的矢量空间,而且还可以很好地表达图像的视觉含义。 。
然而,分析潜在空间中的潜在矢量的变化如何带来可解释的变化,以及相反地如何改变潜在矢量以做出可解释的变化,这并不容易。
作为解决此问题的一种方法,在阿尔托大学,Adobe Research和NVIDIA的联合研究项目GANSpace中,将PCA应用于潜在空间或类似的修饰向量空间,以提取多个主成分向量,然后沿主分量矢量方向的矢量已经显示出,您可以通过更改轻松地在所需方向上创建视觉变换。对StyleGAN和BigGAN进行了研究,由于两种模型之间的结构差异,应用了稍有不同的技术,但是基本上可以采用相似的控制方法。特别地,由于将PCA应用于先前训练模型的潜在空间或特征空间,因此无需重新训练。
在GANSpace github存储库中,用于可视化分析结果的交互式演示和工具是公开可用的,并且GAN模型支持ProGAN,BigGAN-512,BigGAN-256,BigGAN-128,StyleGAN和StyleGAN2。这是GANSpace github存储库的链接。