이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한 방법론인 FACS (facial action coding system)를 활용하였습니다.
FACS에 따르면 우리 얼굴은 약 43개의 근육을 활용하여 총 1만개가 넘는 표정을 지을 수 있다고 합니다. Action Unit은 특정 얼굴 움직임의 단위인데, 보통 이 AU를 이용해서 메타데이터를 만든다고 하네요. 이러한 데이터는 생성 이외에도 얼굴 인식을 위한 augmentation으로도 쓸 수 있고, 다양한 활용처가 있을 것 같습니다.
Albert Pumarola – Person-Synthesis
Recent advances in Generative Adversarial Networks (GANs) have shown remarkable improvements in the task of facial expression synthesis. The most successful results are obtained by StarGAN, an architecture that conditions GANs’ generation process with images of a specific domain, namely a set of …
