First Order Motion Model for Image Animation

락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가 앉아서 연기를 하고, 이를 캡춰하여 재가공하는 방식이라서 비용이 매우 높습니다. 그래서 대형 게임사가 아니면 시도할 수 없는 방법이기도 하지요.

2019년 발표된 “First Order Motion Model for Image Animation”은 딥러닝 기술을 사용해서 가상 캐릭터의 표정을 생성하는데, 기존에 안 되던 것을 가능하게 했다기 보다는 필요 비용을 극적으로 낮추었다는 장점을 가지고 있습니다. 준비물은 1대의 카메라와 입력 이미지 뿐입니다. 실제 게임에 적용하기 위해서는 해야 할 일들이 좀 더 남아 있지만 (3D 모델 적용, 고품질 결과물 생성, 후보정 등) 곧 안 쓸 이유가 없는 기술로 자리잡을 것 같습니다.

Creating Mo-Cap Facial Animations of Virtual Characters with Deep Learning

Motion Capture (Mo-Cap, for short) is the process of recording with camera real-life movements of people for the purpose of recreating those exact movements in a computer generated scene. As someone…