Motion Retargeting from Motion, Skeleton and Angle

SIGGRAPH 2019에서 발표된 논문인 “Learning Character-Agnostic Motion for Motion Retargeting in 2D”의 프로젝트 페이지 공유합니다.

이 논문은 (서로 달라도 되는) 영상 3개로부터 각각 motion, skeleton, camera angle을 추출한 후에 이들을 하나로 결합하는 딥러닝 모델을 만들었습니다. Motion, Skeleton, Camera Angle 각각에 대한 개별, 혹은 조합 리타게팅이 가능합니다. 학습데이터로는 Mixamo를 사용했습니다.

결과물은 video performance cloning은 물론 motion retrieval 등 다양한 분야에서 활용 가능하다고 저자가 밝히고 있습니다. 저는 향후 3D 혹은 2D 캐릭터 애니메이션에 활용해 볼 생각입니다.

Motion Retargeting in 2D

Analyzing human motion is a challenging task with a wide variety of applications in computer vision and in graphics.
One such application, of particular importance in computer animation, is the retargeting of motion from one performer to another.
While humans move in three dimensions, the vast major…