최근 사람의 모션에서 움직임을 추출하여 새로운 모션을 생성하는 기술들이 많은 것 같습니다. (vid2vid, vid2game, pose2pose)
Vid2Player는 Stanford 대학에서 연구한 내용인데, 실제 테니스 랠리 영상 데이터를 이용하여 공이 위치하는 곳에 따라 테니스 선수들의 공을 치기 위한 위치와 공을 치는 모션을 만들어줍니다.
‘움직임 – 공 치기 – 제자리로 돌아오기’ 같은 테니스 랠리의 구조를 분석하여 모델링하고, 데이터에 그림자나 잘린 부분등을 전처리하기 위한 image-to-image translation을 CycleGAN을 이용했습니다.
소스코드는 공개되어 있지 않고, 프로젝트 사이트에서 페더러와 페더러가 랠리하는등의 재미있는 데모 결과들을 볼 수 있습니다.
Vid2Player
We present a system that converts annotated broadcast video of tennis matches into interactively controllable video sprites that behave and appear like professional tennis players. Our approach is based on controllable video textures, and utilizes domain knowledge of the cyclic structure of tennis r…
