FrankMocap은 Facebook AI Research(FAIR)에서 공개한 기술로서 한 장의 이미지, 혹은 동영상에서 3D 모델을 위한 포즈를 추출해내는 역할을 합니다. 특히, 바디 뿐 아니라 손 모양까지 함께 추정할 수 있다는 것이 특징이라고 할 수 있습니다.
일반적으로 3D 포즈 추출을 위해서는 모션 캡춰 기술을 사용하는데, 여러 대의 카메라로 구성된 전문 장비와 마커를 부착한 모델의 연기가 반복적으로 요구되기 때문에 콘텐츠나 게임을 제작할 때 상당한 비용이 들어가는 작업이기도 합니다. 물론 FrankMocap으로 추출한 데이터가 최종 제품에 바로 적용할 수 있는 수준은 아니지만, 초기 작업의 비용을 크게 줄여줄 수 있다는 점에서 서비스화 가능성이 크다고 할 수 있겠습니다. Github 링크는 아래와 같습니다:
facebookresearch/frankmocap
A Strong and Easy-to-use Single View 3D Hand+Body Pose Estimator – facebookresearch/frankmocap
다음은 github 저장소에서 공개한 몇 가지 데모입니다:
- Body Motion Capture:
- Hand Motion Capture
- Egocentric Hand Motion Capture
- Whole body Motion Capture (body + hands)
FrankMocap의 결과는 유사 연구들 중에서도 상당히 우수한 편이며, 적절한 후처리 과정을 거친다면 활용도가 상당히 높을 것으로 보입니다. 향후 이에 대한 기술적 평가 및 적용 가능성 검토 과정을 진행해 볼 예정입니다.
