Facebook AI Research(FAIR)发布的一项技术FrankMocap负责从单个图像或视频中提取3D模型的姿态。特别地,可以说它不仅可以估计身体,而且可以估计手的形状。
通常,运动捕捉技术用于提取3D姿势,但是在创建内容或游戏时它也是非常昂贵的操作,因为它需要具有标记的模型和由多个摄像机组成的专用设备的重复性能。当然,用FrankMocap提取的数据不是可以直接应用于最终产品的级别,但是可以说它很有可能成为一种服务,因为它可以极大地减少初始工作的成本。 Github链接如下:
这是github仓库中的一些演示:
- 身体动作捕捉:
- 手势捕捉
- 以自我为中心的手部动作捕捉
- 全身动作捕捉(身体+手)
在类似的研究中,FrankMocap的结果是相当不错的,如果对其进行适当的后处理,它可能会很有用。将来,我们计划进行技术评估和适用性审查过程。