Avatarify는 Zoom, Teams, Hangout, Skype등 다양한 화상통신 프로그램에 실시간 아바타 애니메이션 기능을 추가해주는 프로그램으로, 오픈소스로 공개되어 있습니다.
alievk/avatarify
Avatars for Zoom, Skype and other video-conferencing apps. - alievk/avatarify
화상통신 프로그램의 카메라 입력을 대치하는 형태로 개발되어 있으며, 알고리즘은 first-order motion model을 사용합니다.
First Order Motion Model for Image Animation
락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가 앉아서 연기를 하고, 이를 캡춰하여 재가공하는 방식이라서 비용이 매우 높습니다. 그래서 대형 게임사가 아니면 시도할 수 없는 방법이기도 하지요. 2019년 발표된 “First Order Motion Model…
아래의 동작 화면을 보면 어떤 일을 하는 코드인지 쉽게 알 수 있습니다.
StyleGAN을 이용한 이미지 변환도 사용하고 있어서 활용도가 높을 것으로 생각됩니다. 다만, 원활한 사용을 위해서는 다소 높은 하드웨어 사양이 필요한데, 다음은 공개된 하드웨어 사양별 성능입니다.
- GeForce GTX 1080 Ti: 33 frames per second
- GeForce GTX 1070: 15 frames per second
- GeForce GTX 950: 9 frames per second
Linux, Mac, Windows를 모두 지원하며, 조금 다른 버전이기는 하지만 안드로이드 폰용 APK도 만들어져 있습니다.
유사한 AI 알고리즘들은 많이 있지만 실제 화상통신 프로그램과 결합된 형태는 거의 없어서, 실제 서비스 구현할 때 많은 도움이 될 것 같습니다.