First Order Motion Model for Image Animation
락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가…
Facebook의 Codec Avatar
“Codec Avatar”라는 이름으로 진행되는 Facebook의 디지털 휴먼 프로젝트의 데모 영상이 공개되었습니다. 2019년 영상에 비해서 추가된 부분으로,아바타 외형이 좀 더 사실적으로 바뀌었고 마커 없이 몸 전체를 트래킹하는 기술을 보여줍니다. 2019년 3월…
GANimation – 이미지 한 장으로 표정을 만들어내는 연구
이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한 방법론인 FACS (facial action coding system)를 활용하였습니다. FACS에 따르면 우리…
Virtual Human: Saya Project
일본의 Virtual Human Project인 Saya 프로젝트. 일본어로 되어 있어서 진척도를 전부 이해하지는 못했지만 비주얼적인 완성도는 상당히 높고, 표정도 자연스럽습니다. 향후 인간의 감정 추가, 행동 인식, 대화 등의 기능을 추가할 계획이라고…
Danbooru 2019 – 애니메이션 캐릭터 이미지 데이터
애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의 예제로는 “1girl”, “solo”, “long_hair”, “highres”, “smile”, “open_mouth”와 같은 것들이 있어서…
RAVDESS – 멀티모달 감성 데이터
인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson…
Future of Synthetic Media (Synthesia)
“Synthetic media”라는 워딩으로 AI 기술을 미디어 마케팅에 적용하고 있는 Synthesia 블로그의 글입니다. 이 회사가 주로 하는 분야는 동영상내 모델의 얼굴 표정 및 입술 모양을 또 다른 영상으로부터 옮겨와서 합성(조정?)하는 것입니다.…
Rosebud.AI의 가상 모델 합성 기술
Rosebud.ai(https://rosebud.ai/)는 마케팅 캠페인을 위해 만들어진 이미지에 가상의 모델 얼굴을 생성하여 합성하는 기술로 마케팅 시장을 타게팅하고 있습니다. 만들어진 결과물은 꽤 자연스럽고, 사진을 다시 찍지 않아도 언제라도 모델 얼굴을 교체할 수 있다는…
TikTok의 Comic Filter
TikTok이 사람 얼굴을 애니메이션 캐릭터로 실시간 변환해주는 필터를 추가했습니다. Selfie2Anime도 그렇고 김준호님이 만든 UGatIT도 그렇고 참고할 결과들이 있긴 하지만 TikTok의 기술은 완성도 면에서 상당한 수준에 올라온 듯 합니다. 섬세한 얼굴…
