영상이나 이미지로부터 감정을 인식하는 시도들은 다양하게 있어 왔습니다. 클라우드 API에서도 제공되고 SNS에서도 화제가 될 만큼 (기쁨 95% 등등) 많이 알려진 응용 분야입니다.
아래 링크한 논문은 영상으로부터 감정을 인식함에 있어서, 얼굴 표정만이 아니라 몸동작을 함께 반영하면 성능이 개선된다는 내용을 담고 있습니다. 특히, 표정만으로는 애매한 경우에 대한 개선 효과가 있다고 하네요. (즐거운 상황인데 얼굴은 우는 얼굴과 거의 구별되지 않을 때 등) 감정마다도 차이가 있는데, 예를 들어 Happiness의 경우 얼굴 표정으로 인식하는게 훨씬 정확한 반면 Fear의 경우는 얼굴 표정으로 인식하면 42%, 신체 동작으로 인식하면 98%의 정확도를 얻었다고 합니다. 테스트한 데이터셋이 다소 특정 상황을 고려한 미니사이즈이긴 하지만 얼굴+신체동작을 모두 고려해서 만들면 동 task에 대해 인간의 인식률 수준에 도달할 수 있다고 합니다.
추가로, 오디오신호, 즉 음성으로부터 감정을 추출한 결과까지 합치면 더 유의미한 결과가 나오지 않을까 생각해 봅니다.
Fusing Body Posture with Facial Expressions for Joint Recognition of Affect in Child-Robot Interaction
In this paper we address the problem of multi-cue affect recognition in
challenging scenarios such as child-robot interaction. Towards this goal we
propose a method for automatic recognition of affect that leverages body
expressions alongside facial ones, as opposed to traditional methods that
typic…
challenging scenarios such as child-robot interaction. Towards this goal we
propose a method for automatic recognition of affect that leverages body
expressions alongside facial ones, as opposed to traditional methods that
typic…
