Happy Emotion Recognition From Unconstrained Videos Using 3D Hybrid Deep Features

ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9361648

IEEE Xplore Full-Text PDF:

<Abstract>

얼굴 표정은 뇌가 다양한 상황에서 인간의 감정을 인식하는 가장 효과적인 방법으로 입증되었다.

행복한 감정은 다른 감정 측정 도구 (예:오디오/음성, 텍스트 및 생리적 감지) 보다 얼굴 표정으로 인식 될 가능성이 많은 기본 감정 중 하나다.

단일 감정(예: 행복)에 대한 인식 정확도를 최적화 하기는 어려움.

제한되지 않은 비디오에서 포착 된 하나의 행복한 감정을 인식하기 위해 몇 가지 방법만 설계.

그러나 이들의 한계는 심각한 머리 포즈 변형의 처리가 고려되지 않았고 정확도가 여전히 만족스럽지 않다는 것.

 

본 논문에서 두가지 유형의 deep visual features을 활용하고 정확도를 높이기 위해 3D hybrid deep and distance features (HappyER-DDF) 기법을 이용한 행복한 감정 인식 모델을 제안한다.

 

1. hybrid 3D Inception-ResNet과 LSTM를 사용하여 순차적 프레임간의 동적 spatial-temporal features를 추출한다.

2. 얼굴 랜드 마크의 특징을 감지하고 얼굴 랜드 마크와 얼굴의 기준점(예: 코 피크) 사이의 거리를 계산하여 사람이 웃기 시작하거나 웃을때 변화를 포착한다. 

 

features-level과 decision-level fusion을 사용하여 실험을 구현함.