서강대학교

초록/요약

본 논문에서는 사람과 로봇이 자연스러운 감정 소통을 하기 위해 딥러닝 기반의 비디오 시퀀스 감정 판단 시스템과 딥러닝 기반의 로봇 표정 생성 대화 시스템을 제안한다. 오토마타와 같이 인간의 형상을 한 기계 장치로부터 현대의 로봇까지 인간과 닮은 형상을 하고 기계적 움직임을 가진 작품들에게 느껴질 수 있는 언캐니함에 주목한다. 의도적으로 로봇에 적용시킨 형태적인 언캐니함과 달리 기술력의 부족으로 생기는 언캐니함은 사람과 로봇의 상호작용에 몰입도를 저하시키는 요소가 될 수 있다. 이를 극복하기 위한 방향으로 자연스런 인터렉션을 위한 방법론을 제안한다. 로봇이 사람의 감정을 읽고 그에 적합한 반응을 하는 감성컴퓨팅 기반의 상호작용이 기계와 인간의 인터페이스에서 얼마나 중요한 역할을 하는지에 대해 논한다. 그리고 인공 감성을 만들기 위해서 단순 표정부터 학습하여 수많은 경험과 선택을 통해 창발적으로 복잡한 인공감성을 만들어낼 수 있는 가능성을 제시한다. 인공 감성을 생성하기 위한 방법으로 본 작품에서 차별적으로 구현된 시퀀스 기반의 표정 판단 및 생성 시스템에 대해 상세히 기술한다. 제안된 시스템에서는 비디오 데이터에서 눈, 눈썹, 입 등 주요 특징 점의 변화를 파악하여 표정이나 제스처를 딥러닝의 한 방식인 RNN 인공신경망으로 학습하고, 감정 상태나 제스처의 종류를 학습된 모델에 따라 판단함으로써, 관객의 감정 상태를 파악한다. 관객과 대화를 할 때 관객의 감정상태를 반영한 내용으로 대화를 하고, 대화에 맥락에 맞도록 로봇의 표정을 실시간으로 생성해낸다. 나아가 로봇의 표정 생성에 있어서, 대화 중 수집된 관객의 표정과 부위별 표정 지표를 추가 학습함으로써 보다 자연스러운 표정 생성이 가능하도록 지속적으로 업데이트한다. 관객의 표정 및 제스처 인식을 위해 400여개의 비디오 데이터로 학습한 결과 93%의 정확도로 판별 가능한 것으로 확인되었으며, 로봇 표정 생성을 위해 31만여개의 비디오 데이터로 학습한 결과 88%의 정확도로 표정 생성이 가능한 것으로 확인되었다. 개발된 시스템은 실제 표정 재현이 가능하고 인터랙티브 아트의 성격을 띤 로봇으로 구현하여 전시장에서 관객과 자연스럽게 표정을 지으며 대화하도록 하였다. 본 연구는 관객 감정이나 제스처 파악과 특히 로봇 표정 생성에 딥러닝 방식을 적용한 것에 그 의의가 있으며, 향후 감정 파악 및 생성뿐만 아니라 대화 시스템 자체에도 딥러닝 방식을 확대 적용하여 관객 표정에 대한 단순한 반응이 아닌 정교한 감정 모델을 이용한 고차원적인 반응과 소통에 대해 초석이 될 수 있다는 점에 의미가 있다.