정밀한 입술 형태 추정을 위한 mouthmap을 이용한 능동형태모델
Active shape model using mouthmap for accurate estimation of lip shape
- 발행기관 서강대학교 대학원
- 지도교수 박형민
- 발행년도 2014
- 학위수여년월 2014. 8
- 학위명 석사
- 학과 및 전공 도움말 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000054093
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약 도움말
최근에 다양한 가전제품 및 전자기기 등과 같은 다양한 산업분야에 음성인식이 탑재되면서 그 연구의 중요성이 확대되고 있다. 하지만 음성신호만을 사용하여 음성인식을 할 경우 음성잡음이 심한 환경에서 인식률이 저하되는 문제가 있다. 이를 보완하기 위해 영상신호를 사용한 음성인식 연구가 시작되었으며, 영상으로부터 음성특징을 추출하기 위한 다양한 알고리즘이 제안되고 있다. 그 중 널리 사용되는 알고리즘으로, 능동형태모델은 원하는 객체의 형태를 획득할 수 있는 알고리즘이다. 사람 얼굴 영상에서 능동형태모델(active shape models)을 사용해 입술 형태를 추출하는 경우 기존의 추정 방법은 입술이 개구(open mouth)상태일 때 입 안쪽의 치아나 혀에 의한 그레디언트의 영향으로 그 형태를 제대로 획득하지 못하는 문제가 발생한다. 이러한 문제로 립리딩과 같은 응용에서 성능저하가 발생하는데 이를 해결하기 위한 연구가 요구된다. 본 논문에서는 얼굴영역에서 입술부분을 강조하여 표현할 수 있는 mouthmap과 질감을 이용하는 2차원 프로파일에 기반을 둔 초기 입술 형태 조정과 추정방법을 제안하였다. 그리고 획득한 입술 형태의 오차 및 시각 음성인식 성능 평가로 기존 능동형태모델과 비교하였다. 실험결과 제안하는 방법으로 추출한 입술 형태가 기존의 방법보다 나은 입술 형태 추출결과와 높은 시각 음성인식률을 보였다.
more초록/요약 도움말
Recently, speech recognition is adopted in a variety of fields such as electronic equipment. Hence the importance of research has increased. However, presence of noisy environments decreases the rate of speech recognition. To deal with these circumstances, extraction of speech information from vision has been studied and many algorithms have been proposed. Among them ASM(active shape models) algorithm represents an object as a set of points. In the case of extracting shape of lips from an image using ASM, problem arises due to the effect of gradients of other parts such as teeth or tongue when speaker’s lips are open. Therefore, we can’t expect good performance and research had to be done. To solve this problem, we propose an algorithm for estimating shape of lips and adjusting initial position of lips based on mouthmap which can highlight lip region on face and 2d profiling using texture. We validate our algorithm to compare error rates between the existing ASM algorithm and our method and to apply on visual speech recognition. Experimental results show that the proposed algorithm reduces error between ground truth and automatically acquired shape using ASM and improves visual speech recognition performance.
more