색 보상을 이용한 비디오 컴플리션
Video completion using color compensation
- 주제(키워드) video completion , color compensation , video inpainting
- 발행기관 서강대학교 일반대학원
- 지도교수 박래홍
- 발행년도 2009
- 학위수여년월 2009. 2
- 학위명 석사
- 실제URI http://www.dcollection.net/handler/sogang/000000044897
- 본문언어 한국어
초록/요약
Video completion fills missing or damaged data in a video sequence. If an input video contains color change, existing video completion methods give poor results. This drawback is caused by incorrect motion estimation under color change and by wrong detection of a space-time source patch. This thesis proposes a video completion method using robust motion estimation under color change and color compensation. It consists of three steps: motion estimation using color information, space-time source patch search, and color assignment. First of all, motion information is extracted by a motion estimation method using color information. Color information helps extract motion accurately. In space-time source patch search step, we use the input video after color normalization, not directly using the input video. Because color normalization can remove brightness change in input video, it helps find a source patch accurately. Finally, color compensation is used for color assignment, in which an affine transformation is used as a color change model. Experimental results with various videos containing color changes show that the proposed method gives smaller sum of squared difference and better visual results than conventional video completion methods.
more초록/요약
비디오 컴플리션은 동영상내의 정보가 훼손된 영역을 새로운 정보로 채워주는 방법이다. 만약 색 변화가 있는 동영상을 컴플리션 한다면, 좋은 결과를 얻기 어렵다. 이러한 단점은 색 변화가 있는 영상에서는 잘못된 움직임 예측을 하게 되고, 또한 잘못된 소스 패치를 찾기 때문에 발생한다. 본 논문은 색 변화가 있는 동영상을 대상으로 밝기 변화에 강건한 움직임 예측 방법과 색 보상을 이용하는 비디오 컴플리션하는 방법을 제안한다. 제안하는 방법은 색 정보를 이용한 움직임 예측, 시공간 소스 패치 찾기, 색 지정의 3단계로 이루어 진다. 색 정보를 이용하여 움직임을 예측하면 더 정확한 움직임 예측을 할 수 있다. 시공간 소스 패치를 찾는 단계에서는 입력 영상을 그대로 사용하지 않고, 색 정규화를 취한 동영상을 이용하여 시공간 소스 패치를 찾는다. 색 정규화는 입력 영상에서 밝기 변화를 제거해주기 때문에 시공간 소스 패치를 더 정확하게 찾는데 도움을 준다. 마지막으로 아파인으로 모델링한 색 매핑 함수를 이용한 색 보상이 색 지정 단계에 쓰인다. 그 후 최적의 소스 시공간 패치를 찾을 때 입력 영상을 그대로 이용하지 않고, 색도 정규화를 취한 영상을 이용한다. 마지막으로 색 정보를 채워 넣을 때 색 보상을 사용한다. 입력 영상의 색을 그대로 사용한다면 잘못된 색으로 채워지기 때문이다. 여러 영상에 대해서 실험을 수행하여 제안한 방법이 기존의 방법보다 더 작은 sum of squared differences 값을 가지고, 시각적인 측면에서도 더 효과적임을 보였다.
more목차
제 1 장 서론 = 1
제 2 장 기존의 비디오 컴플리션 방법 = 6
제 3 장 제안하는 비디오 컴플리션 방법 = 10
제 1 절 밝기 변화에 강건한 움직임 예측 방법 = 11
제 2 절 시공간 소스 패치 찾기 = 15
제 3 절 색 보상을 이용한 색 지정 = 23
제 4 장 실험 결과 및 토의 = 28
제 5 장 결론 및 추후과제 = 37
참고문헌 = 38
그림목차
그림 1. 제안한 방법의 블록도. = 11
그림 2. 옵티컬 플로우 결과 영상. (a) 입력 영상 (색이 변하는 영상), (b) Lucas-Kanade 움직임 예측 결과. (c) Altunbasak 등의 방법 움직임 예측 결과. = 15
그림 3. 색 정규화 취하기 전과 후의 영상. (a), (b) 색 변화가 있는 영상, (c) (a)와 (b)의 차 영상, (d), (e) 각각 (a)와 (b)영상을 색 정규화 취한 영상, (f) (d)와 (e)의 차 영상. = 18
그림 4. 색 정규화 취하기 전과 후의 소스 화소를 찾아 표시한 영상. (a), (b), (c) 입력 영상 10장 중 3장, (d) 원 영상에서 타겟 화소를 표시한 영상, (e) 원 영상에서 타겟 화소와 가장 유사한 소스 화소를 표시한 영상, (f) 색 정규화를 취한 영상에서 타켓 화소를 표시한 영상, (g) 색 정규화 취한 영상에서 타겟 화소와 가장 유사한 소스 화소를 표시한 영상. = 23
그림 5. 소스 패치와 타겟 패치 사이의 색 보상 과정. = 25
그림 6. 실제 영상을 컴플리션한 결과 (walking woman 영상). (a) 컴플리션 영역을 표시한 입력 영상, (b) 컴플리션할 영역을 표시한 영상, (b) Wexler 등의 방법, (c) Shiratori 등의 방법, (d) Patwardhan등 의 방법, (e) 제안한 방법, (f) (b)의 확대 영상, (g) (c)의 확대 영상, (h) (d)의 확대 영상, (i) (e)의 확대 영상. = 27
그림 7. 실제 영상을 컴플리션한 결과 (hall 영상). (a) 컴플리션 영역을표시한 입력 영상, (b) 컴플리션할 영역을 표시한 영상, (b) Wexler 등의 방법, (c) Shiratori 등의 방법, (d) Patwardhan 등의 방법, (e) 제안한 방법, (f) (b)의 확대 영상, (g) (c)의 확대 영상, (h) (d)의 확대 영상, (i) (e)의 확대 영상. = 31
그림 8. 실제 영상을 컴플리션한 결과 (chair 영상). (a) 컴플리션 영역을표시한 입력 영상, (b) 컴플리션할 영역을 표시한 영상, (b) Wexler 등의 방법, (c) Shiratori 등의 방법, (d) Patwardhan 등의 방법, (e) 제안한 방법, (f) (b)의 확대 영상, (g) (c)의 확대 영상, (h) (d)의 확대 영상, (i) (e)의 확대 영상. = 33
그림 9. 실제 영상을 컴플리션한 결과 (door 영상). (a) 컴플리션 영역을 표시한 입력 영상, (b) 컴플리션할 영역을 표시한 영상, (b) Wexler 등의 방법, (c) Shiratori 등의 방법, (d) Patwardhan 등의 방법, (e) 제안한 방법, (f) (b)의 확대 영상, (g) (c)의 확대 영상, (h) (d)의 확대 영상, (i) (e)의 확대 영상. = 35
표목차
표 1. 실험 영상들의 SSD 값 = 36
