동기화되지 않은 다수의 카메라에 대한 파노라마 비디오 생성
Creating Panoramic Videos from Unsynchronized Camera Arrays
- 주제(키워드) 도움말 파노라마비디오
- 발행기관 서강대학교 일반대학원
- 지도교수 임인성
- 발행년도 2016
- 학위수여년월 2016. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000058782
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
대부분의 경우 다수의 카메라로부터 한 장의 파노라마 이미지를 생성하기 위해서는 시간적으로 동기화되지 않은 이미지들을 스티칭(stitching)하게 된다. 비록 파노라마 이미지의 경우에는 이러한 시간적 동기화 문제가 큰 영향을 미치지 않으나, 파노라마 비디오(panoramic video)로 확장되는 경우 이와 같은 문제는 결과 영상에 적지 않은 앨리어스(aliases)를 남기게 된다. 이러한 이유로 파노라마 이미지에 비해 파노라마 비디오에 대한 연구는 최근까지 많이 진행되지 않아 왔다. 한편 입력 이미지들의 깊이(depth) 정보나 모션 필드(motion field) 정보를 이용하여 문제를 해결하려는 시도가 있었으나, 이는 완전한 해결법이 아니라 앨리어스의 정도를 줄여주는 기법이었다. 본 논문에서는 기존의 파노라마 이미지를 생성하는 심(seam) 기반의 스티칭 기법을 유지하면서도, 이를 파노라마 비디오로 확장하는 방법을 제안한다. 먼저 카메라들을 시간적으로 동기화하기 위해 오디오 지문(audio fingerprinting) 기법을 이용하여, 입력 동영상 전반에 걸쳐 시간적으로 서로 대응되는 비디오 프레임(frame)들을 찾는다. 또한 이렇게 찾은 정보는 정수 범위 내에 이산적으로 존재하므로, 이 정보에 연속성을 더하기 위해서는 실수 범위로 확장해야 한다. 따라서 생성 가능한 모든 실수 프레임(sub-frame)들 중 가장 결과 파노라마 영상의 품질을 높이는 실수 프레임을 선별할 필요가 있다. 이를 위해 기울기(gradient)와 PSNR을 이용하여 최적의 실수 프레임을 선택하였으며, 한편 본 논문에서 새롭게 제안하는 GLAP(Gradient-LAplacian-PSNR)이라는 방법을 이용하여 선택한 결과와 비교 분석한다. GLAP은 영상 밝기 변화의 변화까지 고려하므로 창문이나 계단 등 일정한 모양이 반복되는 물체에 적합하며 이러한 물체들에 대해 비교적 우수한 성능을 보여준다.
more초록/요약
It requires to stitch unsynchronized images for camera arrays to create one panoramic image in general. The synchronization problem may not affect panoramic images very badly. On the other hand, panoramic videos that panoramic images expand into can have more than a few aliases. As a result, research in creating panoramic images is under active discussion while research in creating panoramic videos is not. Meanwhile, there have been attempts to remove aliases using depth and motion field information from input video frames. Nevertheless, these attempts serve as a stopgap, not a complete solution. This paper suggests a new way to keep the seam-based image stitching algorithm but expand panoramic images into panoramic videos. Firstly, we determine the corresponding video frames from input videos using audio-fingerprinting technique. Secondly, these corresponding video frames information should expand into the domain of real numbers to let them have continuity owing to discreteness of video frames. For this reason, it is essential to select the best one from among all the creatable sub-frames. Therefore, we apply gradient and PSNR to select the best sub-frame. Furthermore, GLAP(Gradient-LAplacian-PSNR) newly suggested is compared to gradient and PSNR. GLAP is suitable for objects which have patterns like windows and stairs because it considers Laplacian. So GLAP creates better panoramic video frames in such a case.
more