합성곱 신경망을 적용한 동영상의 프레임율과 해상도 상향변환 시스템
A Video Frame Rate and Resolution Scale Up System using Deep Convolution Neural Network
- 주제(키워드) Super Resolution , Convolution Neural Network , Frame Rate Up Conversion
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2017
- 학위수여년월 2017. 2
- 학위명 박사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000061434
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
비디오 영상의 표준은 같이 시간이 흐름으로써 지속적으로 해상도가 증대되고 프레임율이 높아지는 형태로 발전하고 있다. 특히, 2020년부터 사용화될 예정인 초고선명 텔레비전(Ultra High Definition Television, UHDTV, Ultra HDTV)의 경우 기존의 고선명 텔레비전 (Full High Definition Television, FHDTV, HDTV)의 해상도 1920*1080 (1280*720)에서 3840*2160으로, 프레임율 또한 24~30fps에서 60fps로 높아질 예정이다. 대부분의 영상 컨텐츠 회사들은 하드웨어의 의존도에 상관없도록 하기 위해서, 기 제작되어 있는 저해상도와 저프레임율의 영상 콘텐츠를 현재 상용화된 상영기기등에서 자연스럽게 재생하기 위해서 사람들이 수작업으로 보정하는 리마스터링 작업을 통해 영상의 퀄리티를 높여서 유통한다. 하지만 이런 리마스터링 작업에 소요되는 시간이 상당하며 현재 표준에 맞춰 리마스터링을 하였어도 향후 수년 내에 또 바뀌게 될 영상 표준에 대처하기 위해서 이러한 작업이 계속적으로 이뤄저야 하는 부담이 있다. 현재 이러한 문제를 극복하기 위해서 영상의 해상도를 높일 때 원본의 화질을 최대한 높여주는 기술인 슈퍼 해상도 (Super Resolution)기술과 프레임율을 높이기 위한 프레임율 상향 변환 기술(Frame Rate Up Conversion)을 적용하는데, 현재까지 이 둘의 기술은 별개로 취급되어 각각의 연구가 진행되고 있다. 따라서 해상도와 프레임율을 동시에 높일 때 두 알고리즘을 각각 적용하게 될 경우 프레임율 상향 변환에서 생성되는 노이즈들이 슈퍼 해상도의 결과에 악영향을 미치며, 반대로 슈퍼 해상도로 인해 발생된 화질 저하문제로 프레임율 상향 변환시 수행되어야 할 모션벡터 추정시의 연산량을 기하급수적으로 늘게 되는 문제점이 있다. 이러한 문제를 해결하고자 본 논문에서는 슈퍼 해상도와 프레임율 상향변환을 상호 참조하여 품질을 높이며 연산량을 최소화 하기 위한 방법을 제시한다. 가장 연산량이 많이 소요되는 모션 벡터 추정의 시간을 최소화 하기 위해서 원본 영상의 크기에서 모션 벡터를 구한다. FRUC를 수행하여 나온 결과의 품질을 개선시키기 위하여 기존의 블렌딩 기반의 프레임 보간법이 아닌 경로 기반의 프레임 보간법을 제시하였으며, 이로 인해 생성된 노이즈를 제거하기 위하여 딥러닝 기반의 노이즈 개선 필터를 적용한다. 또한 시간적 가외성을 이용한 전/배경 분류 알고리즘을 적용하여 객체와 배경의 윤곽선을 더욱 살려 화질을 개선한다. 그 후에 보간 프레임에 대하여 슈퍼 해상도를 수행한다. 보간 프레임에서 적용된 노이즈 필터로 인하여 손실된 윤곽선들을 복원하기 위하여 슈퍼 해상도 학습에 필요한 데이터로 활용하여 기 학습된 슈퍼 해상도 모델에 대비하여 성능을 개선시키는 방법을 적용했다. 이때 성능을 개선하기 위해서 영상의 내용을 분석하여 유사내용이 있는 부분을 그룹화 하여, 각 그룹에 최적화된 슈퍼 해상도 필터를 다시 학습하며, 이 때 학습시의 소요시간을 최소화 하기위해 파인튜닝을 적용하였다. 실험을 통하여, 해상도 상향 방법에서, 스케일 변화에 상관없이 보간 프레임에 대해 그룹별로 2500회의 파인튜닝 학습횟수만으로도 해당 스케일에 최적화 하여 300만 횟수의 학습횟수를 한 모델 대비 97%의 성능을 얻었으며 기존의 선형 보간법에 비하여 10% 이상의 성능 향상을 이끌어 냈다. 특히, 보간 프레임에 대하여서는 제안한 알고리즘을 적용하였을 때, 기존의 방법 대비 5%이상의 성능 향상이 있었다. 또한 프레임율 상향 방법에서는 보간 프레임 수행 여부 판단 알고리즘과 경로기반 프레임율 상향 방법을 통하여 주관적인 시청 품질을 향상 시키는 것을 확인하였다. 기존에 슈퍼해상도와 프레임율 상향변환을 동시 적용하였을 때 상호 악영향을 미치는 이유로 인하여 14%에 가까운 품질 저하가 일어나는 것에 비해 본 논문에서 제안한 방법은 이러한 요인들을 상호 보완하는 알고리즘을 제안해 5%대의 품질 저하만으로도 결과를 얻을 수 있음을 증명했다. 이러한 이유로 본 논문에서 제안한 시스템은 기존의 제작되어 유통되고 있는 영상 컨텐츠들에 대하여 영상의 해상도와 프레임율에 대한 표준이 변경될 때마다 지속적으로 적용 가능하며, 리마스터링에 소요되는 인건비와 시간을 크게 줄일 수 있을 것으로 예상한다. 이 뿐만 아니라, 기-제작된 영상 컨텐츠들에 대한 시청자들의 객관적 시청 만족도를 증가시키는데 기여할 것으로 예상한다.
more