FPSSR : Frequency and PIxel-based Stereo Super Resolution
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2023
- 학위수여년월 2023. 8
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000076401
- UCI I804:11029-000000076401
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
Stereo image super-resolution (SR) aims to enhance the performance of image SR by leveraging the complementary information provided by binocular systems. Although previous methods show promising results, there remains untapped potential in fully utilizing cross-view and intra-view information, particularly in the frequency domain. To address this, we propose Frequency and Pixel-based Stereo Super Resolution (FPSSR), which consists of two essential parts: (1) Low-High Frequency block (LHF block) from an intra-view perspective, which captures both high and lowfrequency information at the pixel level, and (2) Stereo Enhanced Cross Attention Module (SECAM), which carefully adjusts the left and right features using kernellevel information to enhance cross-view attention features by learning frequencyspatial dual-domain representations. The correlation between the shape of the blur kernel in an image and the phase or imaginary component of the general image feature allows us to perform image deblurring and other image restoration tasks. Extensive experiments and ablation studies demonstrate that our FPSSR achieves competitive results and outperforms most state-of-the-art (SOTA) methods on general stereo SR datasets, namely Flickr1024, KITTI 2012, KITTI 2015 and Middlebury.
more초록 (요약문)
스테레오 이미지 초해상도는 stereo 시스템이 제공하는 보완 정보를 활용하여 이미지 초해상도의 성능을 향상시키는 것을 목표로 합니다. 이전의 방법은 유망한 결과를 보여주지만, 특히 주파수 영역에서 cross-view 정보를 완전히 활용하는 데는 아직 개발이 더 필요합니다. 이를 해결하기 위해 주파수 및 픽셀 기반 스테레오 초고해상도(FPSSR)를 제안합니다. FPSSR은 (1) 픽셀 수준에서 고주파 및 저주파 정보를 모두 캡처하는 관점에서의 Low-High Freqeuency block (LHF block)과 (2) Stereo Enhanced Cross Attention Module(SECAM)의 두 가지로 나눠질 수 있습니다. 이미지에서 blur kernel의 모양과 일반 이미지 phase 혹은 imagineary 요소간의 상관 관계를 통해 통해 이미지 블러링 제거 및 기타 이미지 복원 작업을 수행할 수 있습니다. 광범위한 실험 및 ablation studies를 통해 FPSSR은 최신 방법들의 결과에서 사용하였던 stereo 초해상도 데이터 세트, 즉 Flickr1024, KITTI 2012, KITTI 2015 및 Middlebury에서 성능향상을 이룰 수 있었습니다.
more